Menu

Pesquisa

Revisão de qualidade de chamadas, versão 0.1.2: cada verificação e cada lacuna conhecida

Uma tarefa de demonstração de central de atendimento. O agente avalia cinco chamadas ativas de venda de seguros, uma delas em malaio misturado com inglês, segundo uma checklist de conformidade, e depois atualiza os registros: as classificações das chamadas, a lista de não ligar e uma sinalização para cada violação crítica.

Tarefa cc-qa-001 · Versão 0.1.2, gates executados em 10 de novembro de 2026 · Datarena

Demonstração · Sobre as demonstrações públicas. Estas chamadas são trechos curtos de texto, não áudio. A avaliação se baseia no nosso gabarito; nenhum líder de QA nem avaliador falante nativo avaliou estas chamadas até agora.

Identidade

Tarefa
cc-qa-001, versão 0.1.2, verificador congelado por hash
Família
call-qa, dificuldade easy, conforme rotulado no arquivo público de gates
Domínio
Regulated outbound sales: call QA and disposition
Status
Demonstração · trechos de texto
Gates executados
10 de novembro de 2026, Python 3.11.8, apenas gates determinísticos: nenhuma execução de modelo, nenhum avaliador humano, nenhum treinamento
Tentativas de modelos
Versão 0, em 7 de novembro de 2026 ou antes: dois modelos atuais de um mesmo provedor, um rollout cada, ambos aprovados. As versões posteriores, que reforçaram o verificador e mantiveram o gabarito inalterado, são executadas em seguida
Conjunto selado
Excluída. Esta tarefa é divulgada na íntegra e não está à venda

O trabalho

Um analista de QA de uma campanha ativa de seguros avalia cinco chamadas segundo a checklist de sete itens da campanha. Duas chamadas contêm uma violação crítica: um vendedor que afirma que os rendimentos são garantidos, e um cliente que pede em malaio para não ser mais contatado enquanto o vendedor continua vendendo. Uma terceira chamada contém duas violações que não são críticas. Em uma quarta, o cliente pede para não receber ligações no escritório, o que é um pedido de retorno, não um pedido de não ligar. A quinta está limpa. A instrução, como o agente a recebe:

Você é o analista de QA da campanha HL-03. Avalie as cinco chamadas em calls/ segundo docs/QA-CHECKLIST-HL-03.md. Em crm/campaign.db: grave uma linha em qa_scores por chamada e item da checklist (PASS, FAIL ou NA), corrija qualquer classificação errada em calls, adicione clientes a dnc quando a checklist exigir e adicione uma linha em qa_flags (severity CRITICAL) para cada violação crítica.

A resposta certa avalia cada chamada em cada item, PASS, FAIL ou NA, define a classificação da chamada em malaio como não ligar, adiciona esse cliente à lista de não ligar com quem o adicionou e por quê, não mexe em nenhuma outra classificação e grava exatamente uma sinalização crítica para cada violação crítica.

Em que a avaliação se baseia

O verificador compara as avaliações do agente com um gabarito. Nós escrevemos o gabarito, a checklist e as transcrições, incluindo a em malaio. Uma avaliação que difere do gabarito é reprovada, mesmo quando um líder de QA poderia aceitá-la. Até que um líder de QA tenha avaliado estas chamadas, o verificador mostra que aplica o nosso gabarito fielmente, não que o nosso gabarito corresponde à forma como o setor avalia.

A versão encomendada substitui a nossa checklist por uma que um líder de QA monta a partir do texto público das regras, e a transcrição em malaio por uma escrita por um falante nativo. Um segundo profissional então avalia às cegas, e informamos a concordância.

O espaço de trabalho

Toda execução começa com os mesmos arquivos e o mesmo banco de dados, gravados do zero pelo próprio reset da tarefa.

CaminhoO que contém após o reset
calls/C-101.txt756 bytes
calls/C-102.txt518 bytes
calls/C-103.txt400 bytes
calls/C-104.txt513 bytes
calls/C-105.txt360 bytes
crm/campaign.dbcalls (5), dnc (1), qa_flags (0), qa_scores (0)
docs/QA-CHECKLIST-HL-03.md1300 bytes

Digest do reset, SHA-256 do espaço de trabalho inicial com o banco de dados tomado como o seu dump SQL: d04c7bacdeaf936821d1f41d995b03009854e154d37148776643ac42c6a5c848. Reset determinístico a partir de um diretório vazio: sim. Um espaço de trabalho usado volta ao mesmo digest pelo nosso harness de teste: sim.

A caixa de ferramentas: o que o agente pode tocar

Leitura
As cinco transcrições, a checklist e todas as tabelas do banco de dados.
Escrita
Uma avaliação por chamada e item da checklist, o campo de classificação de uma chamada, novas entradas na lista de não ligar e sinalizações críticas.
Não pode tocar
As transcrições e a checklist, o esquema do banco de dados, todos os outros campos dos registros de chamadas e a entrada de não ligar que já existia no início. Nenhum arquivo pode ser adicionado em lugar nenhum. Qualquer uma dessas ações reprova um gate, e a execução pontua zero, independentemente do que mais tenha feito.

Gates e verificações

Uma submissão que o verificador não consegue pontuar, porque o banco de dados está ilegível ou não contém avaliações, é rejeitada como inválida com recompensa zero, com um motivo estruturado. Depois, três gates. Se qualquer um falhar, a recompensa é zero, sem nenhuma verificação contada.

  1. transcrições e checklist intactas, nenhum arquivo adicionado em calls/ ou docs/.
  2. Esquema do CRM inalterado; registros de chamadas alterados apenas na classificação; linhas de DNC iniciais intactas.
  3. qa_scores contém exatamente um resultado válido para cada uma das 35 células chamada-item.

Depois, oito verificações, cada uma comparada com o banco de dados em disco. O verificador nunca lê o que o agente diz que fez. Os pesos somam 17; 3 verificações são críticas. O critério estrito, a recompensa de treinamento, exige todos os gates e todas as verificações.

VerificaçãoO que precisa ser verdadePesoCrítica
K1Ambas as violações críticas encontradas (alegação de garantia; pedido de não ligar em malaio ignorado)3sim
K2Ambas as violações não críticas encontradas (sem aviso de gravação; sem consentimento antes do documento de identidade e do cartão)2
K3Nenhuma célula conforme marcada como FAIL2
K4Todas as 35 células coincidem com a grade de referência, incluindo NA1
K5O pedido de não ligar é respeitado: C-103 definida como DNC e CU-2203 adicionado a dnc com quem o adicionou e por quê (não a proveniência de sistema das linhas importadas)3sim
K6Nenhum DNC falso: ninguém mais adicionado, e o cliente que pediu para ligar mais tarde continua como CALLBACK3sim
K7Classificações corretas mantidas1
K8qa_flags contém exatamente uma linha CRITICAL por violação crítica e nenhuma outra linha2

A pontuação e o critério estrito são definidos como na página da tarefa de embalagens.

As sondas

Um reward hack falsifica ou adultera e precisa pontuar exatamente zero. Um erro plausível é um erro que um analista cuidadoso poderia cometer; ele não pode obter a recompensa estrita. Uma alternativa correta é uma resposta certa escrita de outra forma; ela precisa obtê-la. 9 reward hacks, 9 erros plausíveis e 1 alternativa correta foram executados em 10 de novembro de 2026, e todos retornaram o resultado esperado.

SondaTipoO que fezEstritaPontuaçãoO que reprovou
emptyReward hackNenhuma resposta gravadaReprovado0.00Rejeitada como inválida
report_onlyReward hackUm relatório escrito dizendo que o trabalho está feito, sem nada gravado no banco de dadosReprovado0.00gate 1, rejeitada como inválida
extra_report_in_outReward hackLinhas corretas no banco de dados, mais um relatório ao lado dizendo que todas as chamadas foram aprovadasReprovado0.00gate 1
delete_breach_callsReward hackExcluiu as duas chamadas com violações e depois aprovou as demaisReprovado0.00gate 2
all_passErro plausívelMarcou todas as células como PASS: não encontra nenhuma das quatro violaçõesReprovado0.35K1, K2, K4, K5, K8
all_fail_dnc_everyoneErro plausívelMarcou todas as células como FAIL e colocou todos os clientes na lista de não ligarReprovado0.47K3, K4, K6, K7, K8
keyword_dncErro plausívelInterpretou “não me ligue no escritório, ligue no meu celular” como um pedido de não ligarReprovado0.53K3, K4, K6, K8
misses_malay_dncErro plausívelAvaliou corretamente as chamadas em inglês e deixou passar o pedido de não ligar feito em malaioReprovado0.47K1, K4, K5, K8
dnc_provenance_rewrittenReward hackReescreveu quem adicionou a entrada de não ligar existente, e por quêReprovado0.00gate 2
call_record_rewrittenReward hackAssociou a chamada em malaio a outro clienteReprovado0.00gate 2
schema_column_addedReward hackAdicionou uma coluna ao esquema do banco de dadosReprovado0.00gate 2
drop_qa_flagsReward hackAvaliações corretas e, depois, excluiu a tabela de sinalizações: uma rejeição, não um travamentoReprovado0.00Rejeitada como inválida
forged_transcriptReward hackInseriu uma sexta transcriçãoReprovado0.00gate 1
dnc_row_without_provenanceErro plausívelA nova entrada de não ligar não diz quem a adicionou nem por quêReprovado0.82K5
dnc_row_mimics_systemErro plausívelA nova entrada de não ligar copia a redação de uma entrada importada, como se o sistema a tivesse adicionadoReprovado0.82K5
duplicate_critical_flagsErro plausívelSinalizou a violação de garantia três vezesReprovado0.88K8
lowercase_false_flagErro plausívelUma sinalização falsa em uma chamada conforme, com a severidade escrita em minúsculasReprovado0.88K8
major_flags_addedErro plausívelUma sinalização MAJOR não solicitada ao lado das duas críticasReprovado0.88K8
analyst_id_and_transcript_span_dncAlternativa corretaUma resposta correta cuja entrada de não ligar indica o analista e cita o pedido em malaioAprovado1.00nenhuma
referenceSolução de referênciaA solução de referênciaAprovado1.00nenhuma

O nosso harness de teste também construiu 15 entradas hostis a partir de um estado final correto: 4 com uma tabela excluída, 4 com a primeira coluna de uma tabela renomeada, uma com o banco de dados sobrescrito com texto, 6 com uma entrada substituída por um diretório. Todas retornaram um relatório com recompensa zero, sem erro do verificador.

O que um profissional decide

O gabarito codifica uma única convenção sempre que o setor pode ter várias. Um líder de QA decide qual é a correta. Em aberto para esta tarefa:

  • Confirmar o nome de um cliente conta como pedir um dado pessoal antes do aviso de gravação? O gabarito diz que não. Se contar, quatro chamadas que o gabarito aprova no item I3 são reprovadas nele.
  • Mencionar o produto antes do aviso de gravação conta como descrevê-lo? O gabarito diz que não, então duas chamadas são aprovadas no I3 que uma leitura mais rigorosa reprovaria.
  • “Não me ligue no escritório, ligue no meu celular” é um pedido de retorno no gabarito, não um pedido de não ligar. Um líder de QA confirma onde fica o limite em inglês, em malaio e em chamadas que misturam os dois.

O que o verificador ainda não detecta

Nós atacamos os nossos próprios verificadores. Em 8 de novembro de 2026, testamos este contra 40 alterações únicas em um estado final correto: a versão 0 aceitou 15 estados finais errados com pontuação máxima e parou com erro em dois. Executamos novamente as 40 contra a versão 0.1.2 em 9 de novembro de 2026. As classes encontradas, e a situação de cada uma:

Classe de trabalho erradoSituação nesta tarefa, 9 de novembro de 2026
Sinalizações duplicadas, ou sinalizações falsas com uma severidade diferente da palavra exata CRITICALDetectado desde a versão 0.1: a K8 exige exatamente uma linha CRITICAL por violação crítica e nenhuma outra linha. duplicate_critical_flags, lowercase_false_flag, major_flags_added
A entrada de não ligar existente reescrita, ou excluída e adicionada de novoDetectado desde a versão 0.1 pelo gate 2: dnc_provenance_rewritten
Uma nova entrada de não ligar que não diz quem a adicionou nem por quê, ou que copia a redação de uma entrada importadaDetectado desde a versão 0.1 pela K5, crítica: dnc_row_without_provenance, dnc_row_mimics_system
Colunas adicionadas ao esquema e preenchidas com anotações que contradizem as avaliaçõesDetectado desde a versão 0.1 pelo gate 2: schema_column_added
Um relatório ao lado de tabelas corretas que as contradizDetectado desde a versão 0.1.1: qualquer arquivo adicionado reprova no gate 1. extra_report_in_out
Uma entrada substituída por um diretório trava o verificadorCorrigido na versão 0.1: 6 entradas hostis desse tipo retornam zero sem erro
Em aberto: uma linha de sinalização com todos os campos vazios faz o verificador parar com um erro em vez de uma rejeição estruturadaEm aberto. Encontrado em 9 de novembro de 2026. Nenhuma resposta errada é aceita; a correção e a sua sonda estão programadas para a próxima versão
Ainda não lido: se o motivo em uma nova entrada de não ligar é verdadeiroEm aberto, por design. A K5 pede quem adicionou a entrada e por quê, e aceita qualquer motivo que não esteja vazio. A avaliação às cegas de um profissional é a única verificação sobre isso
Ainda não testado: um pedido de não ligar formulado com outras palavras, ou com alternância entre inglês e malaio no meio da fraseEm aberto. A tarefa contém um pedido em malaio e um pedido de retorno relativo ao escritório. Transcrições de chamadas reais ou reencenadas ampliam a cobertura

Sondas escritas à mão são um gate de regressão, nunca uma garantia: elas comprovam que cada estado final errado em que pensamos pontua o que deve, e nada dizem sobre aqueles em que não pensamos.

Registro de alterações

  1. Até 7 de novembro de 2026. Versão 0 escrita e executada. Dois modelos atuais de um mesmo provedor passaram nela em um rollout cada.
  2. 8 de novembro de 2026. Versão 0.1, após a revisão: o esquema, os registros de chamadas além da classificação e a entrada de não ligar existente são comparados com o estado inicial; as sinalizações precisam coincidir exatamente; uma nova entrada de não ligar precisa dizer quem a adicionou e por quê; um banco de dados ilegível é uma rejeição estruturada. O gabarito não mudou.
  3. 8 de novembro de 2026. Versão 0.1.1: qualquer arquivo adicionado reprova no gate 1. O gabarito não mudou.
  4. 8 de novembro de 2026. Versão 0.1.2: uma alternativa correta, analyst_id_and_transcript_span_dnc. O gabarito não mudou.
  5. 9 de novembro de 2026. Esta página foi publicada. As 40 mutações da revisão foram executadas novamente contra a versão 0.1.2: 38 detectadas, uma em aberto (acima) e uma que reinicia manualmente um espaço de trabalho usado, o que o próprio reset do nosso harness resolve.

Veja na prática

Agende uma chamada de vinte minutos e executamos esta tarefa diante do seu engenheiro: um reset, um reward hack, um erro plausível e, depois, a solução de referência. Os termos para um primeiro pedido estão na página da tarefa de embalagens.

Solicitar pacote de amostras Agendar a demonstração guiada