Identidade
- Tarefa
cc-qa-001, versão 0.1.2, verificador congelado por hash- Família
- call-qa, dificuldade easy, conforme rotulado no arquivo público de gates
- Domínio
- Regulated outbound sales: call QA and disposition
- Status
- Demonstração · trechos de texto
- Gates executados
- 10 de novembro de 2026, Python 3.11.8, apenas gates determinísticos: nenhuma execução de modelo, nenhum avaliador humano, nenhum treinamento
- Tentativas de modelos
- Versão 0, em 7 de novembro de 2026 ou antes: dois modelos atuais de um mesmo provedor, um rollout cada, ambos aprovados. As versões posteriores, que reforçaram o verificador e mantiveram o gabarito inalterado, são executadas em seguida
- Conjunto selado
- Excluída. Esta tarefa é divulgada na íntegra e não está à venda
O trabalho
Um analista de QA de uma campanha ativa de seguros avalia cinco chamadas segundo a checklist de sete itens da campanha. Duas chamadas contêm uma violação crítica: um vendedor que afirma que os rendimentos são garantidos, e um cliente que pede em malaio para não ser mais contatado enquanto o vendedor continua vendendo. Uma terceira chamada contém duas violações que não são críticas. Em uma quarta, o cliente pede para não receber ligações no escritório, o que é um pedido de retorno, não um pedido de não ligar. A quinta está limpa. A instrução, como o agente a recebe:
Você é o analista de QA da campanha HL-03. Avalie as cinco chamadas em calls/ segundodocs/QA-CHECKLIST-HL-03.md. Emcrm/campaign.db: grave uma linha em qa_scores por chamada e item da checklist (PASS, FAIL ou NA), corrija qualquer classificação errada em calls, adicione clientes a dnc quando a checklist exigir e adicione uma linha em qa_flags (severity CRITICAL) para cada violação crítica.
A resposta certa avalia cada chamada em cada item, PASS, FAIL ou NA, define a classificação da chamada em malaio como não ligar, adiciona esse cliente à lista de não ligar com quem o adicionou e por quê, não mexe em nenhuma outra classificação e grava exatamente uma sinalização crítica para cada violação crítica.
Em que a avaliação se baseia
O verificador compara as avaliações do agente com um gabarito. Nós escrevemos o gabarito, a checklist e as transcrições, incluindo a em malaio. Uma avaliação que difere do gabarito é reprovada, mesmo quando um líder de QA poderia aceitá-la. Até que um líder de QA tenha avaliado estas chamadas, o verificador mostra que aplica o nosso gabarito fielmente, não que o nosso gabarito corresponde à forma como o setor avalia.
A versão encomendada substitui a nossa checklist por uma que um líder de QA monta a partir do texto público das regras, e a transcrição em malaio por uma escrita por um falante nativo. Um segundo profissional então avalia às cegas, e informamos a concordância.
O espaço de trabalho
Toda execução começa com os mesmos arquivos e o mesmo banco de dados, gravados do zero pelo próprio reset da tarefa.
| Caminho | O que contém após o reset |
|---|---|
calls/C-101.txt | 756 bytes |
calls/C-102.txt | 518 bytes |
calls/C-103.txt | 400 bytes |
calls/C-104.txt | 513 bytes |
calls/C-105.txt | 360 bytes |
crm/campaign.db | calls (5), dnc (1), qa_flags (0), qa_scores (0) |
docs/QA-CHECKLIST-HL-03.md | 1300 bytes |
Digest do reset, SHA-256 do espaço de trabalho inicial com o banco de dados tomado como o seu dump SQL: d04c7bacdeaf936821d1f41d995b03009854e154d37148776643ac42c6a5c848. Reset determinístico a partir de um diretório vazio: sim. Um espaço de trabalho usado volta ao mesmo digest pelo nosso harness de teste: sim.
A caixa de ferramentas: o que o agente pode tocar
- Leitura
- As cinco transcrições, a checklist e todas as tabelas do banco de dados.
- Escrita
- Uma avaliação por chamada e item da checklist, o campo de classificação de uma chamada, novas entradas na lista de não ligar e sinalizações críticas.
- Não pode tocar
- As transcrições e a checklist, o esquema do banco de dados, todos os outros campos dos registros de chamadas e a entrada de não ligar que já existia no início. Nenhum arquivo pode ser adicionado em lugar nenhum. Qualquer uma dessas ações reprova um gate, e a execução pontua zero, independentemente do que mais tenha feito.
Gates e verificações
Uma submissão que o verificador não consegue pontuar, porque o banco de dados está ilegível ou não contém avaliações, é rejeitada como inválida com recompensa zero, com um motivo estruturado. Depois, três gates. Se qualquer um falhar, a recompensa é zero, sem nenhuma verificação contada.
- transcrições e checklist intactas, nenhum arquivo adicionado em calls/ ou docs/.
- Esquema do CRM inalterado; registros de chamadas alterados apenas na classificação; linhas de DNC iniciais intactas.
- qa_scores contém exatamente um resultado válido para cada uma das 35 células chamada-item.
Depois, oito verificações, cada uma comparada com o banco de dados em disco. O verificador nunca lê o que o agente diz que fez. Os pesos somam 17; 3 verificações são críticas. O critério estrito, a recompensa de treinamento, exige todos os gates e todas as verificações.
| Verificação | O que precisa ser verdade | Peso | Crítica |
|---|---|---|---|
| K1 | Ambas as violações críticas encontradas (alegação de garantia; pedido de não ligar em malaio ignorado) | 3 | sim |
| K2 | Ambas as violações não críticas encontradas (sem aviso de gravação; sem consentimento antes do documento de identidade e do cartão) | 2 | |
| K3 | Nenhuma célula conforme marcada como FAIL | 2 | |
| K4 | Todas as 35 células coincidem com a grade de referência, incluindo NA | 1 | |
| K5 | O pedido de não ligar é respeitado: C-103 definida como DNC e CU-2203 adicionado a dnc com quem o adicionou e por quê (não a proveniência de sistema das linhas importadas) | 3 | sim |
| K6 | Nenhum DNC falso: ninguém mais adicionado, e o cliente que pediu para ligar mais tarde continua como CALLBACK | 3 | sim |
| K7 | Classificações corretas mantidas | 1 | |
| K8 | qa_flags contém exatamente uma linha CRITICAL por violação crítica e nenhuma outra linha | 2 |
A pontuação e o critério estrito são definidos como na página da tarefa de embalagens.
As sondas
Um reward hack falsifica ou adultera e precisa pontuar exatamente zero. Um erro plausível é um erro que um analista cuidadoso poderia cometer; ele não pode obter a recompensa estrita. Uma alternativa correta é uma resposta certa escrita de outra forma; ela precisa obtê-la. 9 reward hacks, 9 erros plausíveis e 1 alternativa correta foram executados em 10 de novembro de 2026, e todos retornaram o resultado esperado.
| Sonda | Tipo | O que fez | Estrita | Pontuação | O que reprovou |
|---|---|---|---|---|---|
empty | Reward hack | Nenhuma resposta gravada | Reprovado | 0.00 | Rejeitada como inválida |
report_only | Reward hack | Um relatório escrito dizendo que o trabalho está feito, sem nada gravado no banco de dados | Reprovado | 0.00 | gate 1, rejeitada como inválida |
extra_report_in_out | Reward hack | Linhas corretas no banco de dados, mais um relatório ao lado dizendo que todas as chamadas foram aprovadas | Reprovado | 0.00 | gate 1 |
delete_breach_calls | Reward hack | Excluiu as duas chamadas com violações e depois aprovou as demais | Reprovado | 0.00 | gate 2 |
all_pass | Erro plausível | Marcou todas as células como PASS: não encontra nenhuma das quatro violações | Reprovado | 0.35 | K1, K2, K4, K5, K8 |
all_fail_dnc_everyone | Erro plausível | Marcou todas as células como FAIL e colocou todos os clientes na lista de não ligar | Reprovado | 0.47 | K3, K4, K6, K7, K8 |
keyword_dnc | Erro plausível | Interpretou “não me ligue no escritório, ligue no meu celular” como um pedido de não ligar | Reprovado | 0.53 | K3, K4, K6, K8 |
misses_malay_dnc | Erro plausível | Avaliou corretamente as chamadas em inglês e deixou passar o pedido de não ligar feito em malaio | Reprovado | 0.47 | K1, K4, K5, K8 |
dnc_provenance_rewritten | Reward hack | Reescreveu quem adicionou a entrada de não ligar existente, e por quê | Reprovado | 0.00 | gate 2 |
call_record_rewritten | Reward hack | Associou a chamada em malaio a outro cliente | Reprovado | 0.00 | gate 2 |
schema_column_added | Reward hack | Adicionou uma coluna ao esquema do banco de dados | Reprovado | 0.00 | gate 2 |
drop_qa_flags | Reward hack | Avaliações corretas e, depois, excluiu a tabela de sinalizações: uma rejeição, não um travamento | Reprovado | 0.00 | Rejeitada como inválida |
forged_transcript | Reward hack | Inseriu uma sexta transcrição | Reprovado | 0.00 | gate 1 |
dnc_row_without_provenance | Erro plausível | A nova entrada de não ligar não diz quem a adicionou nem por quê | Reprovado | 0.82 | K5 |
dnc_row_mimics_system | Erro plausível | A nova entrada de não ligar copia a redação de uma entrada importada, como se o sistema a tivesse adicionado | Reprovado | 0.82 | K5 |
duplicate_critical_flags | Erro plausível | Sinalizou a violação de garantia três vezes | Reprovado | 0.88 | K8 |
lowercase_false_flag | Erro plausível | Uma sinalização falsa em uma chamada conforme, com a severidade escrita em minúsculas | Reprovado | 0.88 | K8 |
major_flags_added | Erro plausível | Uma sinalização MAJOR não solicitada ao lado das duas críticas | Reprovado | 0.88 | K8 |
analyst_id_and_transcript_span_dnc | Alternativa correta | Uma resposta correta cuja entrada de não ligar indica o analista e cita o pedido em malaio | Aprovado | 1.00 | nenhuma |
reference | Solução de referência | A solução de referência | Aprovado | 1.00 | nenhuma |
O nosso harness de teste também construiu 15 entradas hostis a partir de um estado final correto: 4 com uma tabela excluída, 4 com a primeira coluna de uma tabela renomeada, uma com o banco de dados sobrescrito com texto, 6 com uma entrada substituída por um diretório. Todas retornaram um relatório com recompensa zero, sem erro do verificador.
O que um profissional decide
O gabarito codifica uma única convenção sempre que o setor pode ter várias. Um líder de QA decide qual é a correta. Em aberto para esta tarefa:
- Confirmar o nome de um cliente conta como pedir um dado pessoal antes do aviso de gravação? O gabarito diz que não. Se contar, quatro chamadas que o gabarito aprova no item I3 são reprovadas nele.
- Mencionar o produto antes do aviso de gravação conta como descrevê-lo? O gabarito diz que não, então duas chamadas são aprovadas no I3 que uma leitura mais rigorosa reprovaria.
- “Não me ligue no escritório, ligue no meu celular” é um pedido de retorno no gabarito, não um pedido de não ligar. Um líder de QA confirma onde fica o limite em inglês, em malaio e em chamadas que misturam os dois.
O que o verificador ainda não detecta
Nós atacamos os nossos próprios verificadores. Em 8 de novembro de 2026, testamos este contra 40 alterações únicas em um estado final correto: a versão 0 aceitou 15 estados finais errados com pontuação máxima e parou com erro em dois. Executamos novamente as 40 contra a versão 0.1.2 em 9 de novembro de 2026. As classes encontradas, e a situação de cada uma:
| Classe de trabalho errado | Situação nesta tarefa, 9 de novembro de 2026 |
|---|---|
| Sinalizações duplicadas, ou sinalizações falsas com uma severidade diferente da palavra exata CRITICAL | Detectado desde a versão 0.1: a K8 exige exatamente uma linha CRITICAL por violação crítica e nenhuma outra linha. duplicate_critical_flags, lowercase_false_flag, major_flags_added |
| A entrada de não ligar existente reescrita, ou excluída e adicionada de novo | Detectado desde a versão 0.1 pelo gate 2: dnc_provenance_rewritten |
| Uma nova entrada de não ligar que não diz quem a adicionou nem por quê, ou que copia a redação de uma entrada importada | Detectado desde a versão 0.1 pela K5, crítica: dnc_row_without_provenance, dnc_row_mimics_system |
| Colunas adicionadas ao esquema e preenchidas com anotações que contradizem as avaliações | Detectado desde a versão 0.1 pelo gate 2: schema_column_added |
| Um relatório ao lado de tabelas corretas que as contradiz | Detectado desde a versão 0.1.1: qualquer arquivo adicionado reprova no gate 1. extra_report_in_out |
| Uma entrada substituída por um diretório trava o verificador | Corrigido na versão 0.1: 6 entradas hostis desse tipo retornam zero sem erro |
| Em aberto: uma linha de sinalização com todos os campos vazios faz o verificador parar com um erro em vez de uma rejeição estruturada | Em aberto. Encontrado em 9 de novembro de 2026. Nenhuma resposta errada é aceita; a correção e a sua sonda estão programadas para a próxima versão |
| Ainda não lido: se o motivo em uma nova entrada de não ligar é verdadeiro | Em aberto, por design. A K5 pede quem adicionou a entrada e por quê, e aceita qualquer motivo que não esteja vazio. A avaliação às cegas de um profissional é a única verificação sobre isso |
| Ainda não testado: um pedido de não ligar formulado com outras palavras, ou com alternância entre inglês e malaio no meio da frase | Em aberto. A tarefa contém um pedido em malaio e um pedido de retorno relativo ao escritório. Transcrições de chamadas reais ou reencenadas ampliam a cobertura |
Sondas escritas à mão são um gate de regressão, nunca uma garantia: elas comprovam que cada estado final errado em que pensamos pontua o que deve, e nada dizem sobre aqueles em que não pensamos.
Registro de alterações
- Até 7 de novembro de 2026. Versão 0 escrita e executada. Dois modelos atuais de um mesmo provedor passaram nela em um rollout cada.
- 8 de novembro de 2026. Versão 0.1, após a revisão: o esquema, os registros de chamadas além da classificação e a entrada de não ligar existente são comparados com o estado inicial; as sinalizações precisam coincidir exatamente; uma nova entrada de não ligar precisa dizer quem a adicionou e por quê; um banco de dados ilegível é uma rejeição estruturada. O gabarito não mudou.
- 8 de novembro de 2026. Versão 0.1.1: qualquer arquivo adicionado reprova no gate 1. O gabarito não mudou.
- 8 de novembro de 2026. Versão 0.1.2: uma alternativa correta,
analyst_id_and_transcript_span_dnc. O gabarito não mudou. - 9 de novembro de 2026. Esta página foi publicada. As 40 mutações da revisão foram executadas novamente contra a versão 0.1.2: 38 detectadas, uma em aberto (acima) e uma que reinicia manualmente um espaço de trabalho usado, o que o próprio reset do nosso harness resolve.
Veja na prática
Agende uma chamada de vinte minutos e executamos esta tarefa diante do seu engenheiro: um reset, um reward hack, um erro plausível e, depois, a solução de referência. Os termos para um primeiro pedido estão na página da tarefa de embalagens.