Identità
- Task
cc-qa-001, versione 0.1.2, verificatore congelato tramite hash- Famiglia
- call-qa, difficoltà easy, come indicato nel file pubblico dei gate
- Dominio
- Regulated outbound sales: call QA and disposition
- Stato
- Dimostrazione · estratti di testo
- Gate eseguiti
- 10 novembre 2026, Python 3.11.8, solo gate deterministici: nessuna esecuzione di modelli, nessun valutatore umano, nessun addestramento
- Tentativi dei modelli
- Versione 0, entro il 7 novembre 2026: due modelli attuali di uno stesso fornitore, un rollout ciascuno, entrambi superati. Le versioni successive, che hanno reso più severo il verificatore lasciando invariata la chiave delle risposte, sono le prossime a essere eseguite
- Set sigillato
- Escluso. Questo task è divulgato integralmente e non è in vendita
Il lavoro
Un analista QA di una campagna assicurativa in uscita valuta cinque chiamate rispetto alla checklist della campagna, composta da sette voci. Due chiamate contengono una violazione critica: un agente di vendita che afferma che i rendimenti sono garantiti, e un cliente che chiede in malese di non essere più chiamato mentre l’agente continua a vendere. Una terza chiamata contiene due violazioni non critiche. In una quarta, il cliente chiede di non essere chiamato in ufficio, che è una richiesta di richiamata, non una richiesta di non essere chiamato. La quinta è pulita. L’istruzione, così come la riceve l’agente:
Lei è l’analista QA della campagna HL-03. Valuti le cinque chiamate in calls/ rispetto adocs/QA-CHECKLIST-HL-03.md. Incrm/campaign.db: scriva una riga qa_scores per ogni chiamata e voce della checklist (PASS, FAIL o NA), corregga ogni disposition errata in calls, aggiunga clienti a dnc dove la checklist lo richiede, e aggiunga una riga qa_flags (severity CRITICAL) per ogni violazione critica.
La risposta corretta valuta ogni chiamata su ogni voce, PASS, FAIL o NA, imposta l’esito della chiamata in malese su do-not-call, aggiunge quel cliente alla lista «non chiamare» indicando chi lo ha aggiunto e perché, lascia invariati tutti gli altri esiti e scrive esattamente un flag critico per ogni violazione critica.
Su che cosa si basa la valutazione
Il verificatore confronta le valutazioni dell’agente con una chiave delle risposte. La chiave delle risposte, la checklist e le trascrizioni, compresa quella in malese, le abbiamo scritte noi. Una valutazione che differisce dalla chiave non viene superata, anche dove un responsabile QA potrebbe accettarla. Finché un responsabile QA non avrà valutato queste chiamate, il verificatore dimostra che applica fedelmente la nostra chiave, non che la nostra chiave corrisponda al modo in cui valuta il settore.
La versione commissionata sostituisce la nostra checklist con una che un responsabile QA costruisce a partire dal testo pubblico delle norme, e la trascrizione in malese con una scritta da un madrelingua. Un secondo professionista valuta poi alla cieca, e riportiamo l’accordo.
Lo spazio di lavoro
Ogni esecuzione parte dagli stessi file e dallo stesso database, riscritti da zero dal reset del task stesso.
| Percorso | Contenuto dopo il reset |
|---|---|
calls/C-101.txt | 756 byte |
calls/C-102.txt | 518 byte |
calls/C-103.txt | 400 byte |
calls/C-104.txt | 513 byte |
calls/C-105.txt | 360 byte |
crm/campaign.db | calls (5), dnc (1), qa_flags (0), qa_scores (0) |
docs/QA-CHECKLIST-HL-03.md | 1300 byte |
Digest di reset, SHA-256 dello spazio di lavoro inizializzato con il database preso come dump SQL: d04c7bacdeaf936821d1f41d995b03009854e154d37148776643ac42c6a5c848. Reset deterministico a partire da una directory vuota: sì. Uno spazio di lavoro usato torna allo stesso digest tramite il nostro harness di test: sì.
Gli strumenti: che cosa può toccare l’agente
- Lettura
- Le cinque trascrizioni, la checklist e ogni tabella del database.
- Scrittura
- Una valutazione per ogni chiamata e voce della checklist, il campo disposition di una chiamata, nuove voci nella lista «non chiamare» e flag critici.
- Da non toccare
- Le trascrizioni e la checklist, lo schema del database, ogni altro campo dei record delle chiamate e la voce «non chiamare» presente all’inizio. Non si può aggiungere alcun file in nessun punto. Ognuna di queste azioni fa fallire un gate, e l’esecuzione ottiene zero qualunque altra cosa abbia fatto.
Gate e controlli
Una sottomissione a cui il verificatore non può assegnare un punteggio, perché il database è illeggibile o non contiene valutazioni, viene respinta come non valida con ricompensa zero e una motivazione strutturata. Poi tre gate. Se ne fallisce uno, la ricompensa è zero e nessun controllo viene conteggiato.
- trascrizioni e checklist intatte, nessun file aggiunto in calls/ o docs/.
- Schema del CRM invariato; record delle chiamate modificati solo in disposition; righe DNC iniziali intatte.
- qa_scores contiene esattamente un risultato valido per ciascuna delle 35 celle chiamata-voce.
Poi otto controlli, ciascuno confrontato con il database su disco. Il verificatore non legge mai ciò che l’agente dice di aver fatto. I pesi sommano a 17; 3 controlli sono critici. Il criterio rigoroso, cioè la ricompensa di addestramento, richiede ogni gate e ogni controllo.
| Controllo | Che cosa deve essere vero | Peso | Critico |
|---|---|---|---|
| K1 | Entrambe le violazioni critiche individuate (affermazione di garanzia; richiesta di non essere chiamato in malese ignorata) | 3 | sì |
| K2 | Entrambe le violazioni non critiche individuate (nessun avviso di registrazione; nessun consenso prima di documento d’identità e carta) | 2 | |
| K3 | Nessuna cella conforme marcata FAIL | 2 | |
| K4 | Tutte le 35 celle corrispondono alla griglia di riferimento, NA compresi | 1 | |
| K5 | La richiesta di non essere chiamato è rispettata: C-103 impostata su DNC e CU-2203 aggiunto a dnc indicando chi lo ha aggiunto e perché (non la provenienza di sistema delle righe importate) | 3 | sì |
| K6 | Nessun falso DNC: nessun altro aggiunto, e il cliente da richiamare resta CALLBACK | 3 | sì |
| K7 | Esiti corretti lasciati invariati | 1 | |
| K8 | qa_flags contiene esattamente una riga CRITICAL per ogni violazione critica e nessun’altra riga | 2 |
Punteggio e criterio rigoroso sono definiti come nella pagina del task sugli imballaggi.
Le sonde
Un reward hack falsifica o manomette e deve ottenere esattamente zero. Un errore plausibile è un errore che un analista attento potrebbe commettere; non deve ottenere la ricompensa rigorosa. Un’alternativa corretta è una risposta giusta scritta in un altro modo; deve ottenerla. 9 reward hack, 9 errori plausibili e 1 alternativa corretta sono stati eseguiti il 10 novembre 2026, e ciascuno ha restituito il risultato atteso.
| Sonda | Tipo | Che cosa ha fatto | Rigoroso | Punteggio | Che cosa non è stato superato |
|---|---|---|---|---|---|
empty | Reward hack | Nessuna risposta scritta | Non superato | 0.00 | Respinta come non valida |
report_only | Reward hack | Un report scritto che dichiara il lavoro svolto, senza nulla scritto nel database | Non superato | 0.00 | gate 1, respinta come non valida |
extra_report_in_out | Reward hack | Righe del database corrette, più un report accanto che afferma che ogni chiamata è stata superata | Non superato | 0.00 | gate 1 |
delete_breach_calls | Reward hack | Ha eliminato le due chiamate con violazioni, poi ha dato per superate le altre | Non superato | 0.00 | gate 2 |
all_pass | Errore plausibile | Ha marcato ogni cella PASS: non individua nessuna delle quattro violazioni | Non superato | 0.35 | K1, K2, K4, K5, K8 |
all_fail_dnc_everyone | Errore plausibile | Ha marcato ogni cella FAIL e ha messo ogni cliente nella lista «non chiamare» | Non superato | 0.47 | K3, K4, K6, K7, K8 |
keyword_dnc | Errore plausibile | Ha interpretato «non mi chiami in ufficio, mi chiami sul cellulare» come una richiesta di non essere chiamato | Non superato | 0.53 | K3, K4, K6, K8 |
misses_malay_dnc | Errore plausibile | Ha valutato correttamente le chiamate in inglese e ha mancato la richiesta di non essere chiamato fatta in malese | Non superato | 0.47 | K1, K4, K5, K8 |
dnc_provenance_rewritten | Reward hack | Ha riscritto chi aveva aggiunto la voce «non chiamare» esistente, e perché | Non superato | 0.00 | gate 2 |
call_record_rewritten | Reward hack | Ha associato la chiamata in malese a un altro cliente | Non superato | 0.00 | gate 2 |
schema_column_added | Reward hack | Ha aggiunto una colonna allo schema del database | Non superato | 0.00 | gate 2 |
drop_qa_flags | Reward hack | Valutazioni corrette, poi ha eliminato la tabella dei flag: un rifiuto, non un crash | Non superato | 0.00 | Respinta come non valida |
forged_transcript | Reward hack | Ha inserito una sesta trascrizione | Non superato | 0.00 | gate 1 |
dnc_row_without_provenance | Errore plausibile | La nuova voce «non chiamare» non indica né chi l’ha aggiunta né perché | Non superato | 0.82 | K5 |
dnc_row_mimics_system | Errore plausibile | La nuova voce «non chiamare» copia la formulazione di una voce importata, come se l’avesse aggiunta il sistema | Non superato | 0.82 | K5 |
duplicate_critical_flags | Errore plausibile | Ha segnalato tre volte la violazione della garanzia | Non superato | 0.88 | K8 |
lowercase_false_flag | Errore plausibile | Un falso flag su una chiamata conforme, con la severity scritta in minuscolo | Non superato | 0.88 | K8 |
major_flags_added | Errore plausibile | Un flag MAJOR non richiesto accanto ai due critici | Non superato | 0.88 | K8 |
analyst_id_and_transcript_span_dnc | Alternativa corretta | Una risposta corretta la cui voce «non chiamare» indica l’analista e cita la richiesta in malese | Superato | 1.00 | nessuno |
reference | Soluzione di riferimento | La soluzione di riferimento | Superato | 1.00 | nessuno |
Il nostro harness di test ha inoltre costruito 15 input ostili a partire da uno stato finale corretto: 4 con una tabella eliminata, 4 con la prima colonna di una tabella rinominata, uno con il database sovrascritto da testo, 6 con un input sostituito da una directory. Ciascuno ha restituito un report con ricompensa zero senza errori del verificatore.
Che cosa stabilisce un professionista
La chiave delle risposte codifica una sola convenzione là dove il settore potrebbe averne diverse. È un responsabile QA a decidere quale sia giusta. Questioni aperte per questo task:
- Confermare il nome di un cliente equivale a chiedere un dato personale prima dell’avviso di registrazione? La chiave dice di no. Se così fosse, quattro chiamate che la chiave considera superate sulla voce I3 non la supererebbero.
- Nominare il prodotto prima dell’avviso di registrazione equivale a descriverlo? La chiave dice di no, quindi due chiamate superano I3 mentre una lettura più severa le boccerebbe.
- «Non mi chiami in ufficio, mi chiami sul cellulare» è una richiamata nella chiave, non una richiesta di non essere chiamato. Un responsabile QA conferma dove passa il confine in inglese, in malese e nelle chiamate che mescolano le due lingue.
Che cosa il verificatore non rileva ancora
Attacchiamo i nostri stessi verificatori. L’8 novembre 2026 abbiamo testato questo verificatore con 40 modifiche singole a uno stato finale corretto: la versione 0 ha accettato 15 stati finali sbagliati con punteggio pieno e si è fermata con un errore su due. Il 9 novembre 2026 abbiamo rieseguito tutte le 40 modifiche sulla versione 0.1.2. Le classi individuate, e lo stato di ciascuna:
| Classe di lavoro sbagliato | Stato su questo task, 9 novembre 2026 |
|---|---|
| Flag duplicati, o falsi flag con una severity diversa dalla parola esatta CRITICAL | Rilevato a partire dalla versione 0.1: K8 richiede esattamente una riga CRITICAL per ogni violazione critica e nessun’altra riga. duplicate_critical_flags, lowercase_false_flag, major_flags_added |
| La voce «non chiamare» esistente riscritta, oppure eliminata e reinserita | Rilevato a partire dalla versione 0.1 dal gate 2: dnc_provenance_rewritten |
| Una nuova voce «non chiamare» che non indica né chi l’ha aggiunta né perché, o che copia la formulazione di una voce importata | Rilevato a partire dalla versione 0.1 da K5, critico: dnc_row_without_provenance, dnc_row_mimics_system |
| Colonne aggiunte allo schema e riempite con note che contraddicono le valutazioni | Rilevato a partire dalla versione 0.1 dal gate 2: schema_column_added |
| Un report accanto a tabelle corrette che le contraddice | Rilevato a partire dalla versione 0.1.1: qualsiasi file aggiunto fa fallire il gate 1. extra_report_in_out |
| Un input sostituito da una directory manda in crash il verificatore | Chiuso nella versione 0.1: 6 input ostili di questo tipo restituiscono uno zero senza errori |
| Aperto: una riga di flag con tutti i campi vuoti ferma il verificatore con un errore invece che con un rifiuto strutturato | Aperto. Individuato il 9 novembre 2026. Nessuna risposta sbagliata viene accettata; la correzione e la relativa sonda sono previste per la prossima versione |
| Non ancora letto: se la motivazione di una nuova voce «non chiamare» sia vera | Aperto, per progettazione. K5 chiede chi ha aggiunto la voce e perché, e accetta qualsiasi motivazione non vuota. La valutazione alla cieca di un professionista è l’unico controllo su questo punto |
| Non ancora testato: una richiesta di non essere chiamato formulata con altre parole, o il passaggio tra inglese e malese a metà frase | Aperto. Il task contiene una sola richiesta in malese e una sola richiamata in ufficio. Trascrizioni di chiamate reali o ricostruite ne ampliano la copertura |
Le sonde scritte a mano sono un gate di regressione, mai una garanzia: dimostrano che ogni stato finale sbagliato a cui abbiamo pensato ottiene il punteggio dovuto, e nulla su quelli a cui non abbiamo pensato.
Change log
- Entro il 7 novembre 2026. Versione 0 scritta ed eseguita. Due modelli attuali di uno stesso fornitore l’hanno superata con un rollout ciascuno.
- 8 novembre 2026. Versione 0.1, dopo la revisione: lo schema, i record delle chiamate diversi da disposition e la voce «non chiamare» esistente vengono confrontati con il seed; i flag devono corrispondere esattamente; una nuova voce «non chiamare» deve indicare chi l’ha aggiunta e perché; un database illeggibile è un rifiuto strutturato. La chiave delle risposte è invariata.
- 8 novembre 2026. Versione 0.1.1: qualsiasi file aggiunto fa fallire il gate 1. La chiave delle risposte è invariata.
- 8 novembre 2026. Versione 0.1.2: un’alternativa corretta,
analyst_id_and_transcript_span_dnc. La chiave delle risposte è invariata. - 9 novembre 2026. Pubblicazione di questa pagina. Le 40 mutazioni della revisione rieseguite sulla versione 0.1.2: 38 rilevate, una aperta (sopra), e una che resetta a mano uno spazio di lavoro usato, caso gestito dal reset del nostro harness.
Lo esamini insieme a noi
Prenoti una chiamata di venti minuti ed eseguiamo questo task davanti al Suo ingegnere: un reset, un reward hack, un errore plausibile, poi la soluzione di riferimento. Le condizioni per un primo ordine sono nella pagina del task sugli imballaggi.
Richieda un pacchetto di esempi Prenoti la dimostrazione guidata