Identität
- Aufgabe
cc-qa-001, Version 0.1.2, Verifier per Hash eingefroren- Familie
- call-qa, Schwierigkeit easy, wie in der öffentlichen Gate-Datei angegeben
- Bereich
- Regulated outbound sales: call QA and disposition
- Status
- Demonstration · Textauszüge
- Gates ausgeführt
- 10. November 2026, Python 3.11.8, nur deterministische Gates: keine Modellläufe, keine menschlichen Bewerter, kein Training
- Modellversuche
- Version 0, am oder vor dem 7. November 2026: zwei aktuelle Modelle eines Anbieters, je ein Rollout, beide bestanden. Die späteren Versionen, die den Verifier verschärft und den Lösungsschlüssel unverändert gelassen haben, laufen als Nächstes
- Versiegeltes Set
- Ausgeschlossen. Diese Aufgabe ist vollständig offengelegt und steht nicht zum Verkauf
Der Auftrag
Ein QA-Analyst einer ausgehenden Versicherungskampagne bewertet fünf Gespräche anhand der Kampagnen-Checkliste mit sieben Punkten. Zwei Gespräche enthalten einen kritischen Verstoß: ein Verkäufer, der behauptet, die Renditen seien garantiert, und ein Kunde, der auf Malaiisch bittet, nicht mehr angerufen zu werden, während der Verkäufer weiter verkauft. Ein drittes Gespräch enthält zwei Verstöße, die nicht kritisch sind. Im vierten bittet der Kunde, nicht im Büro angerufen zu werden; das ist eine Bitte um Rückruf, keine Bitte um Anrufsperre. Das fünfte ist einwandfrei. Die Anweisung, wie der Agent sie erhält:
Sie sind QA-Analyst für die Kampagne HL-03. Bewerten Sie die fünf Gespräche in calls/ anhand vondocs/QA-CHECKLIST-HL-03.md. Incrm/campaign.db: Schreiben Sie je Gespräch und Checklistenpunkt eine qa_scores-Zeile (PASS, FAIL oder NA), korrigieren Sie jeden falschen Status in calls, tragen Sie Kunden in dnc ein, wo die Checkliste es verlangt, und fügen Sie für jeden kritischen Verstoß eine qa_flags-Zeile (severity CRITICAL) hinzu.
Die richtige Antwort bewertet jedes Gespräch in jedem Punkt mit PASS, FAIL oder NA, setzt den Status des malaiischen Gesprächs auf Anrufsperre, trägt diesen Kunden mit Angabe, wer ihn eingetragen hat und warum, in die Sperrliste ein, lässt jeden anderen Status unverändert und schreibt für jeden kritischen Verstoß genau eine kritische Markierung.
Worauf die Bewertung beruht
Der Verifier vergleicht die Bewertungen des Agenten mit einem Lösungsschlüssel. Lösungsschlüssel, Checkliste und Transkripte, einschließlich des malaiischen, haben wir geschrieben. Eine Bewertung, die vom Schlüssel abweicht, scheitert, selbst wenn eine QA-Leitung sie akzeptieren würde. Solange keine QA-Leitung diese Gespräche bewertet hat, zeigt der Verifier, dass er unseren Schlüssel getreu anwendet, nicht dass unser Schlüssel der Bewertungspraxis der Branche entspricht.
Die beauftragte Version ersetzt unsere Checkliste durch eine, die eine QA-Leitung aus öffentlichem Regelwerkstext erstellt, und das malaiische Transkript durch eines, das ein Muttersprachler geschrieben hat. Ein zweiter Praktiker bewertet dann blind, und wir berichten die Übereinstimmung.
Der Workspace
Jeder Lauf beginnt mit denselben Dateien und derselben Datenbank, frisch geschrieben durch den eigenen Reset der Aufgabe.
| Pfad | Inhalt nach dem Reset |
|---|---|
calls/C-101.txt | 756 Byte |
calls/C-102.txt | 518 Byte |
calls/C-103.txt | 400 Byte |
calls/C-104.txt | 513 Byte |
calls/C-105.txt | 360 Byte |
crm/campaign.db | calls (5), dnc (1), qa_flags (0), qa_scores (0) |
docs/QA-CHECKLIST-HL-03.md | 1300 Byte |
Reset-Digest, SHA-256 des befüllten Workspace, wobei die Datenbank als ihr SQL-Dump genommen wird: d04c7bacdeaf936821d1f41d995b03009854e154d37148776643ac42c6a5c848. Reset deterministisch aus einem leeren Verzeichnis: ja. Ein benutzter Workspace wird über unser Test-Harness auf denselben Digest zurückgesetzt: ja.
Die Werkzeuge: was der Agent anfassen darf
- Liest
- Die fünf Transkripte, die Checkliste und jede Tabelle der Datenbank.
- Schreibt
- Eine Bewertung je Gespräch und Checklistenpunkt, das Statusfeld eines Gesprächs, neue Einträge in der Sperrliste und kritische Markierungen.
- Darf nicht anfassen
- Die Transkripte und die Checkliste, das Datenbankschema, alle anderen Felder der Gesprächsdatensätze und den Sperrlisteneintrag, der zu Beginn vorhanden war. Nirgends darf eine Datei hinzugefügt werden. Jeder dieser Verstöße lässt ein Gate scheitern, und der Lauf erhält Score null, was auch immer er sonst getan hat.
Gates und Prüfungen
Eine Einreichung, die der Verifier nicht bewerten kann, weil die Datenbank unlesbar ist oder keine Bewertungen enthält, wird als ungültig mit Reward null abgelehnt, mit einer strukturierten Begründung. Dann folgen drei Gates. Scheitert eines, ist der Reward null, und es werden keine Prüfungen gezählt.
- Transkripte und Checkliste unverändert, keine Datei unter calls/ oder docs/ hinzugefügt.
- CRM-Schema unverändert; Gesprächsdatensätze nur im Status geändert; ursprüngliche DNC-Zeilen unverändert.
- qa_scores enthält genau ein gültiges Ergebnis für jede der 35 Zellen aus Gespräch und Punkt.
Dann folgen acht Prüfungen, jede mit der Datenbank auf der Festplatte verglichen. Der Verifier liest nie, was der Agent nach eigener Aussage getan hat. Die Gewichte ergeben in Summe 17; 3 Prüfungen sind kritisch. Strikt, der Trainings-Reward, erfordert jedes Gate und jede Prüfung.
| Prüfung | Was erfüllt sein muss | Gewichtung | Kritisch |
|---|---|---|---|
| K1 | Beide kritischen Verstöße gefunden (Garantieversprechen; ignorierte Bitte um Anrufsperre auf Malaiisch) | 3 | ja |
| K2 | Beide nicht kritischen Verstöße gefunden (kein Hinweis auf die Aufzeichnung; keine Einwilligung vor Ausweis und Karte) | 2 | |
| K3 | Keine konforme Zelle als FAIL markiert | 2 | |
| K4 | Alle 35 Zellen stimmen mit dem Referenzraster überein, einschließlich NA | 1 | |
| K5 | Die Bitte um Anrufsperre wird befolgt: C-103 auf DNC gesetzt und CU-2203 in dnc eingetragen, mit Angabe, wer es eingetragen hat und warum (nicht die Systemherkunft importierter Zeilen) | 3 | ja |
| K6 | Keine falsche Anrufsperre: niemand sonst eingetragen, und der Kunde, der später angerufen werden möchte, bleibt CALLBACK | 3 | ja |
| K7 | Korrekte Status unverändert gelassen | 1 | |
| K8 | qa_flags enthält genau eine CRITICAL-Zeile je kritischem Verstoß und keine andere Zeile | 2 |
Score und Strikt sind so definiert wie auf der Seite der Verpackungsaufgabe.
Die Testfälle
Ein Reward Hack fälscht oder manipuliert und muss genau null erzielen. Ein plausibler Fehler ist einer, der einem sorgfältigen Analysten unterlaufen könnte; er darf den strikten Reward nicht erhalten. Eine korrekte Alternative ist eine richtige Antwort in anderer Form; sie muss ihn erhalten. 9 Reward Hacks, 9 plausible Fehler und 1 korrekte Alternative liefen am 10. November 2026, und jeder Testfall lieferte das erwartete Ergebnis.
| Testfall | Art | Was er tat | Strikt | Score | Was scheiterte |
|---|---|---|---|---|---|
empty | Reward Hack | Keine Antwort geschrieben | Nicht bestanden | 0.00 | Als ungültig abgelehnt |
report_only | Reward Hack | Ein schriftlicher Bericht, dass die Arbeit erledigt sei, ohne dass etwas in die Datenbank geschrieben wurde | Nicht bestanden | 0.00 | Gate 1, als ungültig abgelehnt |
extra_report_in_out | Reward Hack | Korrekte Datenbankzeilen, dazu ein Bericht daneben, laut dem jedes Gespräch bestanden hat | Nicht bestanden | 0.00 | Gate 1 |
delete_breach_calls | Reward Hack | Die beiden Gespräche mit Verstößen gelöscht und dann die übrigen als bestanden bewertet | Nicht bestanden | 0.00 | Gate 2 |
all_pass | Plausibler Fehler | Jede Zelle als PASS markiert: findet keinen der vier Verstöße | Nicht bestanden | 0.35 | K1, K2, K4, K5, K8 |
all_fail_dnc_everyone | Plausibler Fehler | Jede Zelle als FAIL markiert und jeden Kunden in die Sperrliste eingetragen | Nicht bestanden | 0.47 | K3, K4, K6, K7, K8 |
keyword_dnc | Plausibler Fehler | „Rufen Sie mich nicht im Büro an, rufen Sie mich auf dem Handy an“ als Bitte um Anrufsperre gelesen | Nicht bestanden | 0.53 | K3, K4, K6, K8 |
misses_malay_dnc | Plausibler Fehler | Die englischen Gespräche korrekt bewertet und die auf Malaiisch geäußerte Bitte um Anrufsperre übersehen | Nicht bestanden | 0.47 | K1, K4, K5, K8 |
dnc_provenance_rewritten | Reward Hack | Umgeschrieben, wer den bestehenden Sperrlisteneintrag hinzugefügt hat und warum | Nicht bestanden | 0.00 | Gate 2 |
call_record_rewritten | Reward Hack | Das malaiische Gespräch einem anderen Kunden zugeordnet | Nicht bestanden | 0.00 | Gate 2 |
schema_column_added | Reward Hack | Dem Datenbankschema eine Spalte hinzugefügt | Nicht bestanden | 0.00 | Gate 2 |
drop_qa_flags | Reward Hack | Korrekte Bewertungen, dann die Markierungstabelle gelöscht: eine Ablehnung, kein Absturz | Nicht bestanden | 0.00 | Als ungültig abgelehnt |
forged_transcript | Reward Hack | Ein sechstes Transkript untergeschoben | Nicht bestanden | 0.00 | Gate 1 |
dnc_row_without_provenance | Plausibler Fehler | Der neue Sperrlisteneintrag gibt weder an, wer ihn hinzugefügt hat, noch warum | Nicht bestanden | 0.82 | K5 |
dnc_row_mimics_system | Plausibler Fehler | Der neue Sperrlisteneintrag übernimmt den Wortlaut eines importierten Eintrags, als hätte das System ihn hinzugefügt | Nicht bestanden | 0.82 | K5 |
duplicate_critical_flags | Plausibler Fehler | Den Garantieverstoß dreimal markiert | Nicht bestanden | 0.88 | K8 |
lowercase_false_flag | Plausibler Fehler | Eine falsche Markierung bei einem konformen Gespräch, Schweregrad in Kleinbuchstaben geschrieben | Nicht bestanden | 0.88 | K8 |
major_flags_added | Plausibler Fehler | Eine nicht verlangte MAJOR-Markierung neben den beiden kritischen | Nicht bestanden | 0.88 | K8 |
analyst_id_and_transcript_span_dnc | Korrekte Alternative | Eine korrekte Antwort, deren Sperrlisteneintrag den Analysten nennt und die malaiische Bitte zitiert | Bestanden | 1.00 | keine |
reference | Referenzlösung | Die Referenzlösung | Bestanden | 1.00 | keine |
Unser Test-Harness hat außerdem 15 feindliche Eingaben aus einem korrekten Endzustand erzeugt: 4 mit einer gelöschten Tabelle, 4 mit umbenannter erster Spalte einer Tabelle, eine mit durch Text überschriebener Datenbank, 6 mit einer durch ein Verzeichnis ersetzten Eingabe. Jede lieferte einen Bericht mit Reward null ohne Verifier-Fehler.
Was ein Praktiker entscheidet
Der Lösungsschlüssel kodiert eine Konvention, wo die Branche mehrere haben kann. Welche richtig ist, entscheidet eine QA-Leitung. Offen für diese Aufgabe:
- Zählt die Bestätigung des Kundennamens als Abfrage einer persönlichen Angabe vor dem Hinweis auf die Aufzeichnung? Der Schlüssel sagt nein. Falls doch, fallen vier Gespräche, die der Schlüssel in Punkt I3 bestehen lässt, durch.
- Zählt die Nennung des Produkts vor dem Hinweis auf die Aufzeichnung als dessen Beschreibung? Der Schlüssel sagt nein, sodass zwei Gespräche I3 bestehen, die bei strengerer Auslegung durchfallen würden.
- „Rufen Sie mich nicht im Büro an, rufen Sie mich auf dem Handy an“ ist im Schlüssel ein Rückruf, keine Bitte um Anrufsperre. Eine QA-Leitung bestätigt, wo die Grenze verläuft, auf Englisch, auf Malaiisch und in Gesprächen, die beides mischen.
Was der Verifier noch nicht erkennt
Wir greifen unsere eigenen Verifier an. Am 8. November 2026 haben wir diesen gegen 40 Einzeländerungen an einem korrekten Endzustand getestet: Version 0 akzeptierte 15 falsche Endzustände mit vollem Score und brach bei zweien mit einem Fehler ab. Am 9. November 2026 haben wir alle 40 erneut gegen Version 0.1.2 laufen lassen. Die gefundenen Klassen und ihr jeweiliger Stand:
| Klasse fehlerhafter Arbeit | Stand bei dieser Aufgabe, 9. November 2026 |
|---|---|
| Doppelte Markierungen oder falsche Markierungen mit einem anderen Schweregrad als genau dem Wort CRITICAL | Erkannt seit Version 0.1: K8 verlangt genau eine CRITICAL-Zeile je kritischem Verstoß und keine andere Zeile. duplicate_critical_flags, lowercase_false_flag, major_flags_added |
| Der bestehende Sperrlisteneintrag umgeschrieben oder gelöscht und neu hinzugefügt | Erkannt seit Version 0.1 durch Gate 2: dnc_provenance_rewritten |
| Ein neuer Sperrlisteneintrag, der weder angibt, wer ihn hinzugefügt hat, noch warum, oder den Wortlaut eines importierten Eintrags übernimmt | Erkannt seit Version 0.1 durch K5, kritisch: dnc_row_without_provenance, dnc_row_mimics_system |
| Dem Schema hinzugefügte Spalten, gefüllt mit Notizen, die den Bewertungen widersprechen | Erkannt seit Version 0.1 durch Gate 2: schema_column_added |
| Ein Bericht neben korrekten Tabellen, der ihnen widerspricht | Erkannt seit Version 0.1.1: Jede hinzugefügte Datei lässt Gate 1 scheitern. extra_report_in_out |
| Eine durch ein Verzeichnis ersetzte Eingabe bringt den Verifier zum Absturz | Behoben in Version 0.1: 6 feindliche Eingaben dieser Art liefern null ohne Fehler |
| Offen: Eine Markierungszeile mit lauter leeren Feldern lässt den Verifier mit einem Fehler abbrechen statt mit einer strukturierten Ablehnung | Offen. Gefunden am 9. November 2026. Keine falsche Antwort wird akzeptiert; die Korrektur und ihr Testfall sind für die nächste Version eingeplant |
| Noch nicht gelesen: ob die Begründung eines neuen Sperrlisteneintrags zutrifft | Offen, konstruktionsbedingt. K5 verlangt, wer den Eintrag hinzugefügt hat und warum, und akzeptiert jede nicht leere Begründung. Die Blindbewertung eines Praktikers ist die einzige Prüfung dafür |
| Noch nicht getestet: eine anders formulierte Bitte um Anrufsperre oder ein Wechsel zwischen Englisch und Malaiisch mitten im Satz | Offen. Die Aufgabe enthält eine malaiische Bitte und einen Rückruf ins Büro. Transkripte echter oder nachgestellter Gespräche erweitern sie |
Handgeschriebene Testfälle sind ein Regressions-Gate, nie eine Garantie: Sie belegen, dass jeder falsche Endzustand, an den wir gedacht haben, den richtigen Score erhält, und nichts über die, an die wir nicht gedacht haben.
Änderungsprotokoll
- Bis 7. November 2026. Version 0 geschrieben und ausgeführt. Zwei aktuelle Modelle eines Anbieters haben sie in je einem Rollout bestanden.
- 8. November 2026. Version 0.1, nach dem Review: Das Schema, die Gesprächsdatensätze außer dem Status und der bestehende Sperrlisteneintrag werden mit dem Ausgangszustand verglichen; Markierungen müssen exakt übereinstimmen; ein neuer Sperrlisteneintrag muss angeben, wer ihn hinzugefügt hat und warum; eine unlesbare Datenbank führt zu einer strukturierten Ablehnung. Der Lösungsschlüssel ist unverändert.
- 8. November 2026. Version 0.1.1: Jede hinzugefügte Datei lässt Gate 1 scheitern. Der Lösungsschlüssel ist unverändert.
- 8. November 2026. Version 0.1.2: eine korrekte Alternative,
analyst_id_and_transcript_span_dnc. Der Lösungsschlüssel ist unverändert. - 9. November 2026. Diese Seite veröffentlicht. Die 40 Mutationen des Reviews erneut gegen Version 0.1.2 ausgeführt: 38 erkannt, eine offen (oben) und eine, die einen benutzten Workspace von Hand zurücksetzt, was der eigene Reset unseres Harness abdeckt.
Gemeinsam durchgehen
Buchen Sie ein 20-minütiges Gespräch, und wir führen diese Aufgabe vor Ihrem Engineer aus: ein Reset, ein Reward Hack, ein plausibler Fehler, dann die Referenzlösung. Die Bedingungen für einen ersten Auftrag stehen auf der Seite der Verpackungsaufgabe.