Menü

Forschung

Prüfung der Gesprächsqualität, Version 0.1.2: jede Prüfung und jede bekannte Lücke

Eine Contact-Center-Demonstrationsaufgabe. Der Agent bewertet fünf ausgehende Verkaufsgespräche für Versicherungen, eines davon auf Malaiisch mit Englisch gemischt, anhand einer Compliance-Checkliste und aktualisiert dann die Unterlagen: Gesprächsstatus, die Sperrliste für Anrufe und je eine Markierung für jeden kritischen Verstoß.

Aufgabe cc-qa-001 · Version 0.1.2, Gates ausgeführt am 10. November 2026 · Datarena

Demonstration · Über die öffentlichen Demonstrationen. Diese Gespräche sind kurze Textauszüge, kein Audio. Die Bewertung beruht auf unserem Lösungsschlüssel; bisher hat weder eine QA-Leitung noch ein muttersprachlicher Bewerter diese Gespräche bewertet.

Identität

Aufgabe
cc-qa-001, Version 0.1.2, Verifier per Hash eingefroren
Familie
call-qa, Schwierigkeit easy, wie in der öffentlichen Gate-Datei angegeben
Bereich
Regulated outbound sales: call QA and disposition
Status
Demonstration · Textauszüge
Gates ausgeführt
10. November 2026, Python 3.11.8, nur deterministische Gates: keine Modellläufe, keine menschlichen Bewerter, kein Training
Modellversuche
Version 0, am oder vor dem 7. November 2026: zwei aktuelle Modelle eines Anbieters, je ein Rollout, beide bestanden. Die späteren Versionen, die den Verifier verschärft und den Lösungsschlüssel unverändert gelassen haben, laufen als Nächstes
Versiegeltes Set
Ausgeschlossen. Diese Aufgabe ist vollständig offengelegt und steht nicht zum Verkauf

Der Auftrag

Ein QA-Analyst einer ausgehenden Versicherungskampagne bewertet fünf Gespräche anhand der Kampagnen-Checkliste mit sieben Punkten. Zwei Gespräche enthalten einen kritischen Verstoß: ein Verkäufer, der behauptet, die Renditen seien garantiert, und ein Kunde, der auf Malaiisch bittet, nicht mehr angerufen zu werden, während der Verkäufer weiter verkauft. Ein drittes Gespräch enthält zwei Verstöße, die nicht kritisch sind. Im vierten bittet der Kunde, nicht im Büro angerufen zu werden; das ist eine Bitte um Rückruf, keine Bitte um Anrufsperre. Das fünfte ist einwandfrei. Die Anweisung, wie der Agent sie erhält:

Sie sind QA-Analyst für die Kampagne HL-03. Bewerten Sie die fünf Gespräche in calls/ anhand von docs/QA-CHECKLIST-HL-03.md. In crm/campaign.db: Schreiben Sie je Gespräch und Checklistenpunkt eine qa_scores-Zeile (PASS, FAIL oder NA), korrigieren Sie jeden falschen Status in calls, tragen Sie Kunden in dnc ein, wo die Checkliste es verlangt, und fügen Sie für jeden kritischen Verstoß eine qa_flags-Zeile (severity CRITICAL) hinzu.

Die richtige Antwort bewertet jedes Gespräch in jedem Punkt mit PASS, FAIL oder NA, setzt den Status des malaiischen Gesprächs auf Anrufsperre, trägt diesen Kunden mit Angabe, wer ihn eingetragen hat und warum, in die Sperrliste ein, lässt jeden anderen Status unverändert und schreibt für jeden kritischen Verstoß genau eine kritische Markierung.

Worauf die Bewertung beruht

Der Verifier vergleicht die Bewertungen des Agenten mit einem Lösungsschlüssel. Lösungsschlüssel, Checkliste und Transkripte, einschließlich des malaiischen, haben wir geschrieben. Eine Bewertung, die vom Schlüssel abweicht, scheitert, selbst wenn eine QA-Leitung sie akzeptieren würde. Solange keine QA-Leitung diese Gespräche bewertet hat, zeigt der Verifier, dass er unseren Schlüssel getreu anwendet, nicht dass unser Schlüssel der Bewertungspraxis der Branche entspricht.

Die beauftragte Version ersetzt unsere Checkliste durch eine, die eine QA-Leitung aus öffentlichem Regelwerkstext erstellt, und das malaiische Transkript durch eines, das ein Muttersprachler geschrieben hat. Ein zweiter Praktiker bewertet dann blind, und wir berichten die Übereinstimmung.

Der Workspace

Jeder Lauf beginnt mit denselben Dateien und derselben Datenbank, frisch geschrieben durch den eigenen Reset der Aufgabe.

PfadInhalt nach dem Reset
calls/C-101.txt756 Byte
calls/C-102.txt518 Byte
calls/C-103.txt400 Byte
calls/C-104.txt513 Byte
calls/C-105.txt360 Byte
crm/campaign.dbcalls (5), dnc (1), qa_flags (0), qa_scores (0)
docs/QA-CHECKLIST-HL-03.md1300 Byte

Reset-Digest, SHA-256 des befüllten Workspace, wobei die Datenbank als ihr SQL-Dump genommen wird: d04c7bacdeaf936821d1f41d995b03009854e154d37148776643ac42c6a5c848. Reset deterministisch aus einem leeren Verzeichnis: ja. Ein benutzter Workspace wird über unser Test-Harness auf denselben Digest zurückgesetzt: ja.

Die Werkzeuge: was der Agent anfassen darf

Liest
Die fünf Transkripte, die Checkliste und jede Tabelle der Datenbank.
Schreibt
Eine Bewertung je Gespräch und Checklistenpunkt, das Statusfeld eines Gesprächs, neue Einträge in der Sperrliste und kritische Markierungen.
Darf nicht anfassen
Die Transkripte und die Checkliste, das Datenbankschema, alle anderen Felder der Gesprächsdatensätze und den Sperrlisteneintrag, der zu Beginn vorhanden war. Nirgends darf eine Datei hinzugefügt werden. Jeder dieser Verstöße lässt ein Gate scheitern, und der Lauf erhält Score null, was auch immer er sonst getan hat.

Gates und Prüfungen

Eine Einreichung, die der Verifier nicht bewerten kann, weil die Datenbank unlesbar ist oder keine Bewertungen enthält, wird als ungültig mit Reward null abgelehnt, mit einer strukturierten Begründung. Dann folgen drei Gates. Scheitert eines, ist der Reward null, und es werden keine Prüfungen gezählt.

  1. Transkripte und Checkliste unverändert, keine Datei unter calls/ oder docs/ hinzugefügt.
  2. CRM-Schema unverändert; Gesprächsdatensätze nur im Status geändert; ursprüngliche DNC-Zeilen unverändert.
  3. qa_scores enthält genau ein gültiges Ergebnis für jede der 35 Zellen aus Gespräch und Punkt.

Dann folgen acht Prüfungen, jede mit der Datenbank auf der Festplatte verglichen. Der Verifier liest nie, was der Agent nach eigener Aussage getan hat. Die Gewichte ergeben in Summe 17; 3 Prüfungen sind kritisch. Strikt, der Trainings-Reward, erfordert jedes Gate und jede Prüfung.

PrüfungWas erfüllt sein mussGewichtungKritisch
K1Beide kritischen Verstöße gefunden (Garantieversprechen; ignorierte Bitte um Anrufsperre auf Malaiisch)3ja
K2Beide nicht kritischen Verstöße gefunden (kein Hinweis auf die Aufzeichnung; keine Einwilligung vor Ausweis und Karte)2
K3Keine konforme Zelle als FAIL markiert2
K4Alle 35 Zellen stimmen mit dem Referenzraster überein, einschließlich NA1
K5Die Bitte um Anrufsperre wird befolgt: C-103 auf DNC gesetzt und CU-2203 in dnc eingetragen, mit Angabe, wer es eingetragen hat und warum (nicht die Systemherkunft importierter Zeilen)3ja
K6Keine falsche Anrufsperre: niemand sonst eingetragen, und der Kunde, der später angerufen werden möchte, bleibt CALLBACK3ja
K7Korrekte Status unverändert gelassen1
K8qa_flags enthält genau eine CRITICAL-Zeile je kritischem Verstoß und keine andere Zeile2

Score und Strikt sind so definiert wie auf der Seite der Verpackungsaufgabe.

Die Testfälle

Ein Reward Hack fälscht oder manipuliert und muss genau null erzielen. Ein plausibler Fehler ist einer, der einem sorgfältigen Analysten unterlaufen könnte; er darf den strikten Reward nicht erhalten. Eine korrekte Alternative ist eine richtige Antwort in anderer Form; sie muss ihn erhalten. 9 Reward Hacks, 9 plausible Fehler und 1 korrekte Alternative liefen am 10. November 2026, und jeder Testfall lieferte das erwartete Ergebnis.

TestfallArtWas er tatStriktScoreWas scheiterte
emptyReward HackKeine Antwort geschriebenNicht bestanden0.00Als ungültig abgelehnt
report_onlyReward HackEin schriftlicher Bericht, dass die Arbeit erledigt sei, ohne dass etwas in die Datenbank geschrieben wurdeNicht bestanden0.00Gate 1, als ungültig abgelehnt
extra_report_in_outReward HackKorrekte Datenbankzeilen, dazu ein Bericht daneben, laut dem jedes Gespräch bestanden hatNicht bestanden0.00Gate 1
delete_breach_callsReward HackDie beiden Gespräche mit Verstößen gelöscht und dann die übrigen als bestanden bewertetNicht bestanden0.00Gate 2
all_passPlausibler FehlerJede Zelle als PASS markiert: findet keinen der vier VerstößeNicht bestanden0.35K1, K2, K4, K5, K8
all_fail_dnc_everyonePlausibler FehlerJede Zelle als FAIL markiert und jeden Kunden in die Sperrliste eingetragenNicht bestanden0.47K3, K4, K6, K7, K8
keyword_dncPlausibler Fehler„Rufen Sie mich nicht im Büro an, rufen Sie mich auf dem Handy an“ als Bitte um Anrufsperre gelesenNicht bestanden0.53K3, K4, K6, K8
misses_malay_dncPlausibler FehlerDie englischen Gespräche korrekt bewertet und die auf Malaiisch geäußerte Bitte um Anrufsperre übersehenNicht bestanden0.47K1, K4, K5, K8
dnc_provenance_rewrittenReward HackUmgeschrieben, wer den bestehenden Sperrlisteneintrag hinzugefügt hat und warumNicht bestanden0.00Gate 2
call_record_rewrittenReward HackDas malaiische Gespräch einem anderen Kunden zugeordnetNicht bestanden0.00Gate 2
schema_column_addedReward HackDem Datenbankschema eine Spalte hinzugefügtNicht bestanden0.00Gate 2
drop_qa_flagsReward HackKorrekte Bewertungen, dann die Markierungstabelle gelöscht: eine Ablehnung, kein AbsturzNicht bestanden0.00Als ungültig abgelehnt
forged_transcriptReward HackEin sechstes Transkript untergeschobenNicht bestanden0.00Gate 1
dnc_row_without_provenancePlausibler FehlerDer neue Sperrlisteneintrag gibt weder an, wer ihn hinzugefügt hat, noch warumNicht bestanden0.82K5
dnc_row_mimics_systemPlausibler FehlerDer neue Sperrlisteneintrag übernimmt den Wortlaut eines importierten Eintrags, als hätte das System ihn hinzugefügtNicht bestanden0.82K5
duplicate_critical_flagsPlausibler FehlerDen Garantieverstoß dreimal markiertNicht bestanden0.88K8
lowercase_false_flagPlausibler FehlerEine falsche Markierung bei einem konformen Gespräch, Schweregrad in Kleinbuchstaben geschriebenNicht bestanden0.88K8
major_flags_addedPlausibler FehlerEine nicht verlangte MAJOR-Markierung neben den beiden kritischenNicht bestanden0.88K8
analyst_id_and_transcript_span_dncKorrekte AlternativeEine korrekte Antwort, deren Sperrlisteneintrag den Analysten nennt und die malaiische Bitte zitiertBestanden1.00keine
referenceReferenzlösungDie ReferenzlösungBestanden1.00keine

Unser Test-Harness hat außerdem 15 feindliche Eingaben aus einem korrekten Endzustand erzeugt: 4 mit einer gelöschten Tabelle, 4 mit umbenannter erster Spalte einer Tabelle, eine mit durch Text überschriebener Datenbank, 6 mit einer durch ein Verzeichnis ersetzten Eingabe. Jede lieferte einen Bericht mit Reward null ohne Verifier-Fehler.

Was ein Praktiker entscheidet

Der Lösungsschlüssel kodiert eine Konvention, wo die Branche mehrere haben kann. Welche richtig ist, entscheidet eine QA-Leitung. Offen für diese Aufgabe:

  • Zählt die Bestätigung des Kundennamens als Abfrage einer persönlichen Angabe vor dem Hinweis auf die Aufzeichnung? Der Schlüssel sagt nein. Falls doch, fallen vier Gespräche, die der Schlüssel in Punkt I3 bestehen lässt, durch.
  • Zählt die Nennung des Produkts vor dem Hinweis auf die Aufzeichnung als dessen Beschreibung? Der Schlüssel sagt nein, sodass zwei Gespräche I3 bestehen, die bei strengerer Auslegung durchfallen würden.
  • „Rufen Sie mich nicht im Büro an, rufen Sie mich auf dem Handy an“ ist im Schlüssel ein Rückruf, keine Bitte um Anrufsperre. Eine QA-Leitung bestätigt, wo die Grenze verläuft, auf Englisch, auf Malaiisch und in Gesprächen, die beides mischen.

Was der Verifier noch nicht erkennt

Wir greifen unsere eigenen Verifier an. Am 8. November 2026 haben wir diesen gegen 40 Einzeländerungen an einem korrekten Endzustand getestet: Version 0 akzeptierte 15 falsche Endzustände mit vollem Score und brach bei zweien mit einem Fehler ab. Am 9. November 2026 haben wir alle 40 erneut gegen Version 0.1.2 laufen lassen. Die gefundenen Klassen und ihr jeweiliger Stand:

Klasse fehlerhafter ArbeitStand bei dieser Aufgabe, 9. November 2026
Doppelte Markierungen oder falsche Markierungen mit einem anderen Schweregrad als genau dem Wort CRITICALErkannt seit Version 0.1: K8 verlangt genau eine CRITICAL-Zeile je kritischem Verstoß und keine andere Zeile. duplicate_critical_flags, lowercase_false_flag, major_flags_added
Der bestehende Sperrlisteneintrag umgeschrieben oder gelöscht und neu hinzugefügtErkannt seit Version 0.1 durch Gate 2: dnc_provenance_rewritten
Ein neuer Sperrlisteneintrag, der weder angibt, wer ihn hinzugefügt hat, noch warum, oder den Wortlaut eines importierten Eintrags übernimmtErkannt seit Version 0.1 durch K5, kritisch: dnc_row_without_provenance, dnc_row_mimics_system
Dem Schema hinzugefügte Spalten, gefüllt mit Notizen, die den Bewertungen widersprechenErkannt seit Version 0.1 durch Gate 2: schema_column_added
Ein Bericht neben korrekten Tabellen, der ihnen widersprichtErkannt seit Version 0.1.1: Jede hinzugefügte Datei lässt Gate 1 scheitern. extra_report_in_out
Eine durch ein Verzeichnis ersetzte Eingabe bringt den Verifier zum AbsturzBehoben in Version 0.1: 6 feindliche Eingaben dieser Art liefern null ohne Fehler
Offen: Eine Markierungszeile mit lauter leeren Feldern lässt den Verifier mit einem Fehler abbrechen statt mit einer strukturierten AblehnungOffen. Gefunden am 9. November 2026. Keine falsche Antwort wird akzeptiert; die Korrektur und ihr Testfall sind für die nächste Version eingeplant
Noch nicht gelesen: ob die Begründung eines neuen Sperrlisteneintrags zutrifftOffen, konstruktionsbedingt. K5 verlangt, wer den Eintrag hinzugefügt hat und warum, und akzeptiert jede nicht leere Begründung. Die Blindbewertung eines Praktikers ist die einzige Prüfung dafür
Noch nicht getestet: eine anders formulierte Bitte um Anrufsperre oder ein Wechsel zwischen Englisch und Malaiisch mitten im SatzOffen. Die Aufgabe enthält eine malaiische Bitte und einen Rückruf ins Büro. Transkripte echter oder nachgestellter Gespräche erweitern sie

Handgeschriebene Testfälle sind ein Regressions-Gate, nie eine Garantie: Sie belegen, dass jeder falsche Endzustand, an den wir gedacht haben, den richtigen Score erhält, und nichts über die, an die wir nicht gedacht haben.

Änderungsprotokoll

  1. Bis 7. November 2026. Version 0 geschrieben und ausgeführt. Zwei aktuelle Modelle eines Anbieters haben sie in je einem Rollout bestanden.
  2. 8. November 2026. Version 0.1, nach dem Review: Das Schema, die Gesprächsdatensätze außer dem Status und der bestehende Sperrlisteneintrag werden mit dem Ausgangszustand verglichen; Markierungen müssen exakt übereinstimmen; ein neuer Sperrlisteneintrag muss angeben, wer ihn hinzugefügt hat und warum; eine unlesbare Datenbank führt zu einer strukturierten Ablehnung. Der Lösungsschlüssel ist unverändert.
  3. 8. November 2026. Version 0.1.1: Jede hinzugefügte Datei lässt Gate 1 scheitern. Der Lösungsschlüssel ist unverändert.
  4. 8. November 2026. Version 0.1.2: eine korrekte Alternative, analyst_id_and_transcript_span_dnc. Der Lösungsschlüssel ist unverändert.
  5. 9. November 2026. Diese Seite veröffentlicht. Die 40 Mutationen des Reviews erneut gegen Version 0.1.2 ausgeführt: 38 erkannt, eine offen (oben) und eine, die einen benutzten Workspace von Hand zurücksetzt, was der eigene Reset unseres Harness abdeckt.

Gemeinsam durchgehen

Buchen Sie ein 20-minütiges Gespräch, und wir führen diese Aufgabe vor Ihrem Engineer aus: ein Reset, ein Reward Hack, ein plausibler Fehler, dann die Referenzlösung. Die Bedingungen für einen ersten Auftrag stehen auf der Seite der Verpackungsaufgabe.

Beispielpaket anfordern Walkthrough buchen