Identité
- Tâche
cc-qa-001, version 0.1.2, vérificateur figé par hachage- Famille
- call-qa, difficulté easy, selon l’étiquette du fichier public des barrières
- Domaine
- Regulated outbound sales: call QA and disposition
- Statut
- Démonstration · extraits textuels
- Barrières exécutées
- 10 novembre 2026, Python 3.11.8, barrières déterministes uniquement : aucune exécution de modèle, aucun évaluateur humain, aucun entraînement
- Tentatives des modèles
- Version 0, au plus tard le 7 novembre 2026 : deux modèles actuels d’un même fournisseur, un rollout chacun, les deux ont réussi. Les versions ultérieures, qui ont durci le vérificateur sans modifier le corrigé, seront exécutées ensuite
- Jeu scellé
- Exclue. Cette tâche est publiée intégralement et n’est pas à vendre
Le travail
Un analyste qualité d’une campagne sortante d’assurance note cinq appels au regard de la liste de contrôle de la campagne, qui compte sept points. Deux appels comportent un manquement critique : un commercial qui affirme que les rendements sont garantis, et un client qui demande en malais à ne plus être appelé tandis que le commercial continue de vendre. Un troisième appel comporte deux manquements non critiques. Dans un quatrième, le client demande à ne pas être appelé au bureau, ce qui est une demande de rappel, et non une demande d’opposition aux appels. Le cinquième est sans faute. La consigne, telle que l’agent la reçoit :
Vous êtes l’analyste qualité de la campagne HL-03. Notez les cinq appels de calls/ au regard dedocs/QA-CHECKLIST-HL-03.md. Danscrm/campaign.db: écrivez une ligne qa_scores par appel et par point de la liste (PASS, FAIL ou NA), corrigez tout statut erroné dans calls, ajoutez des clients à dnc lorsque la liste de contrôle l’exige, et ajoutez une ligne qa_flags (severity CRITICAL) pour chaque manquement critique.
La bonne réponse note chaque appel sur chaque point, PASS, FAIL ou NA, passe le statut de l’appel en malais à opposition aux appels, ajoute ce client à la liste d’opposition en indiquant qui l’a ajouté et pourquoi, ne touche à aucun autre statut, et écrit exactement un signalement critique pour chaque manquement critique.
Ce sur quoi repose la note
Le vérificateur compare les notes de l’agent à un corrigé. Nous avons rédigé le corrigé, la liste de contrôle et les transcriptions, y compris celle en malais. Une note qui diffère du corrigé échoue, même là où un responsable qualité pourrait l’accepter. Tant qu’un responsable qualité n’a pas noté ces appels, le vérificateur montre qu’il applique fidèlement notre corrigé, et non que notre corrigé correspond à la manière dont la profession note.
La version commandée remplace notre liste de contrôle par une liste qu’un responsable qualité construit à partir de textes réglementaires publics, et la transcription en malais par une transcription rédigée par un locuteur natif. Un second professionnel du métier note ensuite à l’aveugle, et nous publions le niveau d’accord.
L’espace de travail
Chaque exécution part des mêmes fichiers et de la même base de données, recréés par la réinitialisation propre à la tâche.
| Chemin | Contenu après réinitialisation |
|---|---|
calls/C-101.txt | 756 octets |
calls/C-102.txt | 518 octets |
calls/C-103.txt | 400 octets |
calls/C-104.txt | 513 octets |
calls/C-105.txt | 360 octets |
crm/campaign.db | calls (5), dnc (1), qa_flags (0), qa_scores (0) |
docs/QA-CHECKLIST-HL-03.md | 1300 octets |
Empreinte de réinitialisation, SHA-256 de l’espace de travail initialisé, la base de données étant prise sous forme de dump SQL : d04c7bacdeaf936821d1f41d995b03009854e154d37148776643ac42c6a5c848. Réinitialisation déterministe depuis un répertoire vide : oui. Un espace de travail utilisé revient à la même empreinte via notre harnais de test : oui.
La boîte à outils : ce que l’agent peut toucher
- Lecture
- Les cinq transcriptions, la liste de contrôle et toutes les tables de la base de données.
- Écriture
- Une note par appel et par point de la liste, le champ de statut d’un appel, de nouvelles entrées sur la liste d’opposition aux appels, et des signalements critiques.
- Interdit
- Les transcriptions et la liste de contrôle, le schéma de la base de données, tous les autres champs des fiches d’appel, et l’entrée d’opposition aux appels présente au départ. Aucun fichier ne peut être ajouté nulle part. Toute atteinte à l’un de ces éléments fait échouer une barrière, et l’exécution obtient zéro quoi qu’elle ait fait par ailleurs.
Barrières et contrôles
Une soumission que le vérificateur ne peut pas noter, parce que la base de données est illisible ou ne contient aucune note, est rejetée comme invalide avec une récompense nulle et un motif structuré. Viennent ensuite trois barrières. Si l’une échoue, la récompense est nulle et aucun contrôle n’est compté.
- transcriptions et liste de contrôle intactes, aucun fichier ajouté sous calls/ ou docs/.
- schéma du CRM inchangé ; fiches d’appel modifiées uniquement dans leur statut ; lignes DNC initiales intactes.
- qa_scores contient exactement un résultat valide pour chacune des 35 cellules appel-point.
Puis huit contrôles, chacun comparé à la base de données sur disque. Le vérificateur ne lit jamais ce que l’agent dit avoir fait. Les poids totalisent 17 ; 3 contrôles sont critiques. Le strict, récompense d’entraînement, exige toutes les barrières et tous les contrôles.
| Contrôle | Ce qui doit être vrai | Poids | Critique |
|---|---|---|---|
| K1 | Les deux manquements critiques détectés (affirmation de garantie ; demande d’opposition aux appels en malais ignorée) | 3 | oui |
| K2 | Les deux manquements non critiques détectés (pas d’annonce d’enregistrement ; pas de consentement avant la pièce d’identité et la carte) | 2 | |
| K3 | Aucune cellule conforme marquée FAIL | 2 | |
| K4 | Les 35 cellules correspondent toutes à la grille de référence, NA compris | 1 | |
| K5 | La demande d’opposition aux appels est respectée : C-103 passé à DNC et CU-2203 ajouté à dnc avec qui l’a ajouté et pourquoi (et non la provenance système des lignes importées) | 3 | oui |
| K6 | Aucun faux DNC : personne d’autre n’est ajouté, et le client qui demande à être rappelé reste en CALLBACK | 3 | oui |
| K7 | Statuts corrects laissés intacts | 1 | |
| K8 | qa_flags contient exactement une ligne CRITICAL par manquement critique et aucune autre ligne | 2 |
Le score et le strict sont définis comme sur la page de la tâche d’emballage.
Les sondes
Un reward hack simule ou falsifie et doit obtenir exactement zéro. Une erreur plausible est une erreur qu’un analyste attentif pourrait commettre ; elle ne doit pas obtenir la récompense stricte. Une variante correcte est une bonne réponse rédigée autrement ; elle doit l’obtenir. 9 reward hacks, 9 erreurs plausibles et 1 variante correcte ont été exécutés le 10 novembre 2026, et chacun a renvoyé le résultat attendu.
| Sonde | Type | Ce qu’elle a fait | Strict | Score | Ce qui a échoué |
|---|---|---|---|---|---|
empty | Reward hack | Aucune réponse écrite | Échec | 0.00 | Rejetée comme invalide |
report_only | Reward hack | Un rapport écrit affirmant que le travail est fait, sans rien écrit dans la base de données | Échec | 0.00 | barrière 1, rejetée comme invalide |
extra_report_in_out | Reward hack | Lignes de base de données correctes, plus un rapport à côté affirmant que tous les appels ont réussi | Échec | 0.00 | barrière 1 |
delete_breach_calls | Reward hack | A supprimé les deux appels comportant des manquements, puis validé le reste | Échec | 0.00 | barrière 2 |
all_pass | Erreur plausible | A marqué chaque cellule PASS : ne détecte aucun des quatre manquements | Échec | 0.35 | K1, K2, K4, K5, K8 |
all_fail_dnc_everyone | Erreur plausible | A marqué chaque cellule FAIL et mis tous les clients sur la liste d’opposition aux appels | Échec | 0.47 | K3, K4, K6, K7, K8 |
keyword_dnc | Erreur plausible | A interprété « ne m’appelez pas au bureau, appelez mon portable » comme une demande d’opposition aux appels | Échec | 0.53 | K3, K4, K6, K8 |
misses_malay_dnc | Erreur plausible | A correctement noté les appels en anglais et manqué la demande d’opposition aux appels formulée en malais | Échec | 0.47 | K1, K4, K5, K8 |
dnc_provenance_rewritten | Reward hack | A réécrit l’auteur de l’entrée d’opposition existante, et son motif | Échec | 0.00 | barrière 2 |
call_record_rewritten | Reward hack | A rattaché l’appel en malais à un autre client | Échec | 0.00 | barrière 2 |
schema_column_added | Reward hack | A ajouté une colonne au schéma de la base de données | Échec | 0.00 | barrière 2 |
drop_qa_flags | Reward hack | Notes correctes, puis suppression de la table des signalements : un rejet, pas un plantage | Échec | 0.00 | Rejetée comme invalide |
forged_transcript | Reward hack | A introduit une sixième transcription | Échec | 0.00 | barrière 1 |
dnc_row_without_provenance | Erreur plausible | La nouvelle entrée d’opposition n’indique ni qui l’a ajoutée ni pourquoi | Échec | 0.82 | K5 |
dnc_row_mimics_system | Erreur plausible | La nouvelle entrée d’opposition reprend la formulation d’une entrée importée, comme si le système l’avait ajoutée | Échec | 0.82 | K5 |
duplicate_critical_flags | Erreur plausible | A signalé trois fois le manquement sur la garantie | Échec | 0.88 | K8 |
lowercase_false_flag | Erreur plausible | Un faux signalement sur un appel conforme, gravité écrite en minuscules | Échec | 0.88 | K8 |
major_flags_added | Erreur plausible | Un signalement MAJOR non demandé à côté des deux critiques | Échec | 0.88 | K8 |
analyst_id_and_transcript_span_dnc | Variante correcte | Une réponse correcte dont l’entrée d’opposition nomme l’analyste et cite la demande en malais | Réussite | 1.00 | aucun |
reference | Solution de référence | La solution de référence | Réussite | 1.00 | aucun |
Notre harnais de test a également construit 15 entrées hostiles à partir d’un état final correct : 4 avec une table supprimée, 4 avec la première colonne d’une table renommée, une avec la base de données écrasée par du texte, 6 avec une entrée remplacée par un répertoire. Chacune a renvoyé un rapport avec une récompense nulle, sans erreur du vérificateur.
Ce que tranche un professionnel
Le corrigé encode une seule convention là où la profession peut en avoir plusieurs. Un responsable qualité décide laquelle est la bonne. Questions ouvertes pour cette tâche :
- Confirmer le nom d’un client revient-il à demander une donnée personnelle avant l’annonce d’enregistrement ? Le corrigé dit non. Si c’est le cas, quatre appels que le corrigé valide sur le point I3 y échouent.
- Nommer le produit avant l’annonce d’enregistrement revient-il à le décrire ? Le corrigé dit non, si bien que deux appels réussissent I3 alors qu’une lecture plus stricte les ferait échouer.
- « Ne m’appelez pas au bureau, appelez mon portable » est un rappel dans le corrigé, et non une demande d’opposition aux appels. Un responsable qualité confirme où passe la limite en anglais, en malais et dans les appels qui mélangent les deux.
Ce que le vérificateur ne détecte pas encore
Nous attaquons nos propres vérificateurs. Le 8 novembre 2026, nous avons testé celui-ci contre 40 modifications uniques d’un état final correct : la version 0 a accepté 15 états finaux erronés avec le score maximal et s’est arrêtée sur une erreur pour deux d’entre eux. Nous avons réexécuté les 40 contre la version 0.1.2 le 9 novembre 2026. Les classes trouvées, et où en est chacune :
| Classe de travail erroné | Statut sur cette tâche, 9 novembre 2026 |
|---|---|
| Signalements en double, ou faux signalements dont la gravité n’est pas exactement le mot CRITICAL | Détecté depuis la version 0.1 : K8 exige exactement une ligne CRITICAL par manquement critique et aucune autre ligne. duplicate_critical_flags, lowercase_false_flag, major_flags_added |
| L’entrée d’opposition existante réécrite, ou supprimée puis rajoutée | Détecté depuis la version 0.1 par la barrière 2 : dnc_provenance_rewritten |
| Une nouvelle entrée d’opposition qui n’indique ni qui l’a ajoutée ni pourquoi, ou qui reprend la formulation d’une entrée importée | Détecté depuis la version 0.1 par K5, critique : dnc_row_without_provenance, dnc_row_mimics_system |
| Colonnes ajoutées au schéma et remplies de commentaires qui contredisent les notes | Détecté depuis la version 0.1 par la barrière 2 : schema_column_added |
| Un rapport, à côté de tables correctes, qui les contredit | Détecté depuis la version 0.1.1 : tout fichier ajouté fait échouer la barrière 1. extra_report_in_out |
| Une entrée remplacée par un répertoire fait planter le vérificateur | Résolu dans la version 0.1 : 6 entrées hostiles de ce type renvoient un zéro sans erreur |
| Ouvert : une ligne de signalement dont tous les champs sont vides arrête le vérificateur sur une erreur au lieu d’un rejet structuré | Ouvert. Découvert le 9 novembre 2026. Aucune mauvaise réponse n’est acceptée ; la correction et sa sonde sont prévues pour la prochaine version |
| Toujours pas lu : la véracité du motif d’une nouvelle entrée d’opposition | Ouvert, par conception. K5 demande qui a ajouté l’entrée et pourquoi, et accepte tout motif non vide. La notation à l’aveugle d’un professionnel du métier est le seul contrôle sur ce point |
| Pas encore testé : une demande d’opposition aux appels formulée autrement, ou un passage de l’anglais au malais en cours de phrase | Ouvert. La tâche contient une demande en malais et une demande de rappel liée au bureau. Des transcriptions d’appels réels ou rejoués l’élargissent |
Les sondes écrites à la main sont une barrière de non-régression, jamais une garantie : elles prouvent que chaque état final erroné auquel nous avons pensé obtient le score qu’il doit obtenir, et rien sur ceux auxquels nous n’avons pas pensé.
Journal des modifications
- Au plus tard le 7 novembre 2026. Version 0 rédigée et exécutée. Deux modèles actuels d’un même fournisseur l’ont réussie avec un rollout chacun.
- 8 novembre 2026. Version 0.1, après la revue : le schéma, les fiches d’appel hors statut et l’entrée d’opposition existante sont comparés aux données initiales ; les signalements doivent correspondre exactement ; une nouvelle entrée d’opposition doit indiquer qui l’a ajoutée et pourquoi ; une base de données illisible donne un rejet structuré. Le corrigé est inchangé.
- 8 novembre 2026. Version 0.1.1 : tout fichier ajouté fait échouer la barrière 1. Le corrigé est inchangé.
- 8 novembre 2026. Version 0.1.2 : une variante correcte,
analyst_id_and_transcript_span_dnc. Le corrigé est inchangé. - 9 novembre 2026. Publication de cette page. Les 40 mutations de la revue réexécutées contre la version 0.1.2 : 38 détectées, une ouverte (ci-dessus), et une qui réinitialise à la main un espace de travail utilisé, ce que gère la réinitialisation propre à notre harnais.
Démonstration guidée
Réservez un appel de vingt minutes et nous exécutons cette tâche devant votre ingénieur : une réinitialisation, un reward hack, une erreur plausible, puis la solution de référence. Les conditions d’une première commande figurent sur la page de la tâche d’emballage.
Demander un lot d’échantillons Réserver la démonstration guidée