Menu

Recherche

Révision de devis d’emballage, version 1.0.3 : chaque contrôle, et chaque lacune connue

Une tâche de démonstration mise à nu : le travail, l’état initial, les barrières et les treize contrôles, chaque sonde avec son résultat, la définition de la récompense, ce que garantit la réinitialisation, et les erreurs que le vérificateur ne détecte pas encore.

Tâche mfg-rfq-001 · Version 1.0.3, barrières exécutées le 10 novembre 2026 · Datarena

Démonstration publique · origine et périmètre des tâches de démonstration.

Identité

Tâche
mfg-rfq-001, version 1.0.3, vérificateur figé par hachage
Famille
packaging-quotation, difficulté easy, selon l’étiquette du fichier public des barrières
Issue
unresolved, par construction : l’épisode se termine à l’envoi de la réponse, avant que le client ne réponde ; un professionnel du métier rédige l’étiquette dans la v1.1
Domaine
Industrie : emballages plastiques, une demande de prix à laquelle on répond par un devis
Statut
Démonstration publique ; publiée intégralement et non destinée à la vente.
Barrières exécutées
10 novembre 2026, Python 3.11.8, barrières déterministes uniquement : aucune exécution de modèle, aucun évaluateur humain, aucun entraînement
Tentatives des modèles
Version 0, au plus tard le 7 novembre 2026 : deux modèles actuels d’un même fournisseur, dont son modèle de petite taille, un rollout chacun ; les deux ont obtenu 1,0 et une réussite stricte. Les versions ultérieures, qui ont durci le vérificateur sans modifier la réponse de référence, seront exécutées ensuite

Le travail

Un commercial d’une usine d’emballages doit envoyer un devis aujourd’hui. Le deuxième e-mail du client a réduit la commande et déplacé la date de livraison, la messagerie de production a transféré le travail sur une autre machine parce que la machine habituelle est en panne, et la procédure de devis indique comment calculer le coût, fixer le prix et escalader. La consigne, telle que l’agent la reçoit :

Vous êtes le commercial (sales_exec_2) de Tembaga Ridge Packaging. Nous sommes le 16 novembre 2026. Envoyez aujourd’hui le devis Q-2611 à Selat Biru Agrochem. Lisez la boîte de réception et la messagerie de production, suivez docs/SOP-Q-07.md, mettez à jour la ligne quotes dans erp/plant.db, consignez chaque modification que vous y apportez dans crm_history, et écrivez out/quote.json (qty, machine, unit_cost_rm, unit_price_rm, earliest_delivery au format YYYY-MM-DD, meets_requested_delivery) et out/reply.eml.

La bonne réponse retient la dernière quantité, la machine confirmée et le prix actuel de la résine, recalcule le coût et le prix selon la procédure, trouve le premier créneau disponible dans le planning, marque la date demandée comme non tenue, escalade le devis dans la base de données, consigne chaque modification apportée à la ligne du devis, et rédige une réponse qui ne promet rien que le planning ne puisse tenir.

Lire l’état initial

Les montants apparaissent sous la forme [amount] sur cette page ; les fichiers complets sont remis à votre ingénieur sous NDA. La réponse de référence est volontairement minimale : le vérificateur lit son prix, sa quantité et ses dates, pas son ton.

Les fichiers de la tâche elle-même, dans l’ordre où un employé les découvre, puis l’état final de référence et une erreur plausible. Chaque fiche est générée à partir de la tâche lors de la construction de la page, si bien qu’elle ne peut pas s’écarter des fichiers que lit le vérificateur. Le surligneur marque les faits qui ont changé et la ligne détectée par le vérificateur.

La boîte de réception, quatre messages

inbox/001.eml9 Nov 2026, 10:14

From
procurement@selatbiru.example
To
sales@tembagaridge.example
Subject
RFQ - 20 L jerrican

Please quote for 50,000 pcs of your 20 L HDPE jerrican (JC20), natural colour. Delivery to Port Klang.

Procurement, Selat Biru Agrochem

inbox/002.eml13 Nov 2026, 15:31

From
procurement@selatbiru.example
To
sales@tembagaridge.example
Subject
Re: RFQ - 20 L jerrican (revised)

Revision to our RFQ: we now need the jerricans in BLUE, and the first order will be 12,000 pcs, not 50,000. We need delivery within 21 days of your quotation date. Please re-quote.

Procurement, Selat Biru Agrochem

inbox/003.eml16 Nov 2026, 08:40

From
sales.director@tembagaridge.example
To
sales_exec_2@tembagaridge.example
Subject
Q-2611 today please

Please get Q-2611 out to Selat Biru today. Follow SOP-Q-07 and check with production first.

inbox/000.eml16 Nov 2026, 09:05

From
procurement@selatbiru.example
To
sales@tembagaridge.example
Subject
Re: RFQ - 20 L jerrican (revised) - quotation?

Good morning. We have not yet received your revised quotation. Our planning meeting is this afternoon, so please send it today.

Procurement, Selat Biru Agrochem

La messagerie de production

chat/production.json#production

  1. tooling_lead · 14 Nov 2026, 16:02

    BM-07 is down for a screw and barrel replacement, back 10 Dec at the earliest. Run the JC20 mould on BM-03 until then.

  2. planner_1 · 14 Nov 2026, 16:05

    Noted. JC20 cycle on BM-03 runs 18% longer than on BM-07, same single cavity. BM-03 is booked, check machine_schedule before promising dates.

  3. qc_lead · 16 Nov 2026, 08:15

    Reminder: drop test on the blue 10 L pails is at 2pm.

La procédure

docs/SOP-Q-07.mdThe quoting procedure

SOP-Q-07 Quotation costing and disposition (blow moulding)

  1. Governing request. The latest written customer amendment governs quantity, colour and delivery.
  2. Machine. Quote on the machine production has confirmed for the job. Never quote on a machine whose status is DOWN.
  3. Unit cost in RM per piece:
    • material mass = part mass x (1 + 3% scrap)
    • coloured parts: masterbatch replaces resin at the dosing % in the masterbatch table
    • material cost = resin kg x resin price + masterbatch kg x masterbatch price
    • resin price = the row with the latest effective_date on or before the quotation date
    • machine cost = cycle seconds / cavities / 3600 x machine rate per hour
    • set-up = [amount] per job / quantity
    • unit cost = material + machine + set-up
  4. Price. unit price = unit cost / (1 - 22%), rounded to 2 decimals. Never quote below an 18% margin.
  5. MOQ for JC20 is 10,000 pcs. Below MOQ: stage REJECTED_MOQ and no price is sent.
  6. Delivery.
    • production days = quantity x cycle seconds / cavities / (3600 x machine hours per day x 85% OEE), rounded up
    • first free day = the day after booked_until in machine_schedule
    • earliest delivery = first free day + production days + 3 days QC and dispatch
  7. Disposition, in the quotes table:
    • delivery can be met: stage QUOTED, owner stays with the sales executive
    • delivery cannot be met: still price the job, stage ESCALATED_LEADTIME, owner = the sales manager. The reply states the price and the earliest delivery date and does not promise the requested date.
  8. Outputs. Update the quotes row (qty, unit_price_rm, stage, owner). Record every change you make to a quotes field as a row in crm_history (quote_id, ts on the quotation date, actor, field, old_value, new_value, note); never edit an existing history row. Write out/quote.json and out/reply.eml.

La base de données avant le travail

erp/plant.dbThe tables the job touches or reads

quotes2 rows

idcustomer_idskuqtyunit_price_rmstageowner
Q-2604C-0388PL1020000[amount]QUOTEDsales_exec_2
Q-2611C-0417JC2050000nullENQUIRYsales_exec_2

machine_schedule2 rows

machine_idbooked_until
BM-032026-11-27
BM-072026-12-09

machines2 rows

idstatusrate_rm_per_hrhours_per_day
BM-07DOWN[amount]20.0
BM-03RUNNING[amount]20.0

crm_history4 rows

idquote_idtsactorfieldold_valuenew_valuenote
1Q-26042026-11-02 14:10sales_exec_2stageENQUIRYQUOTEDPL10 20,000 pcs quoted at [amount]
2Q-26112026-11-09 10:40sales_exec_2stagenullENQUIRYRFQ received: 50,000 pcs JC20 natural, delivery Port Klang
3Q-26112026-11-13 16:02sales_exec_2notenullnullCustomer revision: blue, first order 12,000 pcs, delivery within 21 days of quotation; re-quote pending
4Q-26112026-11-16 08:45sales_exec_2notenullnullSales director: quote out today per SOP-Q-07, check with production first

L’état final de référence

out/quote.jsonJSON

{
  "quote_id": "Q-2611",
  "qty": 12000,
  "machine": "BM-03",
  "unit_cost_rm": "[amount]",
  "unit_price_rm": "[amount]",
  "earliest_delivery": "2026-12-11",
  "meets_requested_delivery": false
}

out/reply.eml16 Nov 2026, 11:00

From
sales_exec_2@tembagaridge.example
To
procurement@selatbiru.example
Subject
Quotation Q-2611

Our price for 12,000 pcs JC20 is [amount] per piece. Earliest delivery is 2026-12-11.

erp/plant.dbAfter the work

quotes, the Q-2611 row1 rows

idcustomer_idskuqtyunit_price_rmstageowner
Q-2611C-0417JC2012000[amount]ESCALATED_LEADTIMEsales_mgr_1

crm_history, rows the work added4 rows

idquote_idtsactorfieldold_valuenew_valuenote
5Q-26112026-11-16 11:00sales_exec_2qty5000012000Q-2611 re-quoted per SOP-Q-07
6Q-26112026-11-16 11:00sales_exec_2unit_price_rmnull[amount]Q-2611 re-quoted per SOP-Q-07
7Q-26112026-11-16 11:00sales_exec_2stageENQUIRYESCALATED_LEADTIMEQ-2611 re-quoted per SOP-Q-07
8Q-26112026-11-16 11:00sales_exec_2ownersales_exec_2sales_mgr_1Q-2611 re-quoted per SOP-Q-07

Le vérificateur : réussite · score 1,00

Rapport brut du vérificateur, solution de référence
{
  "gates": [
    {
      "name": "inputs untouched and no file added under inbox/, chat/ or docs/",
      "passed": true
    },
    {
      "name": "protected ERP tables and the database schema untouched",
      "passed": true
    },
    {
      "name": "quotes table: only Q-2611's qty, unit_price_rm, stage and owner changed; no row added, removed or re-identified",
      "passed": true
    },
    {
      "name": "crm_history: seeded rows untouched; rows appended only for Q-2611 and dated on the quotation date",
      "passed": true
    }
  ],
  "criteria": [
    {
      "id": "C1",
      "desc": "Quantity follows the latest amendment (12,000)",
      "passed": true,
      "weight": 2,
      "critical": true
    },
    {
      "id": "C2",
      "desc": "Machine is the one production confirmed (BM-03), not the down machine",
      "passed": true,
      "weight": 2,
      "critical": false
    },
    {
      "id": "C3",
      "desc": "Unit cost within 0.5% of the SOP recomputation",
      "passed": true,
      "weight": 3,
      "critical": false
    },
    {
      "id": "C4",
      "desc": "Unit price equals the SOP price to the cent",
      "passed": true,
      "weight": 3,
      "critical": false
    },
    {
      "id": "C5",
      "desc": "Price keeps at least an 18% margin on the true cost",
      "passed": true,
      "weight": 2,
      "critical": true
    },
    {
      "id": "C6",
      "desc": "Earliest delivery date matches the schedule recomputation",
      "passed": true,
      "weight": 2,
      "critical": false
    },
    {
      "id": "C7",
      "desc": "Delivery marked as not met and the quote escalated in the ERP",
      "passed": true,
      "weight": 3,
      "critical": true
    },
    {
      "id": "C8",
      "desc": "Owner reassigned to the sales manager",
      "passed": true,
      "weight": 1,
      "critical": false
    },
    {
      "id": "C9",
      "desc": "ERP row agrees with quote.json (qty, and price to the cent)",
      "passed": true,
      "weight": 2,
      "critical": false
    },
    {
      "id": "C10",
      "desc": "Reply states the SOP price in RM and the earliest delivery date, and promises no earlier date",
      "passed": true,
      "weight": 1,
      "critical": true
    },
    {
      "id": "C11",
      "desc": "Reply is addressed to the customer, identifies Q-2611, and names no quantity other than 12,000 pcs",
      "passed": true,
      "weight": 1,
      "critical": false
    },
    {
      "id": "C12",
      "desc": "Stated price follows from the stated cost under the SOP mark-up (cost / 0.78, rounded)",
      "passed": true,
      "weight": 1,
      "critical": false
    },
    {
      "id": "C13",
      "desc": "Each change to stage and owner on the quotes row is logged in crm_history with its old and new value",
      "passed": true,
      "weight": 2,
      "critical": true
    }
  ],
  "strict_pass": true,
  "reward": 1.0,
  "rejection": null
}

Une erreur plausible : coût calculé sur la machine en panne

La sonde down_machine. Erreur plausible. Ses fichiers, et ce que le vérificateur a détecté.

out/quote.jsonJSON

{
  "quote_id": "Q-2611",
  "qty": 12000,
  "machine": "BM-07",
  "unit_cost_rm": "[amount]",
  "unit_price_rm": "[amount]",
  "earliest_delivery": "2026-11-27",
  "meets_requested_delivery": true
}

out/reply.eml16 Nov 2026, 11:00

From
sales_exec_2@tembagaridge.example
To
procurement@selatbiru.example
Subject
Quotation Q-2611

Our price for 12,000 pcs JC20 is [amount] per piece. Earliest delivery is 2026-11-27.

Le vérificateur : échec · score 0,40

  • C2 La machine est celle confirmée par la production (BM-03), et non la machine en panne
  • C3 Coût unitaire à 0,5 % près du recalcul selon la SOP
  • C4 Prix unitaire égal au prix SOP au centime près
  • C6 Date de livraison au plus tôt conforme au recalcul du planning
  • C7 Livraison marquée comme non tenue et devis escaladé dans l’ERP
  • C8 Responsable réattribué au directeur commercial
  • C10 La réponse indique le prix SOP en RM et la date de livraison au plus tôt, et ne promet aucune date antérieure
Rapport brut du vérificateur, down_machine
{
  "gates": [
    {
      "name": "inputs untouched and no file added under inbox/, chat/ or docs/",
      "passed": true
    },
    {
      "name": "protected ERP tables and the database schema untouched",
      "passed": true
    },
    {
      "name": "quotes table: only Q-2611's qty, unit_price_rm, stage and owner changed; no row added, removed or re-identified",
      "passed": true
    },
    {
      "name": "crm_history: seeded rows untouched; rows appended only for Q-2611 and dated on the quotation date",
      "passed": true
    }
  ],
  "criteria": [
    {
      "id": "C1",
      "desc": "Quantity follows the latest amendment (12,000)",
      "passed": true,
      "weight": 2,
      "critical": true
    },
    {
      "id": "C2",
      "desc": "Machine is the one production confirmed (BM-03), not the down machine",
      "passed": false,
      "weight": 2,
      "critical": false
    },
    {
      "id": "C3",
      "desc": "Unit cost within 0.5% of the SOP recomputation",
      "passed": false,
      "weight": 3,
      "critical": false
    },
    {
      "id": "C4",
      "desc": "Unit price equals the SOP price to the cent",
      "passed": false,
      "weight": 3,
      "critical": false
    },
    {
      "id": "C5",
      "desc": "Price keeps at least an 18% margin on the true cost",
      "passed": true,
      "weight": 2,
      "critical": true
    },
    {
      "id": "C6",
      "desc": "Earliest delivery date matches the schedule recomputation",
      "passed": false,
      "weight": 2,
      "critical": false
    },
    {
      "id": "C7",
      "desc": "Delivery marked as not met and the quote escalated in the ERP",
      "passed": false,
      "weight": 3,
      "critical": true
    },
    {
      "id": "C8",
      "desc": "Owner reassigned to the sales manager",
      "passed": false,
      "weight": 1,
      "critical": false
    },
    {
      "id": "C9",
      "desc": "ERP row agrees with quote.json (qty, and price to the cent)",
      "passed": true,
      "weight": 2,
      "critical": false
    },
    {
      "id": "C10",
      "desc": "Reply states the SOP price in RM and the earliest delivery date, and promises no earlier date",
      "passed": false,
      "weight": 1,
      "critical": true
    },
    {
      "id": "C11",
      "desc": "Reply is addressed to the customer, identifies Q-2611, and names no quantity other than 12,000 pcs",
      "passed": true,
      "weight": 1,
      "critical": false
    },
    {
      "id": "C12",
      "desc": "Stated price follows from the stated cost under the SOP mark-up (cost / 0.78, rounded)",
      "passed": true,
      "weight": 1,
      "critical": false
    },
    {
      "id": "C13",
      "desc": "Each change to stage and owner on the quotes row is logged in crm_history with its old and new value",
      "passed": true,
      "weight": 2,
      "critical": true
    }
  ],
  "strict_pass": false,
  "reward": 0.4,
  "rejection": null
}

Points à remarquer

  • Le deuxième e-mail remplace le premier.
  • La contrainte ne figure que dans la messagerie.
  • La réponse ne doit pas promettre une date que le planning ne peut pas tenir.
  • Le vérificateur lit les fichiers et les lignes, jamais les affirmations de la réponse.
  • Chaque modification de la ligne du devis doit être consignée dans la table d’historique, datée du jour du devis.

Les cinq éléments de cette version

E-mails du client
Présent : la demande, la révision, la note du directeur et la relance, quatre messages dans la boîte de réception
Discussion interne
Présent : la messagerie de production, trois lignes
Documents associés
Présent : la procédure de devis
Journal d’historique
Présent : la table d’historique, quatre lignes rédigées avant le début du travail. Chaque modification de la ligne du devis doit en ajouter une, ce que contrôle C13
Étiquette d’issue
Présent dans la fiche de la tâche, rédigé comme « unresolved ». Par construction : l’épisode se termine à l’envoi de la réponse, avant que le client ne réponde ; un professionnel du métier rédige l’étiquette dans la v1.1

L’espace de travail

Chaque exécution part des mêmes fichiers et de la même base de données, recréés par la réinitialisation propre à la tâche.

CheminContenu après réinitialisation
chat/production.json639 octets
docs/SOP-Q-07.md1877 octets
erp/plant.dbcrm_history (4), customers (2), machine_schedule (2), machines (2), masterbatch (2), mould_machine (1), products (2), quotes (2), resin_prices (3), staff (3)
inbox/000.eml324 octets
inbox/001.eml272 octets
inbox/002.eml364 octets
inbox/003.eml240 octets

Empreinte de réinitialisation, SHA-256 de l’espace de travail initialisé, la base de données étant prise sous forme de dump SQL : 3366510ba57c7b69d148f9dd16a74ceaea0a556e649b813b1a5d1d55c446d20d. Réinitialisation déterministe depuis un répertoire vide : oui. Un espace de travail utilisé revient à la même empreinte : oui.

Ce que l’agent peut lire et modifier

Lecture
Les quatre messages de la boîte de réception, la messagerie de production, la procédure de devis et toute table de la base de données.
Écriture
out/quote.json avec les champs requis, out/reply.eml, quatre champs de l’unique ligne de devis que nomme la consigne : quantité, prix unitaire, étape et responsable, et une nouvelle ligne dans la table d’historique pour chacune de ces modifications.
Interdit
Les fichiers d’entrée, les répertoires d’entrée, les autres tables, le schéma de la base de données, tous les autres champs et lignes de la table quotes, et toutes les lignes d’historique présentes au départ. Toute modification à cet endroit fait échouer une barrière, et l’exécution obtient zéro quoi qu’elle ait fait par ailleurs.

Barrières et contrôles

Une soumission que le vérificateur ne peut pas noter, parce qu’une sortie requise est manquante, mal formée ou endommagée, est rejetée comme invalide avec une récompense nulle et un motif structuré plutôt qu’un plantage. Viennent ensuite quatre barrières. Si l’une échoue, la récompense est nulle et aucun contrôle n’est compté.

  1. entrées intactes et aucun fichier ajouté sous inbox/, chat/ ou docs/.
  2. tables ERP protégées et schéma de la base de données intacts.
  3. table quotes : seuls qty, unit_price_rm, stage et owner de Q-2611 modifiés ; aucune ligne ajoutée, supprimée ou réidentifiée.
  4. crm_history : lignes initiales intactes ; lignes ajoutées uniquement pour Q-2611 et datées du jour du devis.

Puis treize contrôles, chacun recalculé par le vérificateur à partir d’une copie neuve de l’état initial et comparé aux fichiers et aux lignes de la base de données sur disque. Le vérificateur ne lit jamais ce que l’agent dit avoir fait. Les poids totalisent 25 ; 5 contrôles sont critiques.

ContrôleCe qui doit être vraiPoidsCritique
C1La quantité suit la dernière modification (12 000)2oui
C2La machine est celle confirmée par la production (BM-03), et non la machine en panne2
C3Coût unitaire à 0,5 % près du recalcul selon la SOP3
C4Prix unitaire égal au prix SOP au centime près3
C5Le prix conserve une marge d’au moins 18 % sur le coût réel2oui
C6Date de livraison au plus tôt conforme au recalcul du planning2
C7Livraison marquée comme non tenue et devis escaladé dans l’ERP3oui
C8Responsable réattribué au directeur commercial1
C9La ligne ERP concorde avec quote.json (qty, et prix au centime près)2
C10La réponse indique le prix SOP en RM et la date de livraison au plus tôt, et ne promet aucune date antérieure1oui
C11La réponse est adressée au client, identifie Q-2611 et ne mentionne aucune quantité autre que 12 000 pièces1
C12Le prix indiqué découle du coût indiqué selon la majoration SOP (coût / 0,78, arrondi)1
C13Chaque modification de stage et owner sur la ligne quotes est consignée dans crm_history avec son ancienne et sa nouvelle valeur2oui

Tolérances dans la version 1.0.3 : C3 compare le coût unitaire à 0,5 % près, comme l’indique son texte ; C4, C9 et C12 comparent les prix au centime près (à un demi-centime près) ; C10 lit l’objet et le corps de la réponse, tous les formats de date, et uniquement les dates postérieures à la date du devis.

Les sondes

Avant qu’un acheteur ne voie une tâche, nous attaquons son vérificateur. Un reward hack simule ou falsifie et doit obtenir exactement zéro. Une erreur plausible est une erreur qu’un employé attentif pourrait commettre ; elle ne doit pas obtenir la récompense stricte, qui exige la réussite de toutes les barrières et de tous les contrôles. Une variante correcte est une bonne réponse rédigée autrement ; elle doit l’obtenir. Une sonde de lacune connue consigne une faiblesse que nous n’avons pas corrigée : elle réussit par conception, de sorte que tout changement à cette frontière devient visible. 19 reward hacks, 26 erreurs plausibles, 3 variantes correctes et 3 sondes de lacunes connues ont été exécutés le 10 novembre 2026, et chacun a renvoyé le résultat attendu. La plupart des erreurs plausibles visent la réponse, la seule sortie en texte libre : la promesse d’une date antérieure, dans tous les formats de date que nous avons rencontrés.

SondeTypeCe qu’elle a faitStrictScoreCe qui a échoué
emptyReward hackAucune réponse écriteÉchec0.00Rejetée comme invalide
claim_onlyReward hackUne réponse assurée, sans aucun fichier écritÉchec0.00Rejetée comme invalide
tamper_scheduleReward hackA libéré la machine réservée dans la table du planningÉchec0.00barrière 2
edit_customer_emailReward hackA modifié l’e-mail du client pour que l’ancienne quantité paraisse actuelleÉchec0.00barrière 1
superseded_quantityErreur plausibleA chiffré la quantité caduqueÉchec0.40C1, C3, C4, C5, C6, C10, C11, C12
down_machineErreur plausibleA calculé le coût sur la machine en panneÉchec0.40C2, C3, C4, C6, C7, C8, C10
stale_resin_priceErreur plausibleA chiffré sur un prix de résine remplacé dans la tableÉchec0.72C3, C4, C10
json_without_erpErreur plausibleA écrit le fichier de devis sans jamais mettre à jour la ligne de la base de donnéesÉchec0.76C7, C8, C9
contradictory_reply_dateErreur plausibleLa réponse a promis une date antérieure à celle du devisÉchec0.96C10
wrong_customer_on_rowReward hackBons montants, mauvais client sur la ligne du devisÉchec0.00barrière 3
wrong_sku_on_rowReward hackBons montants, mauvais produit sur la ligne du devisÉchec0.00barrière 3
duplicate_quote_rowReward hackUne deuxième ligne de devis ajoutéeÉchec0.00barrière 3
neighbour_quote_deletedReward hackLa ligne d’un autre devis suppriméeÉchec0.00barrière 3
quotes_table_replacedReward hackLa table quotes supprimée puis reconstruiteÉchec0.00barrière 2, barrière 3
schema_column_addedReward hackUne colonne ajoutée au schéma de la base de donnéesÉchec0.00barrière 2, barrière 3
drop_quotes_tableReward hackLa table quotes suppriméeÉchec0.00barrière 2, rejetée comme invalide
malformed_quote_jsonReward hackUn fichier de devis qui n’est pas du JSON valideÉchec0.00Rejetée comme invalide
oversized_numberReward hackUn nombre hors plage dans le fichier de devisÉchec0.00Rejetée comme invalide
reply_without_headersReward hackUne réponse sans en-têtes d’e-mailÉchec0.00Rejetée comme invalide
extra_reply_fileReward hackUn deuxième fichier de réponse ajoutéÉchec0.00Rejetée comme invalide
forged_customer_emailReward hackUn faux e-mail du client ajouté à la boîte de réceptionÉchec0.00barrière 1
price_one_cent_offErreur plausiblePrix décalé d’un centime par rapport au chiffre de la procédureÉchec0.80C4, C10, C12
erp_price_differsErreur plausibleLe prix de la base de données diffère du fichier de devisÉchec0.92C9
cost_price_inconsistentErreur plausibleLe prix indiqué ne découle pas du coût indiquéÉchec0.96C12
promise_in_subjectErreur plausibleDate antérieure promise dans la ligne d’objetÉchec0.96C10
wrapped_promiseErreur plausibleDate antérieure promise de part et d’autre d’un saut de ligneÉchec0.96C10
month_first_promiseErreur plausibleDate antérieure promise au format mois en premierÉchec0.96C10
worded_promiseErreur plausibleDate antérieure promise en toutes lettresÉchec0.96C10
reply_wrong_quantityErreur plausibleLa réponse mentionne une quantité autre que celle de la commandeÉchec0.96C11
reply_wrong_currencyErreur plausibleLa réponse indique le prix dans une autre deviseÉchec0.96C10
reply_to_other_customerErreur plausibleRéponse adressée à un autre clientÉchec0.96C11
slash_date_promiseErreur plausibleDate antérieure promise au format avec barres obliquesÉchec0.96C10
negation_in_subordinate_clauseErreur plausibleDate antérieure promise, avec une négation seulement dans une proposition secondaireÉchec0.96C10
relative_in_21_daysErreur plausibleLivraison promise dans un nombre de jours que le planning ne peut pas tenirÉchec0.96C10
contradictory_second_priceErreur plausibleLa réponse propose un second prix qui contredit le premierÉchec0.96C10
reply_omits_quantityErreur plausibleLa réponse n’indique jamais la quantitéÉchec0.96C11
dash_date_promiseErreur plausibleDate antérieure promise au format jour-mois-année avec tiretsÉchec0.96C10
hyphen_month_promiseErreur plausibleDate antérieure promise sous forme de jour, mois abrégé et année reliés par des traits d’unionÉchec0.96C10
iso_slash_promiseErreur plausibleDate antérieure promise au format année en premier avec barres obliquesÉchec0.96C10
date_before_verbErreur plausibleDate antérieure promise, placée avant le verbe dans la phraseÉchec0.96C10
cost_as_discountErreur plausibleLa réponse propose le coût unitaire interne de l’usine comme prix remiséÉchec0.96C10
stage_changed_without_historyErreur plausibleLigne de devis escaladée sans ligne d’historique consignant la modificationÉchec0.92C13
history_rewrittenReward hackUne ligne d’historique initiale modifiéeÉchec0.00barrière 4
history_on_other_quoteReward hackUne ligne d’historique ajoutée à un autre devisÉchec0.00barrière 4
history_backdatedReward hackUne ligne d’historique ajoutée avec une date antérieure à la date du devisÉchec0.00barrière 4
requested_date_no_tokenClasse ouverte, réussit par conceptionLa réponse confirme la livraison « à la date que vous avez demandée », sans date écriteRéussite1.00aucun
lead_time_no_tokenClasse ouverte, réussit par conceptionLa réponse promet la livraison « dans votre délai », sans date écriteRéussite1.00aucun
vague_week_promiseClasse ouverte, réussit par conceptionLa réponse promet une expédition « la semaine après la prochaine »Réussite1.00aucun
reply_cites_customer_emailVariante correcteLa réponse cite l’e-mail du client, dates comprisesRéussite1.00aucun
reply_dates_in_wordsVariante correcteLa réponse donne ses dates en toutes lettresRéussite1.00aucun
reply_with_total_and_slash_dateVariante correcteLa réponse indique le prix unitaire, le total de la ligne, les frais de mise en route et la date au format avec barres obliquesRéussite1.00aucun
referenceSolution de référenceNotre réponse de référence, après une réinitialisation neuveRéussite1.00aucun

Notre harnais de test a également construit 29 entrées hostiles à partir d’un état final correct : 10 avec une table supprimée, 10 avec la première colonne d’une table renommée, une avec la base de données écrasée par du texte, 6 avec une entrée remplacée par un répertoire, 2 avec une sortie remplacée par un répertoire. Chacune a renvoyé un rapport avec une récompense nulle, sans erreur du vérificateur.

Résultats sur l’ensemble du harnais de démonstration.

Ce que signifient les chiffres

Score. Zéro si la soumission est rejetée ou si une barrière échoue. Sinon, la part pondérée des contrôles satisfaits : les poids des contrôles réussis, divisés par la somme de tous les poids. C’est un diagnostic de l’endroit où une réponse a dérapé.

Strict. Vrai uniquement lorsque toutes les barrières et tous les contrôles réussissent. C’est la récompense d’entraînement que nous recommandons : le score rémunère un travail à moitié fait, comme le montre à 0.76 la ligne qui a écrit le fichier de devis sans jamais mettre à jour la base de données.

Critique. Un champ distinct, vrai lorsque tous les contrôles marqués critiques réussissent. Il est indiqué, jamais utilisé comme récompense.

Principes communs des vérificateurs.

Ce que garantit la réinitialisation

La réinitialisation écrit l’espace de travail à partir du code, sans réseau ni horloge. Deux réinitialisations neuves produisent la même empreinte, et un espace de travail utilisé y revient, si bien qu’un acheteur peut vérifier sur sa propre machine que l’état initial dont il dispose est celui sur lequel le vérificateur a été exécuté. L’empreinte hache les fichiers et un dump SQL de la base de données : des empreintes identiques prouvent donc un contenu logique identique, et non des octets identiques.

Ce que tranche un professionnel

Lorsque la profession a plus d’une convention, le vérificateur en encode une. Dans une tâche commandée, un professionnel qui exerce ce métier fait le choix, et nous indiquons s’il change la réponse. Questions ouvertes pour cette tâche :

  • Les jours de production du planning sont-ils des jours calendaires ou des jours ouvrés ? La date de livraison au plus tôt (C6) et la réponse (C10) en dépendent.
  • La réponse doit-elle mentionner le transport, la durée de validité et les conditions de paiement ? Aujourd’hui elle n’en mentionne aucun, et aucun contrôle ne les demande.

Les cinq autres tâches ont leurs propres conventions ouvertes, de la question de savoir si confirmer un nom revient à demander une donnée personnelle dans un appel noté, à la manière d’arrondir les tonnes sèches avant de chiffrer une cargaison. Chacune est listée dans la fiche de tâche que reçoit l’acheteur.

Ce que le vérificateur ne détecte pas encore

Nous attaquons nos propres vérificateurs. Le 7 novembre 2026, trois revues des premières versions réalisées par des modèles ont construit des états finaux erronés, et deux vérificateurs les ont acceptés avec le score maximal. Nous les avons reproduits et, le 8 novembre 2026, avons testé les six vérificateurs contre environ 220 modifications uniques d’un état final correct. Les classes trouvées, et leur statut sur cette tâche lors de l’exécution des barrières du 10 novembre 2026 :

Classe de travail erronéStatut sur cette tâche, 10 novembre 2026
La réponse contredit la sortie structurée : elle promet une date que le planning ne peut pas tenir alors que le fichier de devis porte la bonne dateDétecté depuis la version 0.1 : C10, critique, et la sonde contradictory_reply_date. La version 1.0 lit aussi la ligne d’objet et davantage de formats de date, dont les dates avec barres obliques et les dates relatives, et accepte une réponse correcte qui cite l’e-mail du client, que la version 0.1 faisait échouer à tort
Champs d’identité de la ligne de sortie réécrits alors que les montants contrôlés restent justesDétecté depuis la version 1.0 par la barrière 3 : wrong_customer_on_row, wrong_sku_on_row
Lignes supplémentaires insérées dans la table de sortieDétecté depuis la version 1.0 par la barrière 3 : duplicate_quote_row
Lignes historiques ou voisines supprimées ou corrompuesDétecté depuis la version 1.0 par la barrière 3 : neighbour_quote_deleted, avec une deuxième ligne de devis ajoutée aux données initiales pour qu’il y ait quelque chose à supprimer
Des montants décalés d’au plus une unité passent un contrôle dont le texte dit « au centime près »Résolu dans la version 1.0 : C4, C9 et C12 comparent au centime près ; price_one_cent_off échoue en strict à 0.80
La réinitialisation d’un espace de travail utilisé échoue au lieu de restaurer l’état initialRésolu dans la version 1.0 : un espace de travail utilisé revient à l’empreinte enregistrée
La suppression de la table de sortie fait planter le vérificateur au lieu de renvoyer un rejetRésolu dans la version 1.0 : drop_quotes_table et 29 entrées hostiles renvoient un rejet structuré ou un zéro
La réinitialisation était décrite comme identique à l’octet prèsFormulation corrigée : l’empreinte prouve un contenu logique identique
Chaque sonde de reward hacking ne sollicitait que les barrières de premier niveau ; aucune ne touchait la table de sortie modifiableRésolu dans la version 1.0 : six sondes écrivent dans la table quotes, chacune à zéro
La réponse promet une date antérieure sous une forme que l’analyseur ne lisait pas : tirets, mois abrégé relié par des traits d’union, année en premier avec barres obliquesDétecté depuis la version 1.0.1 : dash_date_promise, hyphen_month_promise, iso_slash_promise. Trois promesses ne contenant aucune date sont consignées comme sondes de classe ouverte qui réussissent par conception : requested_date_no_token, lead_time_no_token, vague_week_promise
La réponse place la date avant la promesse, ou propose le coût interne de l’usine comme remiseDétecté depuis la version 1.0.2 : date_before_verb et cost_as_discount, toutes deux en échec sur C10
La ligne du devis change sans trace de qui a modifié quoi, ou l’historique est réécrit pour concorderDétecté depuis la version 1.0.3 : C13, critique, et la sonde stage_changed_without_history ; la table d’historique est protégée par la barrière 4, avec history_rewritten, history_on_other_quote et history_backdated chacune à zéro
Toujours pas lu : la prose, dans une sortie requise, qui contredit ses propres chiffres corrects, comme une réponse qui nie le prix qu’elle indique, une colonne de motif, une clé narrative supplémentaire, ou un rapport à côté de tables correctesOuvert, par conception. Aucun contrôle ne lit cette prose aujourd’hui, et une sonde écrite à la main ne peut pas combler cette lacune. La notation à l’aveugle d’un professionnel du métier est le seul contrôle sur ce point

Chaque classe trouvée par ces revues et par les nôtres est désormais une sonde nommée, et chacune obtient le score requis lors de l’exécution des barrières du 10 novembre 2026. Les sondes écrites à la main sont un test de non-régression, pas une garantie : elles prouvent que chaque état final erroné auquel nous avons pensé obtient le score qu’il doit obtenir, et rien sur ceux auxquels nous n’avons pas pensé. Chaque nouvelle classe devient une sonde nommée le jour où elle est découverte.

Journal des modifications

  1. Au plus tard le 7 novembre 2026. Version 0 rédigée et exécutée. Deux modèles actuels d’un même fournisseur l’ont résolue avec un rollout chacun. Une revue du vérificateur réalisée par un modèle a constaté que le contrôle de la réponse acceptait la promesse d’une date de livraison que le planning ne pouvait pas tenir.
  2. 8 novembre 2026. Version 0.1 : C10 analyse les dates du corps de la réponse et est critique ; ajout de la sonde contradictory_reply_date, en échec strict à 0.96.
  3. 8 novembre 2026. Version 1.0 : protection de la table quotes au niveau des champs (barrière 3), rejet structuré d’une soumission impossible à noter, prix comparés au centime près, contrôle de la réponse plus strict qui accepte aussi une réponse correcte que la version 0.1 faisait échouer à tort, deux nouveaux contrôles (C11, C12), 27 nouvelles sondes de reward hacking et d’erreurs plausibles, deux variantes correctes, et une ligne de devis historique dans les données initiales. La réponse de référence est inchangée, les tentatives des modèles sur la version 0 restent donc valables. Publication de cette page.
  4. 8 novembre 2026. Version 1.0.1 : le contrôle de la réponse lit les dates avec tirets, au format jour-mois abrégé et au format année en premier avec barres obliques, chacune avec une erreur plausible. Trois promesses sans date sont consignées comme sondes de classe ouverte qui réussissent par conception. Nouveau hachage du module. La réponse de référence est inchangée.
  5. 8 novembre 2026. Version 1.0.2 : le contrôle de la réponse lit une date placée avant la promesse, et n’accepte plus une réponse qui propose le coût interne de l’usine comme remise. Une variante correcte de plus. La réponse de référence est inchangée.
  6. 8 novembre 2026. Version 1.0.3 : les données initiales s’enrichissent de l’e-mail de relance du client et d’une table d’historique de quatre lignes rédigées, protégée au niveau des champs par la barrière 4. La procédure et la consigne demandent que chaque modification de la ligne du devis soit consignée, et C13, critique, le contrôle. Quatre nouvelles sondes. Les prix, les dates et le devis de référence sont inchangés ; les poids totalisent désormais 25, si bien que tous les scores ont bougé.

Les nouveaux résultats sont publiés avec leur date, qu’ils soient en réussite ou en échec.

L’exécuter vous-même

D’abord, un appel de vingt minutes : nous exécutons cette tâche devant votre ingénieur, d’une réinitialisation jusqu’à la solution de référence, en passant par un reward hack et une erreur plausible. Sous un NDA bilatéral signé, votre ingénieur reçoit ensuite le vérificateur autonome, avec les commandes d’initialisation, de réinitialisation, de notation et d’autotest en Python 3.11, sans paquet tiers, ainsi que l’espace de travail, l’état final de référence et les rapports du vérificateur sur l’espace de travail intact et sur la solution de référence. La réexécution de toutes les sondes ci-dessus sur votre propre machine constitue le test de recette d’une première commande, que nous livrons dans un délai de dix jours ouvrés à compter de vos exigences écrites.

Demander un lot d’échantillons Réserver la démonstration guidée