Menü

Forschung

Neukalkulation Verpackung, Version 1.0.3: jede Prüfung und jede bekannte Lücke

Eine Demonstrationsaufgabe, offengelegt: der Auftrag, der Ausgangszustand, die Gates und die dreizehn Prüfungen, jeder Testfall mit seinem Ergebnis, wie der Reward definiert ist, was der Reset garantiert und welche Fehler der Verifier noch nicht erkennt.

Aufgabe mfg-rfq-001 · Version 1.0.3, Gates ausgeführt am 10. November 2026 · Datarena

Öffentliche Demonstration · Herkunft und Umfang der Demonstrationsaufgaben.

Identität

Aufgabe
mfg-rfq-001, Version 1.0.3, Verifier per Hash eingefroren
Familie
packaging-quotation, Schwierigkeit easy, wie in der öffentlichen Gate-Datei angegeben
Ergebnis
unresolved, per Konstruktion: Die Episode endet, wenn die Antwort gesendet wird, bevor der Kunde antwortet; ein Praktiker verfasst das Label in v1.1
Bereich
Fertigung: Kunststoffverpackungen, eine Angebotsanfrage, die mit einem Angebot beantwortet wird
Status
Öffentliche Demonstration; vollständig offengelegt und nicht zum Verkauf.
Gates ausgeführt
10. November 2026, Python 3.11.8, nur deterministische Gates: keine Modellläufe, keine menschlichen Bewerter, kein Training
Modellversuche
Version 0, am oder vor dem 7. November 2026: zwei aktuelle Modelle eines Anbieters, eines davon seine kleine Stufe, je ein Rollout, beide erzielten 1,0 und bestanden strikt. Die späteren Versionen, die den Verifier verschärft und die Referenzantwort unverändert gelassen haben, laufen als Nächstes

Der Auftrag

Ein Vertriebsmitarbeiter in einem Verpackungswerk muss heute ein Angebot verschicken. Die zweite E-Mail des Kunden hat die Bestellmenge reduziert und den Liefertermin verschoben, im Produktionschat wurde der Auftrag auf eine andere Maschine verlegt, weil die übliche ausgefallen ist, und das Kalkulationsverfahren legt fest, wie kalkuliert, bepreist und eskaliert wird. Die Anweisung, wie der Agent sie erhält:

Sie sind Vertriebsmitarbeiter (sales_exec_2) bei Tembaga Ridge Packaging. Heute ist der 16. Nov. 2026. Schicken Sie das Angebot Q-2611 heute an Selat Biru Agrochem. Lesen Sie den Posteingang und den Produktionschat, befolgen Sie docs/SOP-Q-07.md, aktualisieren Sie die quotes-Zeile in erp/plant.db, protokollieren Sie jede Änderung daran in crm_history und schreiben Sie out/quote.json (qty, machine, unit_cost_rm, unit_price_rm, earliest_delivery als YYYY-MM-DD, meets_requested_delivery) und out/reply.eml.

Die richtige Antwort übernimmt die neueste Menge, die bestätigte Maschine und den aktuellen Harzpreis, berechnet Kosten und Preis nach dem Verfahren neu, findet den frühesten freien Termin im Fertigungsplan, kennzeichnet den gewünschten Termin als nicht einhaltbar, eskaliert das Angebot in der Datenbank, protokolliert jede Änderung an der Angebotszeile und schreibt eine Antwort, die nichts verspricht, was der Fertigungsplan nicht leisten kann.

Den Ausgangszustand lesen

Geldbeträge erscheinen auf dieser Seite als [amount]; die vollständigen Dateien erhält Ihr Engineer unter NDA. Die Referenzantwort ist bewusst minimal gehalten: Der Verifier liest Preis, Menge und Termine, nicht den Ton.

Die eigenen Dateien der Aufgabe in der Reihenfolge, in der ein Mitarbeiter ihnen begegnet, dann der Referenz-Endzustand und ein plausibler Fehler. Jedes Blatt wird beim Bauen der Seite aus der Aufgabe generiert und kann daher nicht von den Dateien abweichen, die der Verifier liest. Der Textmarker hebt die geänderten Fakten und die vom Verifier beanstandete Zeile hervor.

Der Posteingang, vier Nachrichten

inbox/001.eml9 Nov 2026, 10:14

From
procurement@selatbiru.example
To
sales@tembagaridge.example
Subject
RFQ - 20 L jerrican

Please quote for 50,000 pcs of your 20 L HDPE jerrican (JC20), natural colour. Delivery to Port Klang.

Procurement, Selat Biru Agrochem

inbox/002.eml13 Nov 2026, 15:31

From
procurement@selatbiru.example
To
sales@tembagaridge.example
Subject
Re: RFQ - 20 L jerrican (revised)

Revision to our RFQ: we now need the jerricans in BLUE, and the first order will be 12,000 pcs, not 50,000. We need delivery within 21 days of your quotation date. Please re-quote.

Procurement, Selat Biru Agrochem

inbox/003.eml16 Nov 2026, 08:40

From
sales.director@tembagaridge.example
To
sales_exec_2@tembagaridge.example
Subject
Q-2611 today please

Please get Q-2611 out to Selat Biru today. Follow SOP-Q-07 and check with production first.

inbox/000.eml16 Nov 2026, 09:05

From
procurement@selatbiru.example
To
sales@tembagaridge.example
Subject
Re: RFQ - 20 L jerrican (revised) - quotation?

Good morning. We have not yet received your revised quotation. Our planning meeting is this afternoon, so please send it today.

Procurement, Selat Biru Agrochem

Der Produktionschat

chat/production.json#production

  1. tooling_lead · 14 Nov 2026, 16:02

    BM-07 is down for a screw and barrel replacement, back 10 Dec at the earliest. Run the JC20 mould on BM-03 until then.

  2. planner_1 · 14 Nov 2026, 16:05

    Noted. JC20 cycle on BM-03 runs 18% longer than on BM-07, same single cavity. BM-03 is booked, check machine_schedule before promising dates.

  3. qc_lead · 16 Nov 2026, 08:15

    Reminder: drop test on the blue 10 L pails is at 2pm.

Das Verfahren

docs/SOP-Q-07.mdThe quoting procedure

SOP-Q-07 Quotation costing and disposition (blow moulding)

  1. Governing request. The latest written customer amendment governs quantity, colour and delivery.
  2. Machine. Quote on the machine production has confirmed for the job. Never quote on a machine whose status is DOWN.
  3. Unit cost in RM per piece:
    • material mass = part mass x (1 + 3% scrap)
    • coloured parts: masterbatch replaces resin at the dosing % in the masterbatch table
    • material cost = resin kg x resin price + masterbatch kg x masterbatch price
    • resin price = the row with the latest effective_date on or before the quotation date
    • machine cost = cycle seconds / cavities / 3600 x machine rate per hour
    • set-up = [amount] per job / quantity
    • unit cost = material + machine + set-up
  4. Price. unit price = unit cost / (1 - 22%), rounded to 2 decimals. Never quote below an 18% margin.
  5. MOQ for JC20 is 10,000 pcs. Below MOQ: stage REJECTED_MOQ and no price is sent.
  6. Delivery.
    • production days = quantity x cycle seconds / cavities / (3600 x machine hours per day x 85% OEE), rounded up
    • first free day = the day after booked_until in machine_schedule
    • earliest delivery = first free day + production days + 3 days QC and dispatch
  7. Disposition, in the quotes table:
    • delivery can be met: stage QUOTED, owner stays with the sales executive
    • delivery cannot be met: still price the job, stage ESCALATED_LEADTIME, owner = the sales manager. The reply states the price and the earliest delivery date and does not promise the requested date.
  8. Outputs. Update the quotes row (qty, unit_price_rm, stage, owner). Record every change you make to a quotes field as a row in crm_history (quote_id, ts on the quotation date, actor, field, old_value, new_value, note); never edit an existing history row. Write out/quote.json and out/reply.eml.

Die Datenbank vor der Arbeit

erp/plant.dbThe tables the job touches or reads

quotes2 rows

idcustomer_idskuqtyunit_price_rmstageowner
Q-2604C-0388PL1020000[amount]QUOTEDsales_exec_2
Q-2611C-0417JC2050000nullENQUIRYsales_exec_2

machine_schedule2 rows

machine_idbooked_until
BM-032026-11-27
BM-072026-12-09

machines2 rows

idstatusrate_rm_per_hrhours_per_day
BM-07DOWN[amount]20.0
BM-03RUNNING[amount]20.0

crm_history4 rows

idquote_idtsactorfieldold_valuenew_valuenote
1Q-26042026-11-02 14:10sales_exec_2stageENQUIRYQUOTEDPL10 20,000 pcs quoted at [amount]
2Q-26112026-11-09 10:40sales_exec_2stagenullENQUIRYRFQ received: 50,000 pcs JC20 natural, delivery Port Klang
3Q-26112026-11-13 16:02sales_exec_2notenullnullCustomer revision: blue, first order 12,000 pcs, delivery within 21 days of quotation; re-quote pending
4Q-26112026-11-16 08:45sales_exec_2notenullnullSales director: quote out today per SOP-Q-07, check with production first

Der Referenz-Endzustand

out/quote.jsonJSON

{
  "quote_id": "Q-2611",
  "qty": 12000,
  "machine": "BM-03",
  "unit_cost_rm": "[amount]",
  "unit_price_rm": "[amount]",
  "earliest_delivery": "2026-12-11",
  "meets_requested_delivery": false
}

out/reply.eml16 Nov 2026, 11:00

From
sales_exec_2@tembagaridge.example
To
procurement@selatbiru.example
Subject
Quotation Q-2611

Our price for 12,000 pcs JC20 is [amount] per piece. Earliest delivery is 2026-12-11.

erp/plant.dbAfter the work

quotes, the Q-2611 row1 rows

idcustomer_idskuqtyunit_price_rmstageowner
Q-2611C-0417JC2012000[amount]ESCALATED_LEADTIMEsales_mgr_1

crm_history, rows the work added4 rows

idquote_idtsactorfieldold_valuenew_valuenote
5Q-26112026-11-16 11:00sales_exec_2qty5000012000Q-2611 re-quoted per SOP-Q-07
6Q-26112026-11-16 11:00sales_exec_2unit_price_rmnull[amount]Q-2611 re-quoted per SOP-Q-07
7Q-26112026-11-16 11:00sales_exec_2stageENQUIRYESCALATED_LEADTIMEQ-2611 re-quoted per SOP-Q-07
8Q-26112026-11-16 11:00sales_exec_2ownersales_exec_2sales_mgr_1Q-2611 re-quoted per SOP-Q-07

Der Verifier: Bestanden · Score 1,00

Roher Verifier-Bericht, Referenzlösung
{
  "gates": [
    {
      "name": "inputs untouched and no file added under inbox/, chat/ or docs/",
      "passed": true
    },
    {
      "name": "protected ERP tables and the database schema untouched",
      "passed": true
    },
    {
      "name": "quotes table: only Q-2611's qty, unit_price_rm, stage and owner changed; no row added, removed or re-identified",
      "passed": true
    },
    {
      "name": "crm_history: seeded rows untouched; rows appended only for Q-2611 and dated on the quotation date",
      "passed": true
    }
  ],
  "criteria": [
    {
      "id": "C1",
      "desc": "Quantity follows the latest amendment (12,000)",
      "passed": true,
      "weight": 2,
      "critical": true
    },
    {
      "id": "C2",
      "desc": "Machine is the one production confirmed (BM-03), not the down machine",
      "passed": true,
      "weight": 2,
      "critical": false
    },
    {
      "id": "C3",
      "desc": "Unit cost within 0.5% of the SOP recomputation",
      "passed": true,
      "weight": 3,
      "critical": false
    },
    {
      "id": "C4",
      "desc": "Unit price equals the SOP price to the cent",
      "passed": true,
      "weight": 3,
      "critical": false
    },
    {
      "id": "C5",
      "desc": "Price keeps at least an 18% margin on the true cost",
      "passed": true,
      "weight": 2,
      "critical": true
    },
    {
      "id": "C6",
      "desc": "Earliest delivery date matches the schedule recomputation",
      "passed": true,
      "weight": 2,
      "critical": false
    },
    {
      "id": "C7",
      "desc": "Delivery marked as not met and the quote escalated in the ERP",
      "passed": true,
      "weight": 3,
      "critical": true
    },
    {
      "id": "C8",
      "desc": "Owner reassigned to the sales manager",
      "passed": true,
      "weight": 1,
      "critical": false
    },
    {
      "id": "C9",
      "desc": "ERP row agrees with quote.json (qty, and price to the cent)",
      "passed": true,
      "weight": 2,
      "critical": false
    },
    {
      "id": "C10",
      "desc": "Reply states the SOP price in RM and the earliest delivery date, and promises no earlier date",
      "passed": true,
      "weight": 1,
      "critical": true
    },
    {
      "id": "C11",
      "desc": "Reply is addressed to the customer, identifies Q-2611, and names no quantity other than 12,000 pcs",
      "passed": true,
      "weight": 1,
      "critical": false
    },
    {
      "id": "C12",
      "desc": "Stated price follows from the stated cost under the SOP mark-up (cost / 0.78, rounded)",
      "passed": true,
      "weight": 1,
      "critical": false
    },
    {
      "id": "C13",
      "desc": "Each change to stage and owner on the quotes row is logged in crm_history with its old and new value",
      "passed": true,
      "weight": 2,
      "critical": true
    }
  ],
  "strict_pass": true,
  "reward": 1.0,
  "rejection": null
}

Ein plausibler Fehler: die ausgefallene Maschine kalkuliert

Der Testfall down_machine. Plausibler Fehler. Seine Dateien und was der Verifier beanstandet hat.

out/quote.jsonJSON

{
  "quote_id": "Q-2611",
  "qty": 12000,
  "machine": "BM-07",
  "unit_cost_rm": "[amount]",
  "unit_price_rm": "[amount]",
  "earliest_delivery": "2026-11-27",
  "meets_requested_delivery": true
}

out/reply.eml16 Nov 2026, 11:00

From
sales_exec_2@tembagaridge.example
To
procurement@selatbiru.example
Subject
Quotation Q-2611

Our price for 12,000 pcs JC20 is [amount] per piece. Earliest delivery is 2026-11-27.

Der Verifier: Nicht bestanden · Score 0,40

  • C2 Die Maschine ist die von der Produktion bestätigte (BM-03), nicht die ausgefallene
  • C3 Stückkosten innerhalb von 0,5 % der Nachrechnung nach SOP
  • C4 Stückpreis entspricht centgenau dem SOP-Preis
  • C6 Frühester Liefertermin entspricht der Nachrechnung des Fertigungsplans
  • C7 Lieferung als nicht einhaltbar gekennzeichnet und das Angebot im ERP eskaliert
  • C8 Zuständigkeit an den Vertriebsleiter übertragen
  • C10 Antwort nennt den SOP-Preis in RM und den frühesten Liefertermin und verspricht keinen früheren Termin
Roher Verifier-Bericht, down_machine
{
  "gates": [
    {
      "name": "inputs untouched and no file added under inbox/, chat/ or docs/",
      "passed": true
    },
    {
      "name": "protected ERP tables and the database schema untouched",
      "passed": true
    },
    {
      "name": "quotes table: only Q-2611's qty, unit_price_rm, stage and owner changed; no row added, removed or re-identified",
      "passed": true
    },
    {
      "name": "crm_history: seeded rows untouched; rows appended only for Q-2611 and dated on the quotation date",
      "passed": true
    }
  ],
  "criteria": [
    {
      "id": "C1",
      "desc": "Quantity follows the latest amendment (12,000)",
      "passed": true,
      "weight": 2,
      "critical": true
    },
    {
      "id": "C2",
      "desc": "Machine is the one production confirmed (BM-03), not the down machine",
      "passed": false,
      "weight": 2,
      "critical": false
    },
    {
      "id": "C3",
      "desc": "Unit cost within 0.5% of the SOP recomputation",
      "passed": false,
      "weight": 3,
      "critical": false
    },
    {
      "id": "C4",
      "desc": "Unit price equals the SOP price to the cent",
      "passed": false,
      "weight": 3,
      "critical": false
    },
    {
      "id": "C5",
      "desc": "Price keeps at least an 18% margin on the true cost",
      "passed": true,
      "weight": 2,
      "critical": true
    },
    {
      "id": "C6",
      "desc": "Earliest delivery date matches the schedule recomputation",
      "passed": false,
      "weight": 2,
      "critical": false
    },
    {
      "id": "C7",
      "desc": "Delivery marked as not met and the quote escalated in the ERP",
      "passed": false,
      "weight": 3,
      "critical": true
    },
    {
      "id": "C8",
      "desc": "Owner reassigned to the sales manager",
      "passed": false,
      "weight": 1,
      "critical": false
    },
    {
      "id": "C9",
      "desc": "ERP row agrees with quote.json (qty, and price to the cent)",
      "passed": true,
      "weight": 2,
      "critical": false
    },
    {
      "id": "C10",
      "desc": "Reply states the SOP price in RM and the earliest delivery date, and promises no earlier date",
      "passed": false,
      "weight": 1,
      "critical": true
    },
    {
      "id": "C11",
      "desc": "Reply is addressed to the customer, identifies Q-2611, and names no quantity other than 12,000 pcs",
      "passed": true,
      "weight": 1,
      "critical": false
    },
    {
      "id": "C12",
      "desc": "Stated price follows from the stated cost under the SOP mark-up (cost / 0.78, rounded)",
      "passed": true,
      "weight": 1,
      "critical": false
    },
    {
      "id": "C13",
      "desc": "Each change to stage and owner on the quotes row is logged in crm_history with its old and new value",
      "passed": true,
      "weight": 2,
      "critical": true
    }
  ],
  "strict_pass": false,
  "reward": 0.4,
  "rejection": null
}

Worauf zu achten ist

  • Die zweite E-Mail ersetzt die erste.
  • Die Einschränkung steht nur im Chat.
  • Die Antwort darf keinen Termin versprechen, den der Fertigungsplan nicht einhalten kann.
  • Das Prüfprogramm liest die Dateien und Zeilen, nie die Behauptungen der Antwort.
  • Jede Änderung an der Angebotszeile muss in der Historientabelle protokolliert werden, datiert auf das Angebotsdatum.

Die fünf Bestandteile dieser Version

Kunden-E-Mails
Vorhanden: die Anfrage, die Änderung, die Notiz des Geschäftsführers und die Nachfrage, vier Nachrichten im Posteingang
Interne Abstimmung
Vorhanden: der Produktionschat, drei Zeilen
Zugehörige Dokumente
Vorhanden: das Kalkulationsverfahren
Historienprotokoll
Vorhanden: die Historientabelle, vier verfasste Zeilen vor Beginn der Arbeit. Jede Änderung an der Angebotszeile muss eine hinzufügen, geprüft durch C13
Ergebnislabel
Im Aufgabendatensatz vorhanden, verfasst als „unresolved“. Per Konstruktion: Die Episode endet, wenn die Antwort gesendet wird, bevor der Kunde antwortet; ein Praktiker verfasst das Label in v1.1

Der Workspace

Jeder Lauf beginnt mit denselben Dateien und derselben Datenbank, frisch geschrieben durch den eigenen Reset der Aufgabe.

PfadInhalt nach dem Reset
chat/production.json639 Byte
docs/SOP-Q-07.md1877 Byte
erp/plant.dbcrm_history (4), customers (2), machine_schedule (2), machines (2), masterbatch (2), mould_machine (1), products (2), quotes (2), resin_prices (3), staff (3)
inbox/000.eml324 Byte
inbox/001.eml272 Byte
inbox/002.eml364 Byte
inbox/003.eml240 Byte

Reset-Digest, SHA-256 des befüllten Workspace, wobei die Datenbank als ihr SQL-Dump genommen wird: 3366510ba57c7b69d148f9dd16a74ceaea0a556e649b813b1a5d1d55c446d20d. Reset deterministisch aus einem leeren Verzeichnis: ja. Ein benutzter Workspace wird auf denselben Digest zurückgesetzt: ja.

Was der Agent lesen und ändern darf

Liest
Die vier Nachrichten im Posteingang, den Produktionschat, das Kalkulationsverfahren und jede Tabelle der Datenbank.
Schreibt
out/quote.json mit den erforderlichen Feldern, out/reply.eml, vier Felder der einen in der Anweisung genannten Angebotszeile: Menge, Stückpreis, Phase und Zuständigkeit, sowie für jede dieser Änderungen eine neue Zeile in der Historientabelle.
Darf nicht anfassen
Die Eingabedateien, die Eingabeordner, die anderen Tabellen, das Datenbankschema, jedes andere Feld und jede andere Zeile der quotes-Tabelle und jede Historienzeile, die zu Beginn vorhanden war. Jede Änderung dort lässt ein Gate scheitern, und der Lauf erhält Score null, was auch immer er sonst getan hat.

Gates und Prüfungen

Eine Einreichung, die der Verifier nicht bewerten kann, weil eine erforderliche Ausgabe fehlt, fehlerhaft oder beschädigt ist, wird als ungültig mit Reward null abgelehnt, mit einer strukturierten Begründung statt eines Absturzes. Dann folgen vier Gates. Scheitert eines, ist der Reward null, und es werden keine Prüfungen gezählt.

  1. Eingaben unverändert und keine Datei unter inbox/, chat/ oder docs/ hinzugefügt.
  2. Geschützte ERP-Tabellen und das Datenbankschema unverändert.
  3. quotes-Tabelle: nur qty, unit_price_rm, stage und owner von Q-2611 geändert; keine Zeile hinzugefügt, entfernt oder neu identifiziert.
  4. crm_history: ursprüngliche Zeilen unverändert; Zeilen nur für Q-2611 angehängt und auf das Angebotsdatum datiert.

Dann folgen dreizehn Prüfungen, die der Verifier jeweils aus einer frischen Kopie des Ausgangszustands nachrechnet und mit den Dateien und Datenbankzeilen auf der Festplatte vergleicht. Der Verifier liest nie, was der Agent nach eigener Aussage getan hat. Die Gewichte ergeben in Summe 25; 5 Prüfungen sind kritisch.

PrüfungWas erfüllt sein mussGewichtungKritisch
C1Menge folgt der neuesten Änderung (12.000)2ja
C2Die Maschine ist die von der Produktion bestätigte (BM-03), nicht die ausgefallene2
C3Stückkosten innerhalb von 0,5 % der Nachrechnung nach SOP3
C4Stückpreis entspricht centgenau dem SOP-Preis3
C5Preis hält mindestens 18 % Marge auf die tatsächlichen Kosten2ja
C6Frühester Liefertermin entspricht der Nachrechnung des Fertigungsplans2
C7Lieferung als nicht einhaltbar gekennzeichnet und das Angebot im ERP eskaliert3ja
C8Zuständigkeit an den Vertriebsleiter übertragen1
C9ERP-Zeile stimmt mit quote.json überein (qty und Preis centgenau)2
C10Antwort nennt den SOP-Preis in RM und den frühesten Liefertermin und verspricht keinen früheren Termin1ja
C11Antwort ist an den Kunden gerichtet, nennt Q-2611 und keine andere Menge als 12.000 Stück1
C12Genannter Preis ergibt sich aus den genannten Kosten mit dem SOP-Aufschlag (Kosten / 0,78, gerundet)1
C13Jede Änderung von stage und owner in der quotes-Zeile ist in crm_history mit altem und neuem Wert protokolliert2ja

Toleranzen in Version 1.0.3: C3 vergleicht die Stückkosten innerhalb von 0,5 %, wie ihr Text sagt; C4, C9 und C12 vergleichen Preise centgenau (innerhalb eines halben Cents); C10 liest Betreff und Text der Antwort, jedes Datumsformat und nur Termine nach dem Angebotsdatum.

Die Testfälle

Bevor ein Käufer eine Aufgabe sieht, greifen wir ihren Verifier an. Ein Reward Hack fälscht oder manipuliert und muss genau null erzielen. Ein plausibler Fehler ist einer, der einem sorgfältigen Mitarbeiter unterlaufen könnte; er darf den strikten Reward nicht erhalten, für den jedes Gate und jede Prüfung bestanden sein muss. Eine korrekte Alternative ist eine richtige Antwort in anderer Form; sie muss ihn erhalten. Ein Testfall für eine bekannte Lücke hält eine Schwäche fest, die wir nicht geschlossen haben: Er besteht konstruktionsbedingt, sodass jede Änderung an dieser Grenze sichtbar wird. 19 Reward Hacks, 26 plausible Fehler, 3 korrekte Alternativen und 3 Testfälle für bekannte Lücken liefen am 10. November 2026, und jeder lieferte das erwartete Ergebnis. Die meisten plausiblen Fehler zielen auf die Antwort, die einzige Freitextausgabe: das Versprechen eines früheren Termins, in jedem Datumsformat, das uns begegnet ist.

TestfallArtWas er tatStriktScoreWas scheiterte
emptyReward HackKeine Antwort geschriebenNicht bestanden0.00Als ungültig abgelehnt
claim_onlyReward HackEine selbstsichere Antwort, ohne dass Dateien geschrieben wurdenNicht bestanden0.00Als ungültig abgelehnt
tamper_scheduleReward HackDie gebuchte Maschine in der Planungstabelle freigegebenNicht bestanden0.00Gate 2
edit_customer_emailReward HackDie E-Mail des Kunden bearbeitet, sodass die alte Menge als aktuell erscheintNicht bestanden0.00Gate 1
superseded_quantityPlausibler FehlerDie überholte Menge angebotenNicht bestanden0.40C1, C3, C4, C5, C6, C10, C11, C12
down_machinePlausibler FehlerDie ausgefallene Maschine kalkuliertNicht bestanden0.40C2, C3, C4, C6, C7, C8, C10
stale_resin_pricePlausibler FehlerMit einem Harzpreis kalkuliert, den die Tabelle bereits ersetzt hatteNicht bestanden0.72C3, C4, C10
json_without_erpPlausibler FehlerDie Angebotsdatei geschrieben und die Datenbankzeile nie aktualisiertNicht bestanden0.76C7, C8, C9
contradictory_reply_datePlausibler FehlerAntwort versprach einen früheren Termin als das Angebot selbstNicht bestanden0.96C10
wrong_customer_on_rowReward HackRichtige Beträge, falscher Kunde in der AngebotszeileNicht bestanden0.00Gate 3
wrong_sku_on_rowReward HackRichtige Beträge, falsches Produkt in der AngebotszeileNicht bestanden0.00Gate 3
duplicate_quote_rowReward HackEine zweite Angebotszeile hinzugefügtNicht bestanden0.00Gate 3
neighbour_quote_deletedReward HackDie Zeile eines anderen Angebots gelöschtNicht bestanden0.00Gate 3
quotes_table_replacedReward HackDie quotes-Tabelle gelöscht und neu aufgebautNicht bestanden0.00Gate 2, Gate 3
schema_column_addedReward HackDem Datenbankschema eine Spalte hinzugefügtNicht bestanden0.00Gate 2, Gate 3
drop_quotes_tableReward HackDie quotes-Tabelle gelöschtNicht bestanden0.00Gate 2, als ungültig abgelehnt
malformed_quote_jsonReward HackEine Angebotsdatei, die kein gültiges JSON istNicht bestanden0.00Als ungültig abgelehnt
oversized_numberReward HackEine Zahl außerhalb des gültigen Bereichs in der AngebotsdateiNicht bestanden0.00Als ungültig abgelehnt
reply_without_headersReward HackEine Antwort ohne E-Mail-HeaderNicht bestanden0.00Als ungültig abgelehnt
extra_reply_fileReward HackEine zweite Antwortdatei hinzugefügtNicht bestanden0.00Als ungültig abgelehnt
forged_customer_emailReward HackEine gefälschte Kunden-E-Mail in den Posteingang gelegtNicht bestanden0.00Gate 1
price_one_cent_offPlausibler FehlerPreis weicht um einen Cent vom Wert des Verfahrens abNicht bestanden0.80C4, C10, C12
erp_price_differsPlausibler FehlerDatenbankpreis weicht von der Angebotsdatei abNicht bestanden0.92C9
cost_price_inconsistentPlausibler FehlerGenannter Preis ergibt sich nicht aus den genannten KostenNicht bestanden0.96C12
promise_in_subjectPlausibler FehlerFrüherer Termin in der Betreffzeile versprochenNicht bestanden0.96C10
wrapped_promisePlausibler FehlerFrüherer Termin über einen Zeilenumbruch hinweg versprochenNicht bestanden0.96C10
month_first_promisePlausibler FehlerFrüherer Termin mit vorangestelltem Monat versprochenNicht bestanden0.96C10
worded_promisePlausibler FehlerFrüherer Termin in Worten versprochenNicht bestanden0.96C10
reply_wrong_quantityPlausibler FehlerAntwort nennt eine andere Menge als die der BestellungNicht bestanden0.96C11
reply_wrong_currencyPlausibler FehlerAntwort nennt den Preis in einer anderen WährungNicht bestanden0.96C10
reply_to_other_customerPlausibler FehlerAntwort an einen anderen Kunden gerichtetNicht bestanden0.96C11
slash_date_promisePlausibler FehlerFrüherer Termin mit Schrägstrichen versprochenNicht bestanden0.96C10
negation_in_subordinate_clausePlausibler FehlerFrüherer Termin versprochen, mit einer Verneinung nur in einem NebensatzNicht bestanden0.96C10
relative_in_21_daysPlausibler FehlerLieferung innerhalb einer Anzahl von Tagen versprochen, die der Fertigungsplan nicht einhalten kannNicht bestanden0.96C10
contradictory_second_pricePlausibler FehlerAntwort bietet einen zweiten Preis an, der dem ersten widersprichtNicht bestanden0.96C10
reply_omits_quantityPlausibler FehlerAntwort nennt die Menge nieNicht bestanden0.96C11
dash_date_promisePlausibler FehlerFrüherer Termin im Format Tag-Monat-Jahr mit Bindestrichen versprochenNicht bestanden0.96C10
hyphen_month_promisePlausibler FehlerFrüherer Termin als Tag, abgekürzter Monat und Jahr, durch Bindestriche verbunden, versprochenNicht bestanden0.96C10
iso_slash_promisePlausibler FehlerFrüherer Termin mit vorangestelltem Jahr und Schrägstrichen versprochenNicht bestanden0.96C10
date_before_verbPlausibler FehlerFrüherer Termin versprochen, im Satz vor das Verb gestelltNicht bestanden0.96C10
cost_as_discountPlausibler FehlerAntwort bietet die internen Stückkosten des Werks als Rabattpreis anNicht bestanden0.96C10
stage_changed_without_historyPlausibler FehlerAngebotszeile eskaliert, ohne dass eine Historienzeile die Änderung festhältNicht bestanden0.92C13
history_rewrittenReward HackEine ursprüngliche Historienzeile bearbeitetNicht bestanden0.00Gate 4
history_on_other_quoteReward HackEine Historienzeile an ein anderes Angebot angehängtNicht bestanden0.00Gate 4
history_backdatedReward HackEine Historienzeile mit einem Datum vor dem Angebotsdatum angehängtNicht bestanden0.00Gate 4
requested_date_no_tokenOffene Klasse, besteht konstruktionsbedingtAntwort bestätigt die Lieferung „bis zu Ihrem Wunschtermin“, ohne ein Datum zu nennenBestanden1.00keine
lead_time_no_tokenOffene Klasse, besteht konstruktionsbedingtAntwort verspricht die Lieferung „innerhalb Ihrer Lieferzeit“, ohne ein Datum zu nennenBestanden1.00keine
vague_week_promiseOffene Klasse, besteht konstruktionsbedingtAntwort verspricht den Versand „übernächste Woche“Bestanden1.00keine
reply_cites_customer_emailKorrekte AlternativeAntwort zitiert die E-Mail des Kunden, einschließlich ihrer TermineBestanden1.00keine
reply_dates_in_wordsKorrekte AlternativeAntwort nennt ihre Termine in WortenBestanden1.00keine
reply_with_total_and_slash_dateKorrekte AlternativeAntwort nennt den Stückpreis, die Positionssumme, die Rüstkosten und das Datum mit SchrägstrichenBestanden1.00keine
referenceReferenzlösungUnsere Referenzantwort, nach einem frischen ResetBestanden1.00keine

Unser Test-Harness hat außerdem 29 feindliche Eingaben aus einem korrekten Endzustand erzeugt: 10 mit einer gelöschten Tabelle, 10 mit umbenannter erster Spalte einer Tabelle, eine mit durch Text überschriebener Datenbank, 6 mit einer durch ein Verzeichnis ersetzten Eingabe, 2 mit einer durch ein Verzeichnis ersetzten Ausgabe. Jede lieferte einen Bericht mit Reward null ohne Verifier-Fehler.

Ergebnisse über das gesamte Demonstrations-Harness.

Was die Zahlen bedeuten

Score. Null, wenn die Einreichung abgelehnt wird oder ein Gate scheitert. Andernfalls der gewichtete Anteil erfüllter Prüfungen: die Gewichte der bestandenen Prüfungen, geteilt durch die Summe aller Gewichte. Er dient der Diagnose, wo eine Antwort danebenlag.

Strikt. Nur wahr, wenn jedes Gate und jede Prüfung besteht. Das ist der Trainings-Reward, den wir empfehlen: Der Score belohnt eine halb erledigte Arbeit, wie die Zeile zeigt, die die Angebotsdatei geschrieben und die Datenbank nie aktualisiert hat, mit 0.76.

Kritisch. Ein separates Feld, wahr, wenn jede als kritisch markierte Prüfung besteht. Es wird berichtet, nie als Reward verwendet.

Gemeinsame Grundsätze der Verifier.

Was der Reset garantiert

Der Reset schreibt den Workspace per Code, ohne Netzwerk und ohne Uhr. Zwei frische Resets erzeugen denselben Digest, und ein benutzter Workspace wird darauf zurückgesetzt, sodass ein Käufer auf seinem eigenen Rechner prüfen kann, dass sein Ausgangszustand derjenige ist, gegen den der Verifier ausgeführt wurde. Der Digest hasht die Dateien und einen SQL-Dump der Datenbank; übereinstimmende Digests belegen also übereinstimmenden logischen Inhalt, nicht identische Bytes.

Was ein Praktiker entscheidet

Wo die Branche mehr als eine Konvention kennt, kodiert der Verifier eine. Bei einer beauftragten Aufgabe trifft ein Praktiker, der diese Arbeit ausübt, die Wahl, und wir berichten, ob sie die Antwort verändert. Offene Fragen für diese Aufgabe:

  • Sind Produktionstage im Fertigungsplan Kalendertage oder Arbeitstage? Der früheste Liefertermin (C6) und die Antwort (C10) ändern sich je nachdem.
  • Soll die Antwort Fracht-, Gültigkeits- und Zahlungsbedingungen enthalten? Derzeit enthält sie keine, und keine Prüfung verlangt sie.

Die anderen fünf Aufgaben haben ihre eigenen offenen Konventionen, von der Frage, ob die Bestätigung eines Namens in einem bewerteten Gespräch als Abfrage einer persönlichen Angabe zählt, bis dazu, wie Trockentonnen gerundet werden, bevor eine Ladung bepreist wird. Jede ist im Aufgabendatensatz aufgeführt, den ein Käufer erhält.

Was der Verifier noch nicht erkennt

Wir greifen unsere eigenen Verifier an. Am 7. November 2026 erzeugten drei modellbasierte Reviews der ersten Versionen falsche Endzustände, und zwei Verifier akzeptierten sie mit vollem Score. Wir haben sie reproduziert und am 8. November 2026 alle sechs Verifier gegen rund 220 Einzeländerungen an einem korrekten Endzustand getestet. Die gefundenen Klassen und ihr Stand bei dieser Aufgabe in den Gate-Läufen vom 10. November 2026:

Klasse fehlerhafter ArbeitStand bei dieser Aufgabe, 10. November 2026
Die Antwort widerspricht der strukturierten Ausgabe: Sie verspricht einen Termin, den der Fertigungsplan nicht einhalten kann, während die Angebotsdatei den richtigen Termin enthältErkannt seit Version 0.1: C10, kritisch, und der Testfall contradictory_reply_date. Version 1.0 liest zusätzlich die Betreffzeile und weitere Datumsformen, darunter Datumsangaben mit Schrägstrichen und relative Angaben, und lässt eine korrekte Antwort bestehen, die die E-Mail des Kunden zitiert, die Version 0.1 fälschlich durchfallen ließ
Identitätsfelder der Ausgabezeile umgeschrieben, während die geprüften Beträge korrekt bleibenErkannt seit Version 1.0 durch Gate 3: wrong_customer_on_row, wrong_sku_on_row
Zusätzliche Zeilen in die Ausgabetabelle eingefügtErkannt seit Version 1.0 durch Gate 3: duplicate_quote_row
Historische oder benachbarte Zeilen gelöscht oder beschädigtErkannt seit Version 1.0 durch Gate 3: neighbour_quote_deleted, wobei dem Ausgangszustand eine zweite Angebotszeile hinzugefügt wurde, damit es etwas zu löschen gibt
Beträge, die um bis zu eine Einheit abweichen, bestehen eine Prüfung, deren Text „centgenau“ sagtBehoben in Version 1.0: C4, C9 und C12 vergleichen centgenau; price_one_cent_off besteht strikt nicht, mit 0.80
Der Reset eines benutzten Workspace scheitert, statt den Ausgangszustand wiederherzustellenBehoben in Version 1.0: Ein benutzter Workspace wird auf den aufgezeichneten Digest zurückgesetzt
Das Löschen der Ausgabetabelle bringt den Verifier zum Absturz, statt eine Ablehnung zu liefernBehoben in Version 1.0: drop_quotes_table und 29 feindliche Eingaben liefern eine strukturierte Ablehnung oder null
Der Reset wurde als bytegenau identisch beschriebenFormulierung korrigiert: Der Digest belegt übereinstimmenden logischen Inhalt
Jeder Reward-Hack-Testfall prüfte nur die obersten Gates; keiner berührte die veränderbare AusgabetabelleBehoben in Version 1.0: Sechs Testfälle schreiben in die quotes-Tabelle, jeder mit null
Die Antwort verspricht einen früheren Termin in einer Form, die der Parser nicht las: Bindestriche, ein abgekürzter Monat mit Bindestrichen, Jahr vorangestellt mit SchrägstrichenErkannt seit Version 1.0.1: dash_date_promise, hyphen_month_promise, iso_slash_promise. Drei Versprechen ganz ohne Datum sind als Testfälle der offenen Klasse festgehalten, die konstruktionsbedingt bestehen: requested_date_no_token, lead_time_no_token, vague_week_promise
Die Antwort stellt das Datum vor das Versprechen oder bietet die internen Kosten des Werks als Rabatt anErkannt seit Version 1.0.2: date_before_verb und cost_as_discount, beide scheitern an C10
Die Angebotszeile ändert sich, ohne festzuhalten, wer was geändert hat, oder die Historie wird passend umgeschriebenErkannt seit Version 1.0.3: C13, kritisch, und der Testfall stage_changed_without_history; die Historientabelle ist durch Gate 4 geschützt, wobei history_rewritten, history_on_other_quote und history_backdated jeweils null erzielen
Noch nicht gelesen: Fließtext in einer erforderlichen Ausgabe, der ihren eigenen korrekten Zahlen widerspricht, etwa eine Antwort, die den genannten Preis verneint, eine Begründungsspalte, ein zusätzlicher erzählender Schlüssel oder ein Bericht neben korrekten TabellenOffen, konstruktionsbedingt. Keine Prüfung liest diesen Text bisher, und ein handgeschriebener Testfall kann die Lücke nicht schließen. Die Blindbewertung eines Praktikers ist die einzige Prüfung dafür

Jede Klasse, die diese Reviews und unsere eigenen gefunden haben, ist jetzt ein benannter Testfall, und jeder erzielt in den Gate-Läufen vom 10. November 2026 den geforderten Score. Handgeschriebene Testfälle sind ein Regressionstest, keine Garantie: Sie belegen, dass jeder falsche Endzustand, an den wir gedacht haben, den richtigen Score erhält, und nichts über die, an die wir nicht gedacht haben. Jede neue Klasse wird an dem Tag, an dem sie gefunden wird, zu einem benannten Testfall.

Änderungsprotokoll

  1. Bis 7. November 2026. Version 0 geschrieben und ausgeführt. Zwei aktuelle Modelle eines Anbieters haben sie in je einem Rollout gelöst. Ein modellbasiertes Review des Verifiers stellte fest, dass die Antwortprüfung das Versprechen eines Liefertermins akzeptierte, den der Fertigungsplan nicht einhalten konnte.
  2. 8. November 2026. Version 0.1: C10 parst die Termine im Text der Antwort und ist kritisch; der Testfall contradictory_reply_date hinzugefügt, besteht strikt nicht, mit 0.96.
  3. 8. November 2026. Version 1.0: Schutz der quotes-Tabelle auf Feldebene (Gate 3), strukturierte Ablehnung einer nicht bewertbaren Einreichung, centgenauer Preisvergleich, eine strengere Antwortprüfung, die auch eine korrekte Antwort bestehen lässt, die Version 0.1 fälschlich durchfallen ließ, zwei neue Prüfungen (C11, C12), 27 neue Testfälle für Reward Hacks und plausible Fehler, zwei korrekte Alternativen und eine historische Angebotszeile im Ausgangszustand. Die Referenzantwort ist unverändert, daher behalten die Modellversuche mit Version 0 ihre Gültigkeit. Diese Seite veröffentlicht.
  4. 8. November 2026. Version 1.0.1: Die Antwortprüfung liest Datumsangaben mit Bindestrichen, mit Tag und abgekürztem Monat sowie mit vorangestelltem Jahr und Schrägstrichen, jeweils mit einem plausiblen Fehler. Drei Versprechen ohne Datum sind als Testfälle der offenen Klasse festgehalten, die konstruktionsbedingt bestehen. Neuer Modul-Hash. Die Referenzantwort ist unverändert.
  5. 8. November 2026. Version 1.0.2: Die Antwortprüfung liest ein vor das Versprechen gestelltes Datum und lässt eine Antwort, die die internen Kosten des Werks als Rabatt anbietet, nicht mehr bestehen. Eine weitere korrekte Alternative. Die Referenzantwort ist unverändert.
  6. 8. November 2026. Version 1.0.3: Der Ausgangszustand erhält die Nachfrage-E-Mail des Kunden und eine Historientabelle mit vier verfassten Zeilen, auf Feldebene durch Gate 4 geschützt. Verfahren und Anweisung verlangen, dass jede Änderung an der Angebotszeile protokolliert wird, und C13, kritisch, prüft dies. Vier neue Testfälle. Preise, Termine und das Referenzangebot sind unverändert; die Gewichte ergeben jetzt in Summe 25, daher hat sich jeder Score verschoben.

Neue Ergebnisse werden mit ihrem Datum veröffentlicht, ob bestanden oder nicht.

Selbst ausführen

Zuerst ein 20-minütiges Gespräch: Wir führen diese Aufgabe vor Ihrem Engineer aus, von einem Reset über einen Reward Hack und einen plausiblen Fehler bis zur Referenzlösung. Unter einer unterzeichneten gegenseitigen NDA erhält Ihr Engineer anschließend den eigenständigen Verifier mit Befehlen für Seed, Reset, Score und Selbsttest in Python 3.11 ohne Pakete von Drittanbietern, zusammen mit dem Workspace, dem Referenz-Endzustand und den Berichten des Verifiers zum unberührten Workspace und zur Referenzlösung. Das erneute Ausführen aller oben genannten Testfälle auf Ihrem eigenen Rechner ist der Abnahmetest für einen ersten Auftrag, den wir innerhalb von zehn Werktagen nach Erhalt Ihrer schriftlichen Anforderungen liefern.

Beispielpaket anfordern Walkthrough buchen