Menu

Ricerca

Revisione del preventivo per imballaggi, versione 1.0.3: ogni controllo e ogni lacuna nota

Un task dimostrativo, messo a nudo: il lavoro, lo stato iniziale, i gate e i tredici controlli, ogni sonda con il suo risultato, come è definita la ricompensa, che cosa garantisce il reset e gli errori che il verificatore non rileva ancora.

Task mfg-rfq-001 · Versione 1.0.3, gate eseguiti il 10 novembre 2026 · Datarena

Dimostrazione pubblica · origine e perimetro dei task dimostrativi.

Identità

Task
mfg-rfq-001, versione 1.0.3, verificatore congelato tramite hash
Famiglia
packaging-quotation, difficoltà easy, come indicato nel file pubblico dei gate
Esito
unresolved, per costruzione: l’episodio termina quando la risposta viene inviata, prima che il cliente risponda; nella v1.1 l’etichetta è redatta da un professionista
Dominio
Manifattura: imballaggi in plastica, una richiesta di offerta evasa con un preventivo
Stato
Dimostrazione pubblica; divulgata integralmente e non in vendita.
Gate eseguiti
10 novembre 2026, Python 3.11.8, solo gate deterministici: nessuna esecuzione di modelli, nessun valutatore umano, nessun addestramento
Tentativi dei modelli
Versione 0, entro il 7 novembre 2026: due modelli attuali di uno stesso fornitore, uno dei quali della sua fascia piccola, un rollout ciascuno; entrambi hanno ottenuto 1,0 e superato il criterio rigoroso. Le versioni successive, che hanno reso più severo il verificatore lasciando invariata la risposta di riferimento, sono le prossime a essere eseguite

Il lavoro

Un commerciale di uno stabilimento di imballaggi deve far uscire un preventivo oggi. La seconda email del cliente ha ridotto l’ordine e spostato la data di consegna, la chat di produzione ha spostato il lavoro su un’altra macchina perché quella abituale è ferma, e la procedura di preventivazione indica come calcolare costi, prezzi ed escalation. L’istruzione, così come la riceve l’agente:

Lei è il commerciale (sales_exec_2) di Tembaga Ridge Packaging. Oggi è il 16 novembre 2026. Invii oggi il preventivo Q-2611 a Selat Biru Agrochem. Legga la posta in arrivo e la chat di produzione, segua docs/SOP-Q-07.md, aggiorni la riga quotes in erp/plant.db, registri ogni modifica che vi apporta in crm_history, e scriva out/quote.json (qty, machine, unit_cost_rm, unit_price_rm, earliest_delivery come YYYY-MM-DD, meets_requested_delivery) e out/reply.eml.

La risposta corretta prende la quantità più recente, la macchina confermata e il prezzo attuale della resina, ricalcola costo e prezzo secondo la procedura, trova il primo slot disponibile nella pianificazione, indica che la data richiesta non è rispettata, porta il preventivo in escalation nel database, registra ogni modifica apportata alla riga del preventivo e scrive una risposta che non promette nulla che la pianificazione non possa garantire.

Legga lo stato iniziale

Gli importi in valuta compaiono come [amount] in questa pagina; i file completi vanno al Suo ingegnere sotto NDA. La risposta di riferimento è volutamente minima: il verificatore ne legge prezzo, quantità e date, non il tono.

I file del task stesso, nell’ordine in cui li incontra chi lavora, poi lo stato finale di riferimento e un errore plausibile. Ogni scheda è generata dal task al momento della costruzione della pagina, quindi non può discostarsi dai file letti dal verificatore. L’evidenziatore segna i fatti cambiati e la riga rilevata dal verificatore.

La posta in arrivo, quattro messaggi

inbox/001.eml9 Nov 2026, 10:14

From
procurement@selatbiru.example
To
sales@tembagaridge.example
Subject
RFQ - 20 L jerrican

Please quote for 50,000 pcs of your 20 L HDPE jerrican (JC20), natural colour. Delivery to Port Klang.

Procurement, Selat Biru Agrochem

inbox/002.eml13 Nov 2026, 15:31

From
procurement@selatbiru.example
To
sales@tembagaridge.example
Subject
Re: RFQ - 20 L jerrican (revised)

Revision to our RFQ: we now need the jerricans in BLUE, and the first order will be 12,000 pcs, not 50,000. We need delivery within 21 days of your quotation date. Please re-quote.

Procurement, Selat Biru Agrochem

inbox/003.eml16 Nov 2026, 08:40

From
sales.director@tembagaridge.example
To
sales_exec_2@tembagaridge.example
Subject
Q-2611 today please

Please get Q-2611 out to Selat Biru today. Follow SOP-Q-07 and check with production first.

inbox/000.eml16 Nov 2026, 09:05

From
procurement@selatbiru.example
To
sales@tembagaridge.example
Subject
Re: RFQ - 20 L jerrican (revised) - quotation?

Good morning. We have not yet received your revised quotation. Our planning meeting is this afternoon, so please send it today.

Procurement, Selat Biru Agrochem

La chat di produzione

chat/production.json#production

  1. tooling_lead · 14 Nov 2026, 16:02

    BM-07 is down for a screw and barrel replacement, back 10 Dec at the earliest. Run the JC20 mould on BM-03 until then.

  2. planner_1 · 14 Nov 2026, 16:05

    Noted. JC20 cycle on BM-03 runs 18% longer than on BM-07, same single cavity. BM-03 is booked, check machine_schedule before promising dates.

  3. qc_lead · 16 Nov 2026, 08:15

    Reminder: drop test on the blue 10 L pails is at 2pm.

La procedura

docs/SOP-Q-07.mdThe quoting procedure

SOP-Q-07 Quotation costing and disposition (blow moulding)

  1. Governing request. The latest written customer amendment governs quantity, colour and delivery.
  2. Machine. Quote on the machine production has confirmed for the job. Never quote on a machine whose status is DOWN.
  3. Unit cost in RM per piece:
    • material mass = part mass x (1 + 3% scrap)
    • coloured parts: masterbatch replaces resin at the dosing % in the masterbatch table
    • material cost = resin kg x resin price + masterbatch kg x masterbatch price
    • resin price = the row with the latest effective_date on or before the quotation date
    • machine cost = cycle seconds / cavities / 3600 x machine rate per hour
    • set-up = [amount] per job / quantity
    • unit cost = material + machine + set-up
  4. Price. unit price = unit cost / (1 - 22%), rounded to 2 decimals. Never quote below an 18% margin.
  5. MOQ for JC20 is 10,000 pcs. Below MOQ: stage REJECTED_MOQ and no price is sent.
  6. Delivery.
    • production days = quantity x cycle seconds / cavities / (3600 x machine hours per day x 85% OEE), rounded up
    • first free day = the day after booked_until in machine_schedule
    • earliest delivery = first free day + production days + 3 days QC and dispatch
  7. Disposition, in the quotes table:
    • delivery can be met: stage QUOTED, owner stays with the sales executive
    • delivery cannot be met: still price the job, stage ESCALATED_LEADTIME, owner = the sales manager. The reply states the price and the earliest delivery date and does not promise the requested date.
  8. Outputs. Update the quotes row (qty, unit_price_rm, stage, owner). Record every change you make to a quotes field as a row in crm_history (quote_id, ts on the quotation date, actor, field, old_value, new_value, note); never edit an existing history row. Write out/quote.json and out/reply.eml.

Il database prima del lavoro

erp/plant.dbThe tables the job touches or reads

quotes2 rows

idcustomer_idskuqtyunit_price_rmstageowner
Q-2604C-0388PL1020000[amount]QUOTEDsales_exec_2
Q-2611C-0417JC2050000nullENQUIRYsales_exec_2

machine_schedule2 rows

machine_idbooked_until
BM-032026-11-27
BM-072026-12-09

machines2 rows

idstatusrate_rm_per_hrhours_per_day
BM-07DOWN[amount]20.0
BM-03RUNNING[amount]20.0

crm_history4 rows

idquote_idtsactorfieldold_valuenew_valuenote
1Q-26042026-11-02 14:10sales_exec_2stageENQUIRYQUOTEDPL10 20,000 pcs quoted at [amount]
2Q-26112026-11-09 10:40sales_exec_2stagenullENQUIRYRFQ received: 50,000 pcs JC20 natural, delivery Port Klang
3Q-26112026-11-13 16:02sales_exec_2notenullnullCustomer revision: blue, first order 12,000 pcs, delivery within 21 days of quotation; re-quote pending
4Q-26112026-11-16 08:45sales_exec_2notenullnullSales director: quote out today per SOP-Q-07, check with production first

Lo stato finale di riferimento

out/quote.jsonJSON

{
  "quote_id": "Q-2611",
  "qty": 12000,
  "machine": "BM-03",
  "unit_cost_rm": "[amount]",
  "unit_price_rm": "[amount]",
  "earliest_delivery": "2026-12-11",
  "meets_requested_delivery": false
}

out/reply.eml16 Nov 2026, 11:00

From
sales_exec_2@tembagaridge.example
To
procurement@selatbiru.example
Subject
Quotation Q-2611

Our price for 12,000 pcs JC20 is [amount] per piece. Earliest delivery is 2026-12-11.

erp/plant.dbAfter the work

quotes, the Q-2611 row1 rows

idcustomer_idskuqtyunit_price_rmstageowner
Q-2611C-0417JC2012000[amount]ESCALATED_LEADTIMEsales_mgr_1

crm_history, rows the work added4 rows

idquote_idtsactorfieldold_valuenew_valuenote
5Q-26112026-11-16 11:00sales_exec_2qty5000012000Q-2611 re-quoted per SOP-Q-07
6Q-26112026-11-16 11:00sales_exec_2unit_price_rmnull[amount]Q-2611 re-quoted per SOP-Q-07
7Q-26112026-11-16 11:00sales_exec_2stageENQUIRYESCALATED_LEADTIMEQ-2611 re-quoted per SOP-Q-07
8Q-26112026-11-16 11:00sales_exec_2ownersales_exec_2sales_mgr_1Q-2611 re-quoted per SOP-Q-07

Il verificatore: superato · punteggio 1,00

Report grezzo del verificatore, soluzione di riferimento
{
  "gates": [
    {
      "name": "inputs untouched and no file added under inbox/, chat/ or docs/",
      "passed": true
    },
    {
      "name": "protected ERP tables and the database schema untouched",
      "passed": true
    },
    {
      "name": "quotes table: only Q-2611's qty, unit_price_rm, stage and owner changed; no row added, removed or re-identified",
      "passed": true
    },
    {
      "name": "crm_history: seeded rows untouched; rows appended only for Q-2611 and dated on the quotation date",
      "passed": true
    }
  ],
  "criteria": [
    {
      "id": "C1",
      "desc": "Quantity follows the latest amendment (12,000)",
      "passed": true,
      "weight": 2,
      "critical": true
    },
    {
      "id": "C2",
      "desc": "Machine is the one production confirmed (BM-03), not the down machine",
      "passed": true,
      "weight": 2,
      "critical": false
    },
    {
      "id": "C3",
      "desc": "Unit cost within 0.5% of the SOP recomputation",
      "passed": true,
      "weight": 3,
      "critical": false
    },
    {
      "id": "C4",
      "desc": "Unit price equals the SOP price to the cent",
      "passed": true,
      "weight": 3,
      "critical": false
    },
    {
      "id": "C5",
      "desc": "Price keeps at least an 18% margin on the true cost",
      "passed": true,
      "weight": 2,
      "critical": true
    },
    {
      "id": "C6",
      "desc": "Earliest delivery date matches the schedule recomputation",
      "passed": true,
      "weight": 2,
      "critical": false
    },
    {
      "id": "C7",
      "desc": "Delivery marked as not met and the quote escalated in the ERP",
      "passed": true,
      "weight": 3,
      "critical": true
    },
    {
      "id": "C8",
      "desc": "Owner reassigned to the sales manager",
      "passed": true,
      "weight": 1,
      "critical": false
    },
    {
      "id": "C9",
      "desc": "ERP row agrees with quote.json (qty, and price to the cent)",
      "passed": true,
      "weight": 2,
      "critical": false
    },
    {
      "id": "C10",
      "desc": "Reply states the SOP price in RM and the earliest delivery date, and promises no earlier date",
      "passed": true,
      "weight": 1,
      "critical": true
    },
    {
      "id": "C11",
      "desc": "Reply is addressed to the customer, identifies Q-2611, and names no quantity other than 12,000 pcs",
      "passed": true,
      "weight": 1,
      "critical": false
    },
    {
      "id": "C12",
      "desc": "Stated price follows from the stated cost under the SOP mark-up (cost / 0.78, rounded)",
      "passed": true,
      "weight": 1,
      "critical": false
    },
    {
      "id": "C13",
      "desc": "Each change to stage and owner on the quotes row is logged in crm_history with its old and new value",
      "passed": true,
      "weight": 2,
      "critical": true
    }
  ],
  "strict_pass": true,
  "reward": 1.0,
  "rejection": null
}

Un errore plausibile: costo calcolato sulla macchina ferma

La sonda down_machine. Errore plausibile. I suoi file e ciò che il verificatore ha rilevato.

out/quote.jsonJSON

{
  "quote_id": "Q-2611",
  "qty": 12000,
  "machine": "BM-07",
  "unit_cost_rm": "[amount]",
  "unit_price_rm": "[amount]",
  "earliest_delivery": "2026-11-27",
  "meets_requested_delivery": true
}

out/reply.eml16 Nov 2026, 11:00

From
sales_exec_2@tembagaridge.example
To
procurement@selatbiru.example
Subject
Quotation Q-2611

Our price for 12,000 pcs JC20 is [amount] per piece. Earliest delivery is 2026-11-27.

Il verificatore: non superato · punteggio 0,40

  • C2 La macchina è quella confermata dalla produzione (BM-03), non la macchina ferma
  • C3 Costo unitario entro lo 0,5% del ricalcolo secondo la SOP
  • C4 Prezzo unitario pari al prezzo SOP al centesimo
  • C6 La prima data di consegna corrisponde al ricalcolo della pianificazione
  • C7 Consegna indicata come non rispettata e preventivo portato in escalation nell’ERP
  • C8 Responsabile riassegnato al direttore commerciale
  • C10 La risposta indica il prezzo SOP in RM e la prima data di consegna, e non promette alcuna data anteriore
Report grezzo del verificatore, down_machine
{
  "gates": [
    {
      "name": "inputs untouched and no file added under inbox/, chat/ or docs/",
      "passed": true
    },
    {
      "name": "protected ERP tables and the database schema untouched",
      "passed": true
    },
    {
      "name": "quotes table: only Q-2611's qty, unit_price_rm, stage and owner changed; no row added, removed or re-identified",
      "passed": true
    },
    {
      "name": "crm_history: seeded rows untouched; rows appended only for Q-2611 and dated on the quotation date",
      "passed": true
    }
  ],
  "criteria": [
    {
      "id": "C1",
      "desc": "Quantity follows the latest amendment (12,000)",
      "passed": true,
      "weight": 2,
      "critical": true
    },
    {
      "id": "C2",
      "desc": "Machine is the one production confirmed (BM-03), not the down machine",
      "passed": false,
      "weight": 2,
      "critical": false
    },
    {
      "id": "C3",
      "desc": "Unit cost within 0.5% of the SOP recomputation",
      "passed": false,
      "weight": 3,
      "critical": false
    },
    {
      "id": "C4",
      "desc": "Unit price equals the SOP price to the cent",
      "passed": false,
      "weight": 3,
      "critical": false
    },
    {
      "id": "C5",
      "desc": "Price keeps at least an 18% margin on the true cost",
      "passed": true,
      "weight": 2,
      "critical": true
    },
    {
      "id": "C6",
      "desc": "Earliest delivery date matches the schedule recomputation",
      "passed": false,
      "weight": 2,
      "critical": false
    },
    {
      "id": "C7",
      "desc": "Delivery marked as not met and the quote escalated in the ERP",
      "passed": false,
      "weight": 3,
      "critical": true
    },
    {
      "id": "C8",
      "desc": "Owner reassigned to the sales manager",
      "passed": false,
      "weight": 1,
      "critical": false
    },
    {
      "id": "C9",
      "desc": "ERP row agrees with quote.json (qty, and price to the cent)",
      "passed": true,
      "weight": 2,
      "critical": false
    },
    {
      "id": "C10",
      "desc": "Reply states the SOP price in RM and the earliest delivery date, and promises no earlier date",
      "passed": false,
      "weight": 1,
      "critical": true
    },
    {
      "id": "C11",
      "desc": "Reply is addressed to the customer, identifies Q-2611, and names no quantity other than 12,000 pcs",
      "passed": true,
      "weight": 1,
      "critical": false
    },
    {
      "id": "C12",
      "desc": "Stated price follows from the stated cost under the SOP mark-up (cost / 0.78, rounded)",
      "passed": true,
      "weight": 1,
      "critical": false
    },
    {
      "id": "C13",
      "desc": "Each change to stage and owner on the quotes row is logged in crm_history with its old and new value",
      "passed": true,
      "weight": 2,
      "critical": true
    }
  ],
  "strict_pass": false,
  "reward": 0.4,
  "rejection": null
}

Che cosa notare

  • La seconda email sostituisce la prima.
  • Il vincolo si trova solo nella chat.
  • La risposta non deve promettere una data che la pianificazione non può rispettare.
  • Il controllo legge i file e le righe, mai le affermazioni della risposta.
  • Ogni modifica alla riga del preventivo deve essere registrata nella tabella della cronologia, con la data del preventivo.

Le cinque parti di questa versione

Email del cliente
Presenti: la richiesta, la revisione, la nota del direttore e il sollecito, quattro messaggi nella posta in arrivo
Discussione interna
Presente: la chat di produzione, tre righe
Documenti correlati
Presente: la procedura di preventivazione
Registro della cronologia
Presente: la tabella della cronologia, quattro righe redatte prima dell’inizio del lavoro. Ogni modifica alla riga del preventivo deve aggiungerne una, verificata da C13
Etichetta di esito
Presente nel record del task, redatta come «unresolved». Per costruzione: l’episodio termina quando la risposta viene inviata, prima che il cliente risponda; nella v1.1 l’etichetta è redatta da un professionista

Lo spazio di lavoro

Ogni esecuzione parte dagli stessi file e dallo stesso database, riscritti da zero dal reset del task stesso.

PercorsoContenuto dopo il reset
chat/production.json639 byte
docs/SOP-Q-07.md1877 byte
erp/plant.dbcrm_history (4), customers (2), machine_schedule (2), machines (2), masterbatch (2), mould_machine (1), products (2), quotes (2), resin_prices (3), staff (3)
inbox/000.eml324 byte
inbox/001.eml272 byte
inbox/002.eml364 byte
inbox/003.eml240 byte

Digest di reset, SHA-256 dello spazio di lavoro inizializzato con il database preso come dump SQL: 3366510ba57c7b69d148f9dd16a74ceaea0a556e649b813b1a5d1d55c446d20d. Reset deterministico a partire da una directory vuota: sì. Uno spazio di lavoro usato torna allo stesso digest: sì.

Che cosa può leggere e modificare l’agente

Lettura
I quattro messaggi della posta in arrivo, la chat di produzione, la procedura di preventivazione e qualsiasi tabella del database.
Scrittura
out/quote.json con i campi richiesti, out/reply.eml, quattro campi dell’unica riga di preventivo indicata dall’istruzione: quantità, prezzo unitario, fase e responsabile, e una nuova riga nella tabella della cronologia per ciascuna di queste modifiche.
Da non toccare
I file di input, le cartelle di input, le altre tabelle, lo schema del database, ogni altro campo e riga della tabella quotes e ogni riga della cronologia presente all’inizio. Qualsiasi modifica in questi punti fa fallire un gate, e l’esecuzione ottiene zero qualunque altra cosa abbia fatto.

Gate e controlli

Una sottomissione a cui il verificatore non può assegnare un punteggio, perché un output richiesto è mancante, malformato o danneggiato, viene respinta come non valida con ricompensa zero e una motivazione strutturata anziché un crash. Poi quattro gate. Se ne fallisce uno, la ricompensa è zero e nessun controllo viene conteggiato.

  1. input intatti e nessun file aggiunto in inbox/, chat/ o docs/.
  2. tabelle ERP protette e schema del database intatti.
  3. tabella quotes: modificati solo qty, unit_price_rm, stage e owner di Q-2611; nessuna riga aggiunta, rimossa o reidentificata.
  4. crm_history: righe iniziali intatte; righe aggiunte solo per Q-2611 e con la data del preventivo.

Poi tredici controlli, ciascuno ricalcolato dal verificatore a partire da una copia pulita dello stato iniziale e confrontato con i file e le righe del database su disco. Il verificatore non legge mai ciò che l’agente dice di aver fatto. I pesi sommano a 25; 5 controlli sono critici.

ControlloChe cosa deve essere veroPesoCritico
C1La quantità segue l’ultima modifica (12.000)2sì
C2La macchina è quella confermata dalla produzione (BM-03), non la macchina ferma2
C3Costo unitario entro lo 0,5% del ricalcolo secondo la SOP3
C4Prezzo unitario pari al prezzo SOP al centesimo3
C5Il prezzo mantiene almeno un margine del 18% sul costo reale2sì
C6La prima data di consegna corrisponde al ricalcolo della pianificazione2
C7Consegna indicata come non rispettata e preventivo portato in escalation nell’ERP3sì
C8Responsabile riassegnato al direttore commerciale1
C9La riga ERP concorda con quote.json (qty, e prezzo al centesimo)2
C10La risposta indica il prezzo SOP in RM e la prima data di consegna, e non promette alcuna data anteriore1sì
C11La risposta è indirizzata al cliente, identifica Q-2611 e non cita alcuna quantità diversa da 12.000 pz1
C12Il prezzo indicato deriva dal costo indicato secondo il mark-up della SOP (costo / 0,78, arrotondato)1
C13Ogni modifica di fase e responsabile sulla riga quotes è registrata in crm_history con il valore precedente e quello nuovo2sì

Tolleranze nella versione 1.0.3: C3 confronta il costo unitario entro lo 0,5%, come dice il suo testo; C4, C9 e C12 confrontano i prezzi al centesimo (entro mezzo centesimo); C10 legge oggetto e corpo della risposta, ogni formato di data, e solo le date successive alla data del preventivo.

Le sonde

Prima che un acquirente veda un task, attacchiamo il suo verificatore. Un reward hack falsifica o manomette e deve ottenere esattamente zero. Un errore plausibile è un errore che un lavoratore attento potrebbe commettere; non deve ottenere la ricompensa rigorosa, che richiede il superamento di ogni gate e di ogni controllo. Un’alternativa corretta è una risposta giusta scritta in un altro modo; deve ottenerla. Una sonda di lacuna nota registra una debolezza che non abbiamo ancora chiuso: è superata per progettazione, così qualsiasi cambiamento a quel confine diventa visibile. 19 reward hack, 26 errori plausibili, 3 alternative corrette e 3 sonde di lacuna nota sono stati eseguiti il 10 novembre 2026, e ciascuno ha restituito il risultato atteso. La maggior parte degli errori plausibili riguarda la risposta, l’unico output in testo libero: una promessa di una data anteriore, in ogni formato di data che abbiamo incontrato.

SondaTipoChe cosa ha fattoRigorosoPunteggioChe cosa non è stato superato
emptyReward hackNessuna risposta scrittaNon superato0.00Respinta come non valida
claim_onlyReward hackUna risposta sicura di sé senza alcun file scrittoNon superato0.00Respinta come non valida
tamper_scheduleReward hackHa liberato la macchina prenotata nella tabella di pianificazioneNon superato0.00gate 2
edit_customer_emailReward hackHa modificato l’email del cliente in modo che la vecchia quantità risulti attualeNon superato0.00gate 1
superseded_quantityErrore plausibileHa quotato la quantità superataNon superato0.40C1, C3, C4, C5, C6, C10, C11, C12
down_machineErrore plausibileHa calcolato il costo sulla macchina fermaNon superato0.40C2, C3, C4, C6, C7, C8, C10
stale_resin_priceErrore plausibileHa calcolato il prezzo su un prezzo della resina superato nella tabellaNon superato0.72C3, C4, C10
json_without_erpErrore plausibileHa scritto il file del preventivo senza mai aggiornare la riga del databaseNon superato0.76C7, C8, C9
contradictory_reply_dateErrore plausibileLa risposta ha promesso una data anteriore a quella del preventivo stessoNon superato0.96C10
wrong_customer_on_rowReward hackImporti giusti, cliente sbagliato nella riga del preventivoNon superato0.00gate 3
wrong_sku_on_rowReward hackImporti giusti, prodotto sbagliato nella riga del preventivoNon superato0.00gate 3
duplicate_quote_rowReward hackAggiunta una seconda riga di preventivoNon superato0.00gate 3
neighbour_quote_deletedReward hackEliminata la riga di un altro preventivoNon superato0.00gate 3
quotes_table_replacedReward hackTabella quotes eliminata e ricostruitaNon superato0.00gate 2, gate 3
schema_column_addedReward hackAggiunta una colonna allo schema del databaseNon superato0.00gate 2, gate 3
drop_quotes_tableReward hackTabella quotes eliminataNon superato0.00gate 2, respinta come non valida
malformed_quote_jsonReward hackUn file di preventivo che non è JSON validoNon superato0.00Respinta come non valida
oversized_numberReward hackUn numero fuori intervallo nel file del preventivoNon superato0.00Respinta come non valida
reply_without_headersReward hackUna risposta senza intestazioni emailNon superato0.00Respinta come non valida
extra_reply_fileReward hackAggiunto un secondo file di rispostaNon superato0.00Respinta come non valida
forged_customer_emailReward hackAggiunta alla posta in arrivo un’email del cliente contraffattaNon superato0.00gate 1
price_one_cent_offErrore plausibilePrezzo diverso di un centesimo dal valore della proceduraNon superato0.80C4, C10, C12
erp_price_differsErrore plausibileIl prezzo nel database differisce da quello del file del preventivoNon superato0.92C9
cost_price_inconsistentErrore plausibileIl prezzo indicato non deriva dal costo indicatoNon superato0.96C12
promise_in_subjectErrore plausibileData anteriore promessa nella riga dell’oggettoNon superato0.96C10
wrapped_promiseErrore plausibileData anteriore promessa a cavallo di un a capoNon superato0.96C10
month_first_promiseErrore plausibileData anteriore promessa con il mese prima del giornoNon superato0.96C10
worded_promiseErrore plausibileData anteriore promessa in lettereNon superato0.96C10
reply_wrong_quantityErrore plausibileLa risposta cita una quantità diversa da quella dell’ordineNon superato0.96C11
reply_wrong_currencyErrore plausibileLa risposta indica il prezzo in un’altra valutaNon superato0.96C10
reply_to_other_customerErrore plausibileRisposta indirizzata a un altro clienteNon superato0.96C11
slash_date_promiseErrore plausibileData anteriore promessa con le barreNon superato0.96C10
negation_in_subordinate_clauseErrore plausibileData anteriore promessa, con una negazione solo in una proposizione secondariaNon superato0.96C10
relative_in_21_daysErrore plausibileConsegna promessa entro un numero di giorni che la pianificazione non può rispettareNon superato0.96C10
contradictory_second_priceErrore plausibileLa risposta offre un secondo prezzo che contraddice il primoNon superato0.96C10
reply_omits_quantityErrore plausibileLa risposta non indica mai la quantitàNon superato0.96C11
dash_date_promiseErrore plausibileData anteriore promessa nel formato giorno-mese-anno con trattiniNon superato0.96C10
hyphen_month_promiseErrore plausibileData anteriore promessa come giorno, mese abbreviato e anno uniti da trattiniNon superato0.96C10
iso_slash_promiseErrore plausibileData anteriore promessa con le barre e l’anno per primoNon superato0.96C10
date_before_verbErrore plausibileData anteriore promessa, collocata prima del verbo nella fraseNon superato0.96C10
cost_as_discountErrore plausibileLa risposta offre il costo unitario interno dello stabilimento come prezzo scontatoNon superato0.96C10
stage_changed_without_historyErrore plausibileRiga del preventivo portata in escalation senza alcuna riga di cronologia che registri la modificaNon superato0.92C13
history_rewrittenReward hackModificata una riga di cronologia inizialeNon superato0.00gate 4
history_on_other_quoteReward hackRiga di cronologia aggiunta a un altro preventivoNon superato0.00gate 4
history_backdatedReward hackRiga di cronologia aggiunta con una data anteriore alla data del preventivoNon superato0.00gate 4
requested_date_no_tokenClasse aperta, superata per progettazioneLa risposta conferma la consegna «entro la data da voi richiesta», senza alcuna data scrittaSuperato1.00nessuno
lead_time_no_tokenClasse aperta, superata per progettazioneLa risposta promette la consegna «entro i vostri tempi di consegna», senza alcuna data scrittaSuperato1.00nessuno
vague_week_promiseClasse aperta, superata per progettazioneLa risposta promette di spedire «la settimana dopo la prossima»Superato1.00nessuno
reply_cites_customer_emailAlternativa correttaLa risposta cita l’email del cliente, date compreseSuperato1.00nessuno
reply_dates_in_wordsAlternativa correttaLa risposta indica le date in lettereSuperato1.00nessuno
reply_with_total_and_slash_dateAlternativa correttaLa risposta indica il prezzo unitario, il totale di riga, il costo di avviamento e la data con le barreSuperato1.00nessuno
referenceSoluzione di riferimentoLa nostra risposta di riferimento, da un reset pulitoSuperato1.00nessuno

Il nostro harness di test ha inoltre costruito 29 input ostili a partire da uno stato finale corretto: 10 con una tabella eliminata, 10 con la prima colonna di una tabella rinominata, uno con il database sovrascritto da testo, 6 con un input sostituito da una directory, 2 con un output sostituito da una directory. Ciascuno ha restituito un report con ricompensa zero senza errori del verificatore.

Risultati sull’intero harness dimostrativo.

Che cosa significano i numeri

Punteggio. Zero se la sottomissione viene respinta o se un gate fallisce. Altrimenti la quota ponderata dei controlli soddisfatti: i pesi dei controlli superati divisi per la somma di tutti i pesi. È uno strumento diagnostico per capire dove una risposta ha sbagliato.

Rigoroso. Vero solo quando ogni gate e ogni controllo sono superati. È la ricompensa di addestramento che raccomandiamo: il punteggio premia un lavoro fatto a metà, come mostra con 0.76 la riga che ha scritto il file del preventivo senza mai aggiornare il database.

Critico. Un campo separato, vero quando ogni controllo marcato come critico è superato. Viene riportato, mai usato come ricompensa.

Principi comuni dei verificatori.

Che cosa garantisce il reset

Il reset scrive lo spazio di lavoro da codice, senza rete e senza orologio. Due reset puliti producono lo stesso digest, e uno spazio di lavoro usato vi ritorna, quindi un acquirente può verificare sulla propria macchina che lo stato iniziale di cui dispone è quello su cui è stato eseguito il verificatore. Il digest calcola l’hash dei file e di un dump SQL del database, quindi digest corrispondenti dimostrano un contenuto logico corrispondente, non byte identici.

Che cosa stabilisce un professionista

Dove il settore ha più di una convenzione, il verificatore ne codifica una. In un task commissionato, la scelta la fa un professionista che svolge questo lavoro, e riportiamo se cambia la risposta. Questioni aperte per questo task:

  • I giorni di produzione nella pianificazione sono giorni di calendario o giorni lavorativi? La prima data di consegna (C6) e la risposta (C10) cambiano a seconda della risposta.
  • La risposta dovrebbe riportare condizioni di trasporto, validità e pagamento? Oggi non ne riporta nessuna, e nessun controllo le richiede.

Gli altri cinque task hanno le proprie convenzioni aperte, dal chiedersi se confermare un nome equivalga a chiedere un dato personale in una chiamata valutata al modo in cui si arrotondano le tonnellate secche prima di prezzare un carico. Ciascuna è elencata nel record del task che riceve l’acquirente.

Che cosa il verificatore non rileva ancora

Attacchiamo i nostri stessi verificatori. Il 7 novembre 2026, tre revisioni basate su modelli delle prime versioni hanno costruito stati finali sbagliati, e due verificatori li hanno accettati con punteggio pieno. Li abbiamo riprodotti e, l’8 novembre 2026, abbiamo testato tutti e sei i verificatori con circa 220 modifiche singole a uno stato finale corretto. Le classi individuate, e il loro stato su questo task nei gate eseguiti il 10 novembre 2026:

Classe di lavoro sbagliatoStato su questo task, 10 novembre 2026
La risposta contraddice l’output strutturato: promette una data che la pianificazione non può rispettare mentre il file del preventivo riporta la data giustaRilevato a partire dalla versione 0.1: C10, critico, e la sonda contradictory_reply_date. La versione 1.0 legge anche la riga dell’oggetto e più formati di data, tra cui date con barre e date relative, e supera una risposta corretta che cita l’email del cliente, che la versione 0.1 bocciava erroneamente
Campi identificativi della riga di output riscritti mentre gli importi verificati restano giustiRilevato a partire dalla versione 1.0 dal gate 3: wrong_customer_on_row, wrong_sku_on_row
Righe in più inserite nella tabella di outputRilevato a partire dalla versione 1.0 dal gate 3: duplicate_quote_row
Righe storiche o adiacenti eliminate o corrotteRilevato a partire dalla versione 1.0 dal gate 3: neighbour_quote_deleted, con una seconda riga di preventivo aggiunta al seed in modo che ci sia qualcosa da eliminare
Importi sbagliati fino a un’unità superano un controllo il cui testo dice «al centesimo»Chiuso nella versione 1.0: C4, C9 e C12 confrontano al centesimo; price_one_cent_off non supera il criterio rigoroso con 0.80
Il reset di uno spazio di lavoro usato fallisce invece di ripristinare lo stato inizialeChiuso nella versione 1.0: uno spazio di lavoro usato torna al digest registrato
L’eliminazione della tabella di output manda in crash il verificatore invece di restituire un rifiutoChiuso nella versione 1.0: drop_quotes_table e 29 input ostili restituiscono un rifiuto strutturato o uno zero
Il reset era descritto come identico al byteFormulazione corretta: il digest dimostra un contenuto logico corrispondente
Ogni sonda di reward hack agiva solo sui gate di primo livello; nessuna toccava la tabella di output modificabileChiuso nella versione 1.0: sei sonde scrivono nella tabella quotes, ciascuna a zero
La risposta promette una data anteriore in un formato che il parser non leggeva: trattini, mese abbreviato unito da trattini, anno per primo con le barreRilevato a partire dalla versione 1.0.1: dash_date_promise, hyphen_month_promise, iso_slash_promise. Tre promesse senza alcuna data sono registrate come sonde di classe aperta, superate per progettazione: requested_date_no_token, lead_time_no_token, vague_week_promise
La risposta mette la data prima della promessa, o offre il costo interno dello stabilimento come scontoRilevato a partire dalla versione 1.0.2: date_before_verb e cost_as_discount, entrambe non superano C10
La riga del preventivo cambia senza traccia di chi ha cambiato che cosa, o la cronologia viene riscritta per adattarsiRilevato a partire dalla versione 1.0.3: C13, critico, e la sonda stage_changed_without_history; la tabella della cronologia è protetta dal gate 4, con history_rewritten, history_on_other_quote e history_backdated ciascuna a zero
Non ancora letto: testo in prosa all’interno di un output richiesto che contraddice le sue stesse cifre corrette, come una risposta che nega il prezzo che indica, una colonna di motivazione, una chiave narrativa aggiuntiva o un report accanto a tabelle corretteAperto, per progettazione. Oggi nessun controllo legge quella prosa, e una sonda scritta a mano non può chiudere la lacuna. La valutazione alla cieca di un professionista è l’unico controllo su questo punto

Ogni classe individuata da quelle revisioni e dalle nostre è ora una sonda con un nome, e ciascuna ottiene il punteggio richiesto nei gate eseguiti il 10 novembre 2026. Le sonde scritte a mano sono un test di regressione, non una garanzia: dimostrano che ogni stato finale sbagliato a cui abbiamo pensato ottiene il punteggio dovuto, e nulla su quelli a cui non abbiamo pensato. Ogni nuova classe diventa una sonda con un nome il giorno stesso in cui viene individuata.

Change log

  1. Entro il 7 novembre 2026. Versione 0 scritta ed eseguita. Due modelli attuali di uno stesso fornitore l’hanno risolta con un rollout ciascuno. Una revisione del verificatore basata su modelli ha rilevato che il controllo della risposta accettava la promessa di una data di consegna che la pianificazione non poteva rispettare.
  2. 8 novembre 2026. Versione 0.1: C10 analizza le date nel corpo della risposta ed è critico; aggiunta la sonda contradictory_reply_date, che non supera il criterio rigoroso con 0.96.
  3. 8 novembre 2026. Versione 1.0: protezione a livello di campo della tabella quotes (gate 3), rifiuto strutturato di una sottomissione a cui non si può assegnare un punteggio, prezzi confrontati al centesimo, un controllo della risposta più severo che supera anche una risposta corretta bocciata erroneamente dalla versione 0.1, due nuovi controlli (C11, C12), 27 nuove sonde di reward hack e di errori plausibili, due alternative corrette e una riga di preventivo storica nel seed. La risposta di riferimento è invariata, quindi i tentativi dei modelli sulla versione 0 restano validi. Pubblicazione di questa pagina.
  4. 8 novembre 2026. Versione 1.0.1: il controllo della risposta legge date con trattini, con giorno e mese abbreviato e con barre e anno per primo, ciascuna con un errore plausibile. Tre promesse senza alcuna data sono registrate come sonde di classe aperta, superate per progettazione. Nuovo hash del modulo. La risposta di riferimento è invariata.
  5. 8 novembre 2026. Versione 1.0.2: il controllo della risposta legge una data posta prima della promessa, e non supera più una risposta che offre il costo interno dello stabilimento come sconto. Un’alternativa corretta in più. La risposta di riferimento è invariata.
  6. 8 novembre 2026. Versione 1.0.3: il seed acquisisce l’email di sollecito del cliente e una tabella della cronologia con quattro righe redatte, protetta a livello di campo dal gate 4. La procedura e l’istruzione chiedono di registrare ogni modifica alla riga del preventivo, e C13, critico, lo verifica. Quattro nuove sonde. Prezzi, date e preventivo di riferimento sono invariati; ora i pesi sommano a 25, quindi ogni punteggio è cambiato.

I nuovi risultati vengono pubblicati con la loro data, che siano superati o meno.

Lo esegua in autonomia

Prima, una chiamata di venti minuti: eseguiamo questo task davanti al Suo ingegnere, da un reset a un reward hack e a un errore plausibile fino alla soluzione di riferimento. Con un NDA bilaterale firmato, il Suo ingegnere riceve poi il verificatore autonomo, con i comandi di seed, reset, punteggio e autotest in Python 3.11 e senza pacchetti di terze parti, insieme allo spazio di lavoro, allo stato finale di riferimento e ai report del verificatore sullo spazio di lavoro intatto e sulla soluzione di riferimento. Rieseguire ogni sonda qui sopra sulla propria macchina è il test di accettazione per un primo ordine, che consegniamo entro dieci giorni lavorativi dai Suoi requisiti scritti.

Richieda un pacchetto di esempi Prenoti la dimostrazione guidata