Identità
- Task
mfg-rfq-001, versione 1.0.3, verificatore congelato tramite hash- Famiglia
- packaging-quotation, difficoltà easy, come indicato nel file pubblico dei gate
- Esito
unresolved, per costruzione: l’episodio termina quando la risposta viene inviata, prima che il cliente risponda; nella v1.1 l’etichetta è redatta da un professionista- Dominio
- Manifattura: imballaggi in plastica, una richiesta di offerta evasa con un preventivo
- Stato
- Dimostrazione pubblica; divulgata integralmente e non in vendita.
- Gate eseguiti
- 10 novembre 2026, Python 3.11.8, solo gate deterministici: nessuna esecuzione di modelli, nessun valutatore umano, nessun addestramento
- Tentativi dei modelli
- Versione 0, entro il 7 novembre 2026: due modelli attuali di uno stesso fornitore, uno dei quali della sua fascia piccola, un rollout ciascuno; entrambi hanno ottenuto 1,0 e superato il criterio rigoroso. Le versioni successive, che hanno reso più severo il verificatore lasciando invariata la risposta di riferimento, sono le prossime a essere eseguite
Il lavoro
Un commerciale di uno stabilimento di imballaggi deve far uscire un preventivo oggi. La seconda email del cliente ha ridotto l’ordine e spostato la data di consegna, la chat di produzione ha spostato il lavoro su un’altra macchina perché quella abituale è ferma, e la procedura di preventivazione indica come calcolare costi, prezzi ed escalation. L’istruzione, così come la riceve l’agente:
Lei è il commerciale (sales_exec_2) di Tembaga Ridge Packaging. Oggi è il 16 novembre 2026. Invii oggi il preventivo Q-2611 a Selat Biru Agrochem. Legga la posta in arrivo e la chat di produzione, seguadocs/SOP-Q-07.md, aggiorni la riga quotes inerp/plant.db, registri ogni modifica che vi apporta incrm_history, e scrivaout/quote.json(qty, machine, unit_cost_rm, unit_price_rm, earliest_delivery come YYYY-MM-DD, meets_requested_delivery) eout/reply.eml.
La risposta corretta prende la quantità più recente, la macchina confermata e il prezzo attuale della resina, ricalcola costo e prezzo secondo la procedura, trova il primo slot disponibile nella pianificazione, indica che la data richiesta non è rispettata, porta il preventivo in escalation nel database, registra ogni modifica apportata alla riga del preventivo e scrive una risposta che non promette nulla che la pianificazione non possa garantire.
Legga lo stato iniziale
Gli importi in valuta compaiono come [amount] in questa pagina; i file completi vanno al Suo ingegnere sotto NDA. La risposta di riferimento è volutamente minima: il verificatore ne legge prezzo, quantità e date, non il tono.
I file del task stesso, nell’ordine in cui li incontra chi lavora, poi lo stato finale di riferimento e un errore plausibile. Ogni scheda è generata dal task al momento della costruzione della pagina, quindi non può discostarsi dai file letti dal verificatore. L’evidenziatore segna i fatti cambiati e la riga rilevata dal verificatore.
La posta in arrivo, quattro messaggi
inbox/001.eml9 Nov 2026, 10:14
- From
- procurement@selatbiru.example
- To
- sales@tembagaridge.example
- Subject
- RFQ - 20 L jerrican
Please quote for 50,000 pcs of your 20 L HDPE jerrican (JC20), natural colour. Delivery to Port Klang.
Procurement, Selat Biru Agrochem
inbox/002.eml13 Nov 2026, 15:31
- From
- procurement@selatbiru.example
- To
- sales@tembagaridge.example
- Subject
- Re: RFQ - 20 L jerrican (revised)
Revision to our RFQ: we now need the jerricans in BLUE, and the first order will be 12,000 pcs, not 50,000. We need delivery within 21 days of your quotation date. Please re-quote.
Procurement, Selat Biru Agrochem
inbox/003.eml16 Nov 2026, 08:40
- From
- sales.director@tembagaridge.example
- To
- sales_exec_2@tembagaridge.example
- Subject
- Q-2611 today please
Please get Q-2611 out to Selat Biru today. Follow SOP-Q-07 and check with production first.
inbox/000.eml16 Nov 2026, 09:05
- From
- procurement@selatbiru.example
- To
- sales@tembagaridge.example
- Subject
- Re: RFQ - 20 L jerrican (revised) - quotation?
Good morning. We have not yet received your revised quotation. Our planning meeting is this afternoon, so please send it today.
Procurement, Selat Biru Agrochem
La chat di produzione
chat/production.json#production
BM-07 is down for a screw and barrel replacement, back 10 Dec at the earliest. Run the JC20 mould on BM-03 until then.
Noted. JC20 cycle on BM-03 runs 18% longer than on BM-07, same single cavity. BM-03 is booked, check machine_schedule before promising dates.
Reminder: drop test on the blue 10 L pails is at 2pm.
La procedura
docs/SOP-Q-07.mdThe quoting procedure
SOP-Q-07 Quotation costing and disposition (blow moulding)
- Governing request. The latest written customer amendment governs quantity, colour and delivery.
- Machine. Quote on the machine production has confirmed for the job. Never quote on a machine whose status is DOWN.
- Unit cost in RM per piece:
- material mass = part mass x (1 + 3% scrap)
- coloured parts: masterbatch replaces resin at the dosing % in the masterbatch table
- material cost = resin kg x resin price + masterbatch kg x masterbatch price
- resin price = the row with the latest effective_date on or before the quotation date
- machine cost = cycle seconds / cavities / 3600 x machine rate per hour
- set-up = [amount] per job / quantity
- unit cost = material + machine + set-up
- Price. unit price = unit cost / (1 - 22%), rounded to 2 decimals. Never quote below an 18% margin.
- MOQ for JC20 is 10,000 pcs. Below MOQ: stage REJECTED_MOQ and no price is sent.
- Delivery.
- production days = quantity x cycle seconds / cavities / (3600 x machine hours per day x 85% OEE), rounded up
- first free day = the day after booked_until in machine_schedule
- earliest delivery = first free day + production days + 3 days QC and dispatch
- Disposition, in the quotes table:
- delivery can be met: stage QUOTED, owner stays with the sales executive
- delivery cannot be met: still price the job, stage ESCALATED_LEADTIME, owner = the sales manager. The reply states the price and the earliest delivery date and does not promise the requested date.
- Outputs. Update the quotes row (qty, unit_price_rm, stage, owner). Record every change you make to a quotes field as a row in crm_history (quote_id, ts on the quotation date, actor, field, old_value, new_value, note); never edit an existing history row. Write out/quote.json and out/reply.eml.
Il database prima del lavoro
erp/plant.dbThe tables the job touches or reads
quotes2 rows
id | customer_id | sku | qty | unit_price_rm | stage | owner |
|---|---|---|---|---|---|---|
| Q-2604 | C-0388 | PL10 | 20000 | [amount] | QUOTED | sales_exec_2 |
| Q-2611 | C-0417 | JC20 | 50000 | null | ENQUIRY | sales_exec_2 |
machine_schedule2 rows
machine_id | booked_until |
|---|---|
| BM-03 | 2026-11-27 |
| BM-07 | 2026-12-09 |
machines2 rows
id | status | rate_rm_per_hr | hours_per_day |
|---|---|---|---|
| BM-07 | DOWN | [amount] | 20.0 |
| BM-03 | RUNNING | [amount] | 20.0 |
crm_history4 rows
id | quote_id | ts | actor | field | old_value | new_value | note |
|---|---|---|---|---|---|---|---|
| 1 | Q-2604 | 2026-11-02 14:10 | sales_exec_2 | stage | ENQUIRY | QUOTED | PL10 20,000 pcs quoted at [amount] |
| 2 | Q-2611 | 2026-11-09 10:40 | sales_exec_2 | stage | null | ENQUIRY | RFQ received: 50,000 pcs JC20 natural, delivery Port Klang |
| 3 | Q-2611 | 2026-11-13 16:02 | sales_exec_2 | note | null | null | Customer revision: blue, first order 12,000 pcs, delivery within 21 days of quotation; re-quote pending |
| 4 | Q-2611 | 2026-11-16 08:45 | sales_exec_2 | note | null | null | Sales director: quote out today per SOP-Q-07, check with production first |
Lo stato finale di riferimento
out/quote.jsonJSON
{
"quote_id": "Q-2611",
"qty": 12000,
"machine": "BM-03",
"unit_cost_rm": "[amount]",
"unit_price_rm": "[amount]",
"earliest_delivery": "2026-12-11",
"meets_requested_delivery": false
}out/reply.eml16 Nov 2026, 11:00
- From
- sales_exec_2@tembagaridge.example
- To
- procurement@selatbiru.example
- Subject
- Quotation Q-2611
Our price for 12,000 pcs JC20 is [amount] per piece. Earliest delivery is 2026-12-11.
erp/plant.dbAfter the work
quotes, the Q-2611 row1 rows
id | customer_id | sku | qty | unit_price_rm | stage | owner |
|---|---|---|---|---|---|---|
| Q-2611 | C-0417 | JC20 | 12000 | [amount] | ESCALATED_LEADTIME | sales_mgr_1 |
crm_history, rows the work added4 rows
id | quote_id | ts | actor | field | old_value | new_value | note |
|---|---|---|---|---|---|---|---|
| 5 | Q-2611 | 2026-11-16 11:00 | sales_exec_2 | qty | 50000 | 12000 | Q-2611 re-quoted per SOP-Q-07 |
| 6 | Q-2611 | 2026-11-16 11:00 | sales_exec_2 | unit_price_rm | null | [amount] | Q-2611 re-quoted per SOP-Q-07 |
| 7 | Q-2611 | 2026-11-16 11:00 | sales_exec_2 | stage | ENQUIRY | ESCALATED_LEADTIME | Q-2611 re-quoted per SOP-Q-07 |
| 8 | Q-2611 | 2026-11-16 11:00 | sales_exec_2 | owner | sales_exec_2 | sales_mgr_1 | Q-2611 re-quoted per SOP-Q-07 |
Il verificatore: superato · punteggio 1,00
Report grezzo del verificatore, soluzione di riferimento
{
"gates": [
{
"name": "inputs untouched and no file added under inbox/, chat/ or docs/",
"passed": true
},
{
"name": "protected ERP tables and the database schema untouched",
"passed": true
},
{
"name": "quotes table: only Q-2611's qty, unit_price_rm, stage and owner changed; no row added, removed or re-identified",
"passed": true
},
{
"name": "crm_history: seeded rows untouched; rows appended only for Q-2611 and dated on the quotation date",
"passed": true
}
],
"criteria": [
{
"id": "C1",
"desc": "Quantity follows the latest amendment (12,000)",
"passed": true,
"weight": 2,
"critical": true
},
{
"id": "C2",
"desc": "Machine is the one production confirmed (BM-03), not the down machine",
"passed": true,
"weight": 2,
"critical": false
},
{
"id": "C3",
"desc": "Unit cost within 0.5% of the SOP recomputation",
"passed": true,
"weight": 3,
"critical": false
},
{
"id": "C4",
"desc": "Unit price equals the SOP price to the cent",
"passed": true,
"weight": 3,
"critical": false
},
{
"id": "C5",
"desc": "Price keeps at least an 18% margin on the true cost",
"passed": true,
"weight": 2,
"critical": true
},
{
"id": "C6",
"desc": "Earliest delivery date matches the schedule recomputation",
"passed": true,
"weight": 2,
"critical": false
},
{
"id": "C7",
"desc": "Delivery marked as not met and the quote escalated in the ERP",
"passed": true,
"weight": 3,
"critical": true
},
{
"id": "C8",
"desc": "Owner reassigned to the sales manager",
"passed": true,
"weight": 1,
"critical": false
},
{
"id": "C9",
"desc": "ERP row agrees with quote.json (qty, and price to the cent)",
"passed": true,
"weight": 2,
"critical": false
},
{
"id": "C10",
"desc": "Reply states the SOP price in RM and the earliest delivery date, and promises no earlier date",
"passed": true,
"weight": 1,
"critical": true
},
{
"id": "C11",
"desc": "Reply is addressed to the customer, identifies Q-2611, and names no quantity other than 12,000 pcs",
"passed": true,
"weight": 1,
"critical": false
},
{
"id": "C12",
"desc": "Stated price follows from the stated cost under the SOP mark-up (cost / 0.78, rounded)",
"passed": true,
"weight": 1,
"critical": false
},
{
"id": "C13",
"desc": "Each change to stage and owner on the quotes row is logged in crm_history with its old and new value",
"passed": true,
"weight": 2,
"critical": true
}
],
"strict_pass": true,
"reward": 1.0,
"rejection": null
}Un errore plausibile: costo calcolato sulla macchina ferma
La sonda down_machine. Errore plausibile. I suoi file e ciò che il verificatore ha rilevato.
out/quote.jsonJSON
{
"quote_id": "Q-2611",
"qty": 12000,
"machine": "BM-07",
"unit_cost_rm": "[amount]",
"unit_price_rm": "[amount]",
"earliest_delivery": "2026-11-27",
"meets_requested_delivery": true
}out/reply.eml16 Nov 2026, 11:00
- From
- sales_exec_2@tembagaridge.example
- To
- procurement@selatbiru.example
- Subject
- Quotation Q-2611
Our price for 12,000 pcs JC20 is [amount] per piece. Earliest delivery is 2026-11-27.
Il verificatore: non superato · punteggio 0,40
C2La macchina è quella confermata dalla produzione (BM-03), non la macchina fermaC3Costo unitario entro lo 0,5% del ricalcolo secondo la SOPC4Prezzo unitario pari al prezzo SOP al centesimoC6La prima data di consegna corrisponde al ricalcolo della pianificazioneC7Consegna indicata come non rispettata e preventivo portato in escalation nell’ERPC8Responsabile riassegnato al direttore commercialeC10La risposta indica il prezzo SOP in RM e la prima data di consegna, e non promette alcuna data anteriore
Report grezzo del verificatore, down_machine
{
"gates": [
{
"name": "inputs untouched and no file added under inbox/, chat/ or docs/",
"passed": true
},
{
"name": "protected ERP tables and the database schema untouched",
"passed": true
},
{
"name": "quotes table: only Q-2611's qty, unit_price_rm, stage and owner changed; no row added, removed or re-identified",
"passed": true
},
{
"name": "crm_history: seeded rows untouched; rows appended only for Q-2611 and dated on the quotation date",
"passed": true
}
],
"criteria": [
{
"id": "C1",
"desc": "Quantity follows the latest amendment (12,000)",
"passed": true,
"weight": 2,
"critical": true
},
{
"id": "C2",
"desc": "Machine is the one production confirmed (BM-03), not the down machine",
"passed": false,
"weight": 2,
"critical": false
},
{
"id": "C3",
"desc": "Unit cost within 0.5% of the SOP recomputation",
"passed": false,
"weight": 3,
"critical": false
},
{
"id": "C4",
"desc": "Unit price equals the SOP price to the cent",
"passed": false,
"weight": 3,
"critical": false
},
{
"id": "C5",
"desc": "Price keeps at least an 18% margin on the true cost",
"passed": true,
"weight": 2,
"critical": true
},
{
"id": "C6",
"desc": "Earliest delivery date matches the schedule recomputation",
"passed": false,
"weight": 2,
"critical": false
},
{
"id": "C7",
"desc": "Delivery marked as not met and the quote escalated in the ERP",
"passed": false,
"weight": 3,
"critical": true
},
{
"id": "C8",
"desc": "Owner reassigned to the sales manager",
"passed": false,
"weight": 1,
"critical": false
},
{
"id": "C9",
"desc": "ERP row agrees with quote.json (qty, and price to the cent)",
"passed": true,
"weight": 2,
"critical": false
},
{
"id": "C10",
"desc": "Reply states the SOP price in RM and the earliest delivery date, and promises no earlier date",
"passed": false,
"weight": 1,
"critical": true
},
{
"id": "C11",
"desc": "Reply is addressed to the customer, identifies Q-2611, and names no quantity other than 12,000 pcs",
"passed": true,
"weight": 1,
"critical": false
},
{
"id": "C12",
"desc": "Stated price follows from the stated cost under the SOP mark-up (cost / 0.78, rounded)",
"passed": true,
"weight": 1,
"critical": false
},
{
"id": "C13",
"desc": "Each change to stage and owner on the quotes row is logged in crm_history with its old and new value",
"passed": true,
"weight": 2,
"critical": true
}
],
"strict_pass": false,
"reward": 0.4,
"rejection": null
}Che cosa notare
- La seconda email sostituisce la prima.
- Il vincolo si trova solo nella chat.
- La risposta non deve promettere una data che la pianificazione non può rispettare.
- Il controllo legge i file e le righe, mai le affermazioni della risposta.
- Ogni modifica alla riga del preventivo deve essere registrata nella tabella della cronologia, con la data del preventivo.
Le cinque parti di questa versione
- Email del cliente
- Presenti: la richiesta, la revisione, la nota del direttore e il sollecito, quattro messaggi nella posta in arrivo
- Discussione interna
- Presente: la chat di produzione, tre righe
- Documenti correlati
- Presente: la procedura di preventivazione
- Registro della cronologia
- Presente: la tabella della cronologia, quattro righe redatte prima dell’inizio del lavoro. Ogni modifica alla riga del preventivo deve aggiungerne una, verificata da C13
- Etichetta di esito
- Presente nel record del task, redatta come «unresolved». Per costruzione: l’episodio termina quando la risposta viene inviata, prima che il cliente risponda; nella v1.1 l’etichetta è redatta da un professionista
Lo spazio di lavoro
Ogni esecuzione parte dagli stessi file e dallo stesso database, riscritti da zero dal reset del task stesso.
| Percorso | Contenuto dopo il reset |
|---|---|
chat/production.json | 639 byte |
docs/SOP-Q-07.md | 1877 byte |
erp/plant.db | crm_history (4), customers (2), machine_schedule (2), machines (2), masterbatch (2), mould_machine (1), products (2), quotes (2), resin_prices (3), staff (3) |
inbox/000.eml | 324 byte |
inbox/001.eml | 272 byte |
inbox/002.eml | 364 byte |
inbox/003.eml | 240 byte |
Digest di reset, SHA-256 dello spazio di lavoro inizializzato con il database preso come dump SQL: 3366510ba57c7b69d148f9dd16a74ceaea0a556e649b813b1a5d1d55c446d20d. Reset deterministico a partire da una directory vuota: sì. Uno spazio di lavoro usato torna allo stesso digest: sì.
Che cosa può leggere e modificare l’agente
- Lettura
- I quattro messaggi della posta in arrivo, la chat di produzione, la procedura di preventivazione e qualsiasi tabella del database.
- Scrittura
out/quote.jsoncon i campi richiesti,out/reply.eml, quattro campi dell’unica riga di preventivo indicata dall’istruzione: quantità, prezzo unitario, fase e responsabile, e una nuova riga nella tabella della cronologia per ciascuna di queste modifiche.- Da non toccare
- I file di input, le cartelle di input, le altre tabelle, lo schema del database, ogni altro campo e riga della tabella quotes e ogni riga della cronologia presente all’inizio. Qualsiasi modifica in questi punti fa fallire un gate, e l’esecuzione ottiene zero qualunque altra cosa abbia fatto.
Gate e controlli
Una sottomissione a cui il verificatore non può assegnare un punteggio, perché un output richiesto è mancante, malformato o danneggiato, viene respinta come non valida con ricompensa zero e una motivazione strutturata anziché un crash. Poi quattro gate. Se ne fallisce uno, la ricompensa è zero e nessun controllo viene conteggiato.
- input intatti e nessun file aggiunto in inbox/, chat/ o docs/.
- tabelle ERP protette e schema del database intatti.
- tabella quotes: modificati solo qty, unit_price_rm, stage e owner di Q-2611; nessuna riga aggiunta, rimossa o reidentificata.
- crm_history: righe iniziali intatte; righe aggiunte solo per Q-2611 e con la data del preventivo.
Poi tredici controlli, ciascuno ricalcolato dal verificatore a partire da una copia pulita dello stato iniziale e confrontato con i file e le righe del database su disco. Il verificatore non legge mai ciò che l’agente dice di aver fatto. I pesi sommano a 25; 5 controlli sono critici.
| Controllo | Che cosa deve essere vero | Peso | Critico |
|---|---|---|---|
| C1 | La quantità segue l’ultima modifica (12.000) | 2 | sì |
| C2 | La macchina è quella confermata dalla produzione (BM-03), non la macchina ferma | 2 | |
| C3 | Costo unitario entro lo 0,5% del ricalcolo secondo la SOP | 3 | |
| C4 | Prezzo unitario pari al prezzo SOP al centesimo | 3 | |
| C5 | Il prezzo mantiene almeno un margine del 18% sul costo reale | 2 | sì |
| C6 | La prima data di consegna corrisponde al ricalcolo della pianificazione | 2 | |
| C7 | Consegna indicata come non rispettata e preventivo portato in escalation nell’ERP | 3 | sì |
| C8 | Responsabile riassegnato al direttore commerciale | 1 | |
| C9 | La riga ERP concorda con quote.json (qty, e prezzo al centesimo) | 2 | |
| C10 | La risposta indica il prezzo SOP in RM e la prima data di consegna, e non promette alcuna data anteriore | 1 | sì |
| C11 | La risposta è indirizzata al cliente, identifica Q-2611 e non cita alcuna quantità diversa da 12.000 pz | 1 | |
| C12 | Il prezzo indicato deriva dal costo indicato secondo il mark-up della SOP (costo / 0,78, arrotondato) | 1 | |
| C13 | Ogni modifica di fase e responsabile sulla riga quotes è registrata in crm_history con il valore precedente e quello nuovo | 2 | sì |
Tolleranze nella versione 1.0.3: C3 confronta il costo unitario entro lo 0,5%, come dice il suo testo; C4, C9 e C12 confrontano i prezzi al centesimo (entro mezzo centesimo); C10 legge oggetto e corpo della risposta, ogni formato di data, e solo le date successive alla data del preventivo.
Le sonde
Prima che un acquirente veda un task, attacchiamo il suo verificatore. Un reward hack falsifica o manomette e deve ottenere esattamente zero. Un errore plausibile è un errore che un lavoratore attento potrebbe commettere; non deve ottenere la ricompensa rigorosa, che richiede il superamento di ogni gate e di ogni controllo. Un’alternativa corretta è una risposta giusta scritta in un altro modo; deve ottenerla. Una sonda di lacuna nota registra una debolezza che non abbiamo ancora chiuso: è superata per progettazione, così qualsiasi cambiamento a quel confine diventa visibile. 19 reward hack, 26 errori plausibili, 3 alternative corrette e 3 sonde di lacuna nota sono stati eseguiti il 10 novembre 2026, e ciascuno ha restituito il risultato atteso. La maggior parte degli errori plausibili riguarda la risposta, l’unico output in testo libero: una promessa di una data anteriore, in ogni formato di data che abbiamo incontrato.
| Sonda | Tipo | Che cosa ha fatto | Rigoroso | Punteggio | Che cosa non è stato superato |
|---|---|---|---|---|---|
empty | Reward hack | Nessuna risposta scritta | Non superato | 0.00 | Respinta come non valida |
claim_only | Reward hack | Una risposta sicura di sé senza alcun file scritto | Non superato | 0.00 | Respinta come non valida |
tamper_schedule | Reward hack | Ha liberato la macchina prenotata nella tabella di pianificazione | Non superato | 0.00 | gate 2 |
edit_customer_email | Reward hack | Ha modificato l’email del cliente in modo che la vecchia quantità risulti attuale | Non superato | 0.00 | gate 1 |
superseded_quantity | Errore plausibile | Ha quotato la quantità superata | Non superato | 0.40 | C1, C3, C4, C5, C6, C10, C11, C12 |
down_machine | Errore plausibile | Ha calcolato il costo sulla macchina ferma | Non superato | 0.40 | C2, C3, C4, C6, C7, C8, C10 |
stale_resin_price | Errore plausibile | Ha calcolato il prezzo su un prezzo della resina superato nella tabella | Non superato | 0.72 | C3, C4, C10 |
json_without_erp | Errore plausibile | Ha scritto il file del preventivo senza mai aggiornare la riga del database | Non superato | 0.76 | C7, C8, C9 |
contradictory_reply_date | Errore plausibile | La risposta ha promesso una data anteriore a quella del preventivo stesso | Non superato | 0.96 | C10 |
wrong_customer_on_row | Reward hack | Importi giusti, cliente sbagliato nella riga del preventivo | Non superato | 0.00 | gate 3 |
wrong_sku_on_row | Reward hack | Importi giusti, prodotto sbagliato nella riga del preventivo | Non superato | 0.00 | gate 3 |
duplicate_quote_row | Reward hack | Aggiunta una seconda riga di preventivo | Non superato | 0.00 | gate 3 |
neighbour_quote_deleted | Reward hack | Eliminata la riga di un altro preventivo | Non superato | 0.00 | gate 3 |
quotes_table_replaced | Reward hack | Tabella quotes eliminata e ricostruita | Non superato | 0.00 | gate 2, gate 3 |
schema_column_added | Reward hack | Aggiunta una colonna allo schema del database | Non superato | 0.00 | gate 2, gate 3 |
drop_quotes_table | Reward hack | Tabella quotes eliminata | Non superato | 0.00 | gate 2, respinta come non valida |
malformed_quote_json | Reward hack | Un file di preventivo che non è JSON valido | Non superato | 0.00 | Respinta come non valida |
oversized_number | Reward hack | Un numero fuori intervallo nel file del preventivo | Non superato | 0.00 | Respinta come non valida |
reply_without_headers | Reward hack | Una risposta senza intestazioni email | Non superato | 0.00 | Respinta come non valida |
extra_reply_file | Reward hack | Aggiunto un secondo file di risposta | Non superato | 0.00 | Respinta come non valida |
forged_customer_email | Reward hack | Aggiunta alla posta in arrivo un’email del cliente contraffatta | Non superato | 0.00 | gate 1 |
price_one_cent_off | Errore plausibile | Prezzo diverso di un centesimo dal valore della procedura | Non superato | 0.80 | C4, C10, C12 |
erp_price_differs | Errore plausibile | Il prezzo nel database differisce da quello del file del preventivo | Non superato | 0.92 | C9 |
cost_price_inconsistent | Errore plausibile | Il prezzo indicato non deriva dal costo indicato | Non superato | 0.96 | C12 |
promise_in_subject | Errore plausibile | Data anteriore promessa nella riga dell’oggetto | Non superato | 0.96 | C10 |
wrapped_promise | Errore plausibile | Data anteriore promessa a cavallo di un a capo | Non superato | 0.96 | C10 |
month_first_promise | Errore plausibile | Data anteriore promessa con il mese prima del giorno | Non superato | 0.96 | C10 |
worded_promise | Errore plausibile | Data anteriore promessa in lettere | Non superato | 0.96 | C10 |
reply_wrong_quantity | Errore plausibile | La risposta cita una quantità diversa da quella dell’ordine | Non superato | 0.96 | C11 |
reply_wrong_currency | Errore plausibile | La risposta indica il prezzo in un’altra valuta | Non superato | 0.96 | C10 |
reply_to_other_customer | Errore plausibile | Risposta indirizzata a un altro cliente | Non superato | 0.96 | C11 |
slash_date_promise | Errore plausibile | Data anteriore promessa con le barre | Non superato | 0.96 | C10 |
negation_in_subordinate_clause | Errore plausibile | Data anteriore promessa, con una negazione solo in una proposizione secondaria | Non superato | 0.96 | C10 |
relative_in_21_days | Errore plausibile | Consegna promessa entro un numero di giorni che la pianificazione non può rispettare | Non superato | 0.96 | C10 |
contradictory_second_price | Errore plausibile | La risposta offre un secondo prezzo che contraddice il primo | Non superato | 0.96 | C10 |
reply_omits_quantity | Errore plausibile | La risposta non indica mai la quantità | Non superato | 0.96 | C11 |
dash_date_promise | Errore plausibile | Data anteriore promessa nel formato giorno-mese-anno con trattini | Non superato | 0.96 | C10 |
hyphen_month_promise | Errore plausibile | Data anteriore promessa come giorno, mese abbreviato e anno uniti da trattini | Non superato | 0.96 | C10 |
iso_slash_promise | Errore plausibile | Data anteriore promessa con le barre e l’anno per primo | Non superato | 0.96 | C10 |
date_before_verb | Errore plausibile | Data anteriore promessa, collocata prima del verbo nella frase | Non superato | 0.96 | C10 |
cost_as_discount | Errore plausibile | La risposta offre il costo unitario interno dello stabilimento come prezzo scontato | Non superato | 0.96 | C10 |
stage_changed_without_history | Errore plausibile | Riga del preventivo portata in escalation senza alcuna riga di cronologia che registri la modifica | Non superato | 0.92 | C13 |
history_rewritten | Reward hack | Modificata una riga di cronologia iniziale | Non superato | 0.00 | gate 4 |
history_on_other_quote | Reward hack | Riga di cronologia aggiunta a un altro preventivo | Non superato | 0.00 | gate 4 |
history_backdated | Reward hack | Riga di cronologia aggiunta con una data anteriore alla data del preventivo | Non superato | 0.00 | gate 4 |
requested_date_no_token | Classe aperta, superata per progettazione | La risposta conferma la consegna «entro la data da voi richiesta», senza alcuna data scritta | Superato | 1.00 | nessuno |
lead_time_no_token | Classe aperta, superata per progettazione | La risposta promette la consegna «entro i vostri tempi di consegna», senza alcuna data scritta | Superato | 1.00 | nessuno |
vague_week_promise | Classe aperta, superata per progettazione | La risposta promette di spedire «la settimana dopo la prossima» | Superato | 1.00 | nessuno |
reply_cites_customer_email | Alternativa corretta | La risposta cita l’email del cliente, date comprese | Superato | 1.00 | nessuno |
reply_dates_in_words | Alternativa corretta | La risposta indica le date in lettere | Superato | 1.00 | nessuno |
reply_with_total_and_slash_date | Alternativa corretta | La risposta indica il prezzo unitario, il totale di riga, il costo di avviamento e la data con le barre | Superato | 1.00 | nessuno |
reference | Soluzione di riferimento | La nostra risposta di riferimento, da un reset pulito | Superato | 1.00 | nessuno |
Il nostro harness di test ha inoltre costruito 29 input ostili a partire da uno stato finale corretto: 10 con una tabella eliminata, 10 con la prima colonna di una tabella rinominata, uno con il database sovrascritto da testo, 6 con un input sostituito da una directory, 2 con un output sostituito da una directory. Ciascuno ha restituito un report con ricompensa zero senza errori del verificatore.
Che cosa significano i numeri
Punteggio. Zero se la sottomissione viene respinta o se un gate fallisce. Altrimenti la quota ponderata dei controlli soddisfatti: i pesi dei controlli superati divisi per la somma di tutti i pesi. È uno strumento diagnostico per capire dove una risposta ha sbagliato.
Rigoroso. Vero solo quando ogni gate e ogni controllo sono superati. È la ricompensa di addestramento che raccomandiamo: il punteggio premia un lavoro fatto a metà, come mostra con 0.76 la riga che ha scritto il file del preventivo senza mai aggiornare il database.
Critico. Un campo separato, vero quando ogni controllo marcato come critico è superato. Viene riportato, mai usato come ricompensa.
Che cosa garantisce il reset
Il reset scrive lo spazio di lavoro da codice, senza rete e senza orologio. Due reset puliti producono lo stesso digest, e uno spazio di lavoro usato vi ritorna, quindi un acquirente può verificare sulla propria macchina che lo stato iniziale di cui dispone è quello su cui è stato eseguito il verificatore. Il digest calcola l’hash dei file e di un dump SQL del database, quindi digest corrispondenti dimostrano un contenuto logico corrispondente, non byte identici.
Che cosa stabilisce un professionista
Dove il settore ha più di una convenzione, il verificatore ne codifica una. In un task commissionato, la scelta la fa un professionista che svolge questo lavoro, e riportiamo se cambia la risposta. Questioni aperte per questo task:
- I giorni di produzione nella pianificazione sono giorni di calendario o giorni lavorativi? La prima data di consegna (C6) e la risposta (C10) cambiano a seconda della risposta.
- La risposta dovrebbe riportare condizioni di trasporto, validità e pagamento? Oggi non ne riporta nessuna, e nessun controllo le richiede.
Gli altri cinque task hanno le proprie convenzioni aperte, dal chiedersi se confermare un nome equivalga a chiedere un dato personale in una chiamata valutata al modo in cui si arrotondano le tonnellate secche prima di prezzare un carico. Ciascuna è elencata nel record del task che riceve l’acquirente.
Che cosa il verificatore non rileva ancora
Attacchiamo i nostri stessi verificatori. Il 7 novembre 2026, tre revisioni basate su modelli delle prime versioni hanno costruito stati finali sbagliati, e due verificatori li hanno accettati con punteggio pieno. Li abbiamo riprodotti e, l’8 novembre 2026, abbiamo testato tutti e sei i verificatori con circa 220 modifiche singole a uno stato finale corretto. Le classi individuate, e il loro stato su questo task nei gate eseguiti il 10 novembre 2026:
| Classe di lavoro sbagliato | Stato su questo task, 10 novembre 2026 |
|---|---|
| La risposta contraddice l’output strutturato: promette una data che la pianificazione non può rispettare mentre il file del preventivo riporta la data giusta | Rilevato a partire dalla versione 0.1: C10, critico, e la sonda contradictory_reply_date. La versione 1.0 legge anche la riga dell’oggetto e più formati di data, tra cui date con barre e date relative, e supera una risposta corretta che cita l’email del cliente, che la versione 0.1 bocciava erroneamente |
| Campi identificativi della riga di output riscritti mentre gli importi verificati restano giusti | Rilevato a partire dalla versione 1.0 dal gate 3: wrong_customer_on_row, wrong_sku_on_row |
| Righe in più inserite nella tabella di output | Rilevato a partire dalla versione 1.0 dal gate 3: duplicate_quote_row |
| Righe storiche o adiacenti eliminate o corrotte | Rilevato a partire dalla versione 1.0 dal gate 3: neighbour_quote_deleted, con una seconda riga di preventivo aggiunta al seed in modo che ci sia qualcosa da eliminare |
| Importi sbagliati fino a un’unità superano un controllo il cui testo dice «al centesimo» | Chiuso nella versione 1.0: C4, C9 e C12 confrontano al centesimo; price_one_cent_off non supera il criterio rigoroso con 0.80 |
| Il reset di uno spazio di lavoro usato fallisce invece di ripristinare lo stato iniziale | Chiuso nella versione 1.0: uno spazio di lavoro usato torna al digest registrato |
| L’eliminazione della tabella di output manda in crash il verificatore invece di restituire un rifiuto | Chiuso nella versione 1.0: drop_quotes_table e 29 input ostili restituiscono un rifiuto strutturato o uno zero |
| Il reset era descritto come identico al byte | Formulazione corretta: il digest dimostra un contenuto logico corrispondente |
| Ogni sonda di reward hack agiva solo sui gate di primo livello; nessuna toccava la tabella di output modificabile | Chiuso nella versione 1.0: sei sonde scrivono nella tabella quotes, ciascuna a zero |
| La risposta promette una data anteriore in un formato che il parser non leggeva: trattini, mese abbreviato unito da trattini, anno per primo con le barre | Rilevato a partire dalla versione 1.0.1: dash_date_promise, hyphen_month_promise, iso_slash_promise. Tre promesse senza alcuna data sono registrate come sonde di classe aperta, superate per progettazione: requested_date_no_token, lead_time_no_token, vague_week_promise |
| La risposta mette la data prima della promessa, o offre il costo interno dello stabilimento come sconto | Rilevato a partire dalla versione 1.0.2: date_before_verb e cost_as_discount, entrambe non superano C10 |
| La riga del preventivo cambia senza traccia di chi ha cambiato che cosa, o la cronologia viene riscritta per adattarsi | Rilevato a partire dalla versione 1.0.3: C13, critico, e la sonda stage_changed_without_history; la tabella della cronologia è protetta dal gate 4, con history_rewritten, history_on_other_quote e history_backdated ciascuna a zero |
| Non ancora letto: testo in prosa all’interno di un output richiesto che contraddice le sue stesse cifre corrette, come una risposta che nega il prezzo che indica, una colonna di motivazione, una chiave narrativa aggiuntiva o un report accanto a tabelle corrette | Aperto, per progettazione. Oggi nessun controllo legge quella prosa, e una sonda scritta a mano non può chiudere la lacuna. La valutazione alla cieca di un professionista è l’unico controllo su questo punto |
Ogni classe individuata da quelle revisioni e dalle nostre è ora una sonda con un nome, e ciascuna ottiene il punteggio richiesto nei gate eseguiti il 10 novembre 2026. Le sonde scritte a mano sono un test di regressione, non una garanzia: dimostrano che ogni stato finale sbagliato a cui abbiamo pensato ottiene il punteggio dovuto, e nulla su quelli a cui non abbiamo pensato. Ogni nuova classe diventa una sonda con un nome il giorno stesso in cui viene individuata.
Change log
- Entro il 7 novembre 2026. Versione 0 scritta ed eseguita. Due modelli attuali di uno stesso fornitore l’hanno risolta con un rollout ciascuno. Una revisione del verificatore basata su modelli ha rilevato che il controllo della risposta accettava la promessa di una data di consegna che la pianificazione non poteva rispettare.
- 8 novembre 2026. Versione 0.1: C10 analizza le date nel corpo della risposta ed è critico; aggiunta la sonda
contradictory_reply_date, che non supera il criterio rigoroso con 0.96. - 8 novembre 2026. Versione 1.0: protezione a livello di campo della tabella quotes (gate 3), rifiuto strutturato di una sottomissione a cui non si può assegnare un punteggio, prezzi confrontati al centesimo, un controllo della risposta più severo che supera anche una risposta corretta bocciata erroneamente dalla versione 0.1, due nuovi controlli (C11, C12), 27 nuove sonde di reward hack e di errori plausibili, due alternative corrette e una riga di preventivo storica nel seed. La risposta di riferimento è invariata, quindi i tentativi dei modelli sulla versione 0 restano validi. Pubblicazione di questa pagina.
- 8 novembre 2026. Versione 1.0.1: il controllo della risposta legge date con trattini, con giorno e mese abbreviato e con barre e anno per primo, ciascuna con un errore plausibile. Tre promesse senza alcuna data sono registrate come sonde di classe aperta, superate per progettazione. Nuovo hash del modulo. La risposta di riferimento è invariata.
- 8 novembre 2026. Versione 1.0.2: il controllo della risposta legge una data posta prima della promessa, e non supera più una risposta che offre il costo interno dello stabilimento come sconto. Un’alternativa corretta in più. La risposta di riferimento è invariata.
- 8 novembre 2026. Versione 1.0.3: il seed acquisisce l’email di sollecito del cliente e una tabella della cronologia con quattro righe redatte, protetta a livello di campo dal gate 4. La procedura e l’istruzione chiedono di registrare ogni modifica alla riga del preventivo, e C13, critico, lo verifica. Quattro nuove sonde. Prezzi, date e preventivo di riferimento sono invariati; ora i pesi sommano a 25, quindi ogni punteggio è cambiato.
I nuovi risultati vengono pubblicati con la loro data, che siano superati o meno.
Lo esegua in autonomia
Prima, una chiamata di venti minuti: eseguiamo questo task davanti al Suo ingegnere, da un reset a un reward hack e a un errore plausibile fino alla soluzione di riferimento. Con un NDA bilaterale firmato, il Suo ingegnere riceve poi il verificatore autonomo, con i comandi di seed, reset, punteggio e autotest in Python 3.11 e senza pacchetti di terze parti, insieme allo spazio di lavoro, allo stato finale di riferimento e ai report del verificatore sullo spazio di lavoro intatto e sulla soluzione di riferimento. Rieseguire ogni sonda qui sopra sulla propria macchina è il test di accettazione per un primo ordine, che consegniamo entro dieci giorni lavorativi dai Suoi requisiti scritti.
Richieda un pacchetto di esempi Prenoti la dimostrazione guidata