基本資料
- 任務
mfg-rfq-001,版本 1.0.3,驗證器以雜湊值凍結- 類別
- packaging-quotation,難度 easy,依公開門檻檢查檔案的標示
- 結果
unresolved, 由設計決定:回覆一經送出,本回合即結束,此時客戶尚未回答;在 v1.1 中由業界專家撰寫該標籤- 領域
- 製造業:塑膠包裝,以報價單回覆報價請求
- 狀態
- 公開示範;已完整公開,不對外銷售。
- 門檻檢查執行
- 2026年11月10日,Python 3.11.8,僅執行確定性的門檻檢查:無模型執行、無人工評分人員、無訓練
- 模型嘗試
- 版本 0,2026年11月7日或之前:來自同一供應商的兩個現行模型(其中一個為其小型級別),各執行一次 rollout,兩者皆得分 1.0 並嚴格通過。後續版本收緊了驗證器、參考答案維持不變,接著將執行
工作內容
一家包裝工廠的業務主管必須在今天送出報價。客戶的第二封電子郵件減少了訂購量並更改了交貨日期;生產端的聊天訊息因為常用的機台停機,將這項工作移到另一台機台;而報價作業程序則說明了如何計算成本、定價與呈報上級。AI 代理收到的指示如下:
你是 Tembaga Ridge Packaging 的業務主管(sales_exec_2)。今天是 16 Nov 2026。請在今天將報價 Q-2611 送給 Selat Biru Agrochem。閱讀收件匣與生產端聊天訊息,遵循docs/SOP-Q-07.md,更新erp/plant.db中的 quotes 資料列,將你對它所做的每一項變更記錄在crm_history中,並寫出out/quote.json(qty、machine、unit_cost_rm、unit_price_rm、以 YYYY-MM-DD 表示的 earliest_delivery、meets_requested_delivery)與out/reply.eml。
正確答案會採用最新的數量、已確認的機台與目前的樹脂價格,依作業程序重新計算成本與價格,在排程中找出最早的空檔,將客戶要求的日期標記為無法達成,在資料庫中將報價呈報上級,記錄其對報價資料列所做的每一項變更,並寫出一封不承諾任何排程無法達成之事的回覆。
閱讀起始狀態
本頁中的金額以 [amount] 顯示;完整檔案會在簽署 NDA 後提供給您的工程師。參考回覆刻意保持精簡:驗證器讀取的是其中的價格、數量與日期,而非語氣。
任務本身的檔案,依工作人員接觸到的順序排列,之後是參考最終狀態與一個看似合理的錯誤。每一頁都是在建置網頁時從任務本身生成的,因此不會與驗證器讀取的檔案產生出入。螢光標記標出了已變更的事實,以及驗證器抓到的那一行。
收件匣,四封訊息
inbox/001.eml9 Nov 2026, 10:14
- From
- procurement@selatbiru.example
- To
- sales@tembagaridge.example
- Subject
- RFQ - 20 L jerrican
Please quote for 50,000 pcs of your 20 L HDPE jerrican (JC20), natural colour. Delivery to Port Klang.
Procurement, Selat Biru Agrochem
inbox/002.eml13 Nov 2026, 15:31
- From
- procurement@selatbiru.example
- To
- sales@tembagaridge.example
- Subject
- Re: RFQ - 20 L jerrican (revised)
Revision to our RFQ: we now need the jerricans in BLUE, and the first order will be 12,000 pcs, not 50,000. We need delivery within 21 days of your quotation date. Please re-quote.
Procurement, Selat Biru Agrochem
inbox/003.eml16 Nov 2026, 08:40
- From
- sales.director@tembagaridge.example
- To
- sales_exec_2@tembagaridge.example
- Subject
- Q-2611 today please
Please get Q-2611 out to Selat Biru today. Follow SOP-Q-07 and check with production first.
inbox/000.eml16 Nov 2026, 09:05
- From
- procurement@selatbiru.example
- To
- sales@tembagaridge.example
- Subject
- Re: RFQ - 20 L jerrican (revised) - quotation?
Good morning. We have not yet received your revised quotation. Our planning meeting is this afternoon, so please send it today.
Procurement, Selat Biru Agrochem
生產端聊天訊息
chat/production.json#production
BM-07 is down for a screw and barrel replacement, back 10 Dec at the earliest. Run the JC20 mould on BM-03 until then.
Noted. JC20 cycle on BM-03 runs 18% longer than on BM-07, same single cavity. BM-03 is booked, check machine_schedule before promising dates.
Reminder: drop test on the blue 10 L pails is at 2pm.
作業程序
docs/SOP-Q-07.mdThe quoting procedure
SOP-Q-07 Quotation costing and disposition (blow moulding)
- Governing request. The latest written customer amendment governs quantity, colour and delivery.
- Machine. Quote on the machine production has confirmed for the job. Never quote on a machine whose status is DOWN.
- Unit cost in RM per piece:
- material mass = part mass x (1 + 3% scrap)
- coloured parts: masterbatch replaces resin at the dosing % in the masterbatch table
- material cost = resin kg x resin price + masterbatch kg x masterbatch price
- resin price = the row with the latest effective_date on or before the quotation date
- machine cost = cycle seconds / cavities / 3600 x machine rate per hour
- set-up = [amount] per job / quantity
- unit cost = material + machine + set-up
- Price. unit price = unit cost / (1 - 22%), rounded to 2 decimals. Never quote below an 18% margin.
- MOQ for JC20 is 10,000 pcs. Below MOQ: stage REJECTED_MOQ and no price is sent.
- Delivery.
- production days = quantity x cycle seconds / cavities / (3600 x machine hours per day x 85% OEE), rounded up
- first free day = the day after booked_until in machine_schedule
- earliest delivery = first free day + production days + 3 days QC and dispatch
- Disposition, in the quotes table:
- delivery can be met: stage QUOTED, owner stays with the sales executive
- delivery cannot be met: still price the job, stage ESCALATED_LEADTIME, owner = the sales manager. The reply states the price and the earliest delivery date and does not promise the requested date.
- Outputs. Update the quotes row (qty, unit_price_rm, stage, owner). Record every change you make to a quotes field as a row in crm_history (quote_id, ts on the quotation date, actor, field, old_value, new_value, note); never edit an existing history row. Write out/quote.json and out/reply.eml.
作業前的資料庫
erp/plant.dbThe tables the job touches or reads
quotes2 rows
id | customer_id | sku | qty | unit_price_rm | stage | owner |
|---|---|---|---|---|---|---|
| Q-2604 | C-0388 | PL10 | 20000 | [amount] | QUOTED | sales_exec_2 |
| Q-2611 | C-0417 | JC20 | 50000 | null | ENQUIRY | sales_exec_2 |
machine_schedule2 rows
machine_id | booked_until |
|---|---|
| BM-03 | 2026-11-27 |
| BM-07 | 2026-12-09 |
machines2 rows
id | status | rate_rm_per_hr | hours_per_day |
|---|---|---|---|
| BM-07 | DOWN | [amount] | 20.0 |
| BM-03 | RUNNING | [amount] | 20.0 |
crm_history4 rows
id | quote_id | ts | actor | field | old_value | new_value | note |
|---|---|---|---|---|---|---|---|
| 1 | Q-2604 | 2026-11-02 14:10 | sales_exec_2 | stage | ENQUIRY | QUOTED | PL10 20,000 pcs quoted at [amount] |
| 2 | Q-2611 | 2026-11-09 10:40 | sales_exec_2 | stage | null | ENQUIRY | RFQ received: 50,000 pcs JC20 natural, delivery Port Klang |
| 3 | Q-2611 | 2026-11-13 16:02 | sales_exec_2 | note | null | null | Customer revision: blue, first order 12,000 pcs, delivery within 21 days of quotation; re-quote pending |
| 4 | Q-2611 | 2026-11-16 08:45 | sales_exec_2 | note | null | null | Sales director: quote out today per SOP-Q-07, check with production first |
參考最終狀態
out/quote.jsonJSON
{
"quote_id": "Q-2611",
"qty": 12000,
"machine": "BM-03",
"unit_cost_rm": "[amount]",
"unit_price_rm": "[amount]",
"earliest_delivery": "2026-12-11",
"meets_requested_delivery": false
}out/reply.eml16 Nov 2026, 11:00
- From
- sales_exec_2@tembagaridge.example
- To
- procurement@selatbiru.example
- Subject
- Quotation Q-2611
Our price for 12,000 pcs JC20 is [amount] per piece. Earliest delivery is 2026-12-11.
erp/plant.dbAfter the work
quotes, the Q-2611 row1 rows
id | customer_id | sku | qty | unit_price_rm | stage | owner |
|---|---|---|---|---|---|---|
| Q-2611 | C-0417 | JC20 | 12000 | [amount] | ESCALATED_LEADTIME | sales_mgr_1 |
crm_history, rows the work added4 rows
id | quote_id | ts | actor | field | old_value | new_value | note |
|---|---|---|---|---|---|---|---|
| 5 | Q-2611 | 2026-11-16 11:00 | sales_exec_2 | qty | 50000 | 12000 | Q-2611 re-quoted per SOP-Q-07 |
| 6 | Q-2611 | 2026-11-16 11:00 | sales_exec_2 | unit_price_rm | null | [amount] | Q-2611 re-quoted per SOP-Q-07 |
| 7 | Q-2611 | 2026-11-16 11:00 | sales_exec_2 | stage | ENQUIRY | ESCALATED_LEADTIME | Q-2611 re-quoted per SOP-Q-07 |
| 8 | Q-2611 | 2026-11-16 11:00 | sales_exec_2 | owner | sales_exec_2 | sales_mgr_1 | Q-2611 re-quoted per SOP-Q-07 |
驗證器:通過・分數 1.00
原始驗證器報告,參考解法
{
"gates": [
{
"name": "inputs untouched and no file added under inbox/, chat/ or docs/",
"passed": true
},
{
"name": "protected ERP tables and the database schema untouched",
"passed": true
},
{
"name": "quotes table: only Q-2611's qty, unit_price_rm, stage and owner changed; no row added, removed or re-identified",
"passed": true
},
{
"name": "crm_history: seeded rows untouched; rows appended only for Q-2611 and dated on the quotation date",
"passed": true
}
],
"criteria": [
{
"id": "C1",
"desc": "Quantity follows the latest amendment (12,000)",
"passed": true,
"weight": 2,
"critical": true
},
{
"id": "C2",
"desc": "Machine is the one production confirmed (BM-03), not the down machine",
"passed": true,
"weight": 2,
"critical": false
},
{
"id": "C3",
"desc": "Unit cost within 0.5% of the SOP recomputation",
"passed": true,
"weight": 3,
"critical": false
},
{
"id": "C4",
"desc": "Unit price equals the SOP price to the cent",
"passed": true,
"weight": 3,
"critical": false
},
{
"id": "C5",
"desc": "Price keeps at least an 18% margin on the true cost",
"passed": true,
"weight": 2,
"critical": true
},
{
"id": "C6",
"desc": "Earliest delivery date matches the schedule recomputation",
"passed": true,
"weight": 2,
"critical": false
},
{
"id": "C7",
"desc": "Delivery marked as not met and the quote escalated in the ERP",
"passed": true,
"weight": 3,
"critical": true
},
{
"id": "C8",
"desc": "Owner reassigned to the sales manager",
"passed": true,
"weight": 1,
"critical": false
},
{
"id": "C9",
"desc": "ERP row agrees with quote.json (qty, and price to the cent)",
"passed": true,
"weight": 2,
"critical": false
},
{
"id": "C10",
"desc": "Reply states the SOP price in RM and the earliest delivery date, and promises no earlier date",
"passed": true,
"weight": 1,
"critical": true
},
{
"id": "C11",
"desc": "Reply is addressed to the customer, identifies Q-2611, and names no quantity other than 12,000 pcs",
"passed": true,
"weight": 1,
"critical": false
},
{
"id": "C12",
"desc": "Stated price follows from the stated cost under the SOP mark-up (cost / 0.78, rounded)",
"passed": true,
"weight": 1,
"critical": false
},
{
"id": "C13",
"desc": "Each change to stage and owner on the quotes row is logged in crm_history with its old and new value",
"passed": true,
"weight": 2,
"critical": true
}
],
"strict_pass": true,
"reward": 1.0,
"rejection": null
}一個看似合理的錯誤:以停機中的機台計算成本
探針 down_machine。看似合理的錯誤。其檔案,以及驗證器抓到的問題。
out/quote.jsonJSON
{
"quote_id": "Q-2611",
"qty": 12000,
"machine": "BM-07",
"unit_cost_rm": "[amount]",
"unit_price_rm": "[amount]",
"earliest_delivery": "2026-11-27",
"meets_requested_delivery": true
}out/reply.eml16 Nov 2026, 11:00
- From
- sales_exec_2@tembagaridge.example
- To
- procurement@selatbiru.example
- Subject
- Quotation Q-2611
Our price for 12,000 pcs JC20 is [amount] per piece. Earliest delivery is 2026-11-27.
驗證器:未通過・分數 0.40
C2機台為生產端確認的機台(BM-03),而非停機中的機台C3單位成本與依 SOP 重新計算的結果相差在 0.5% 以內C4單價與 SOP 價格完全相同,精確到分C6最早交貨日期與依排程重新計算的結果相符C7交貨標記為無法達成,且報價已在 ERP 中呈報上級C8負責人已改派給業務經理C10回覆以 RM 載明 SOP 價格與最早交貨日期,且未承諾任何更早的日期
原始驗證器報告,down_machine
{
"gates": [
{
"name": "inputs untouched and no file added under inbox/, chat/ or docs/",
"passed": true
},
{
"name": "protected ERP tables and the database schema untouched",
"passed": true
},
{
"name": "quotes table: only Q-2611's qty, unit_price_rm, stage and owner changed; no row added, removed or re-identified",
"passed": true
},
{
"name": "crm_history: seeded rows untouched; rows appended only for Q-2611 and dated on the quotation date",
"passed": true
}
],
"criteria": [
{
"id": "C1",
"desc": "Quantity follows the latest amendment (12,000)",
"passed": true,
"weight": 2,
"critical": true
},
{
"id": "C2",
"desc": "Machine is the one production confirmed (BM-03), not the down machine",
"passed": false,
"weight": 2,
"critical": false
},
{
"id": "C3",
"desc": "Unit cost within 0.5% of the SOP recomputation",
"passed": false,
"weight": 3,
"critical": false
},
{
"id": "C4",
"desc": "Unit price equals the SOP price to the cent",
"passed": false,
"weight": 3,
"critical": false
},
{
"id": "C5",
"desc": "Price keeps at least an 18% margin on the true cost",
"passed": true,
"weight": 2,
"critical": true
},
{
"id": "C6",
"desc": "Earliest delivery date matches the schedule recomputation",
"passed": false,
"weight": 2,
"critical": false
},
{
"id": "C7",
"desc": "Delivery marked as not met and the quote escalated in the ERP",
"passed": false,
"weight": 3,
"critical": true
},
{
"id": "C8",
"desc": "Owner reassigned to the sales manager",
"passed": false,
"weight": 1,
"critical": false
},
{
"id": "C9",
"desc": "ERP row agrees with quote.json (qty, and price to the cent)",
"passed": true,
"weight": 2,
"critical": false
},
{
"id": "C10",
"desc": "Reply states the SOP price in RM and the earliest delivery date, and promises no earlier date",
"passed": false,
"weight": 1,
"critical": true
},
{
"id": "C11",
"desc": "Reply is addressed to the customer, identifies Q-2611, and names no quantity other than 12,000 pcs",
"passed": true,
"weight": 1,
"critical": false
},
{
"id": "C12",
"desc": "Stated price follows from the stated cost under the SOP mark-up (cost / 0.78, rounded)",
"passed": true,
"weight": 1,
"critical": false
},
{
"id": "C13",
"desc": "Each change to stage and owner on the quotes row is logged in crm_history with its old and new value",
"passed": true,
"weight": 2,
"critical": true
}
],
"strict_pass": false,
"reward": 0.4,
"rejection": null
}值得注意之處
- 第二封電子郵件取代了第一封。
- 限制條件只出現在聊天訊息中。
- 回覆不得承諾排程無法達成的日期。
- 檢查程式讀取的是檔案與資料列,從不讀取回覆中的聲稱。
- 對報價資料列的每一項變更,都必須記錄在歷程資料表中,日期為報價日期。
此版本中的五個部分
- 客戶電子郵件
- 已包含:詢價、修改、主管的備註與催促信,收件匣中共四封訊息
- 內部討論
- 已包含:生產端聊天訊息,共三行
- 相關文件
- 已包含:報價作業程序
- 歷程紀錄
- 已包含:歷程資料表,在作業開始前有四筆撰寫好的資料列。對報價資料列的每一項變更都必須新增一筆,由 C13 檢查
- 結果標籤
- 存在於任務紀錄中,撰寫為「unresolved」。這是由設計所決定的:該回合在回覆送出時即結束,客戶尚未答覆;在 v1.1 中由業界專家撰寫此標籤
工作區
每次執行都從相同的檔案與相同的資料庫開始,由任務本身的重設程序重新寫入。
| 路徑 | 重設後的內容 |
|---|---|
chat/production.json | 639 位元組 |
docs/SOP-Q-07.md | 1877 位元組 |
erp/plant.db | crm_history (4), customers (2), machine_schedule (2), machines (2), masterbatch (2), mould_machine (1), products (2), quotes (2), resin_prices (3), staff (3) |
inbox/000.eml | 324 位元組 |
inbox/001.eml | 272 位元組 |
inbox/002.eml | 364 位元組 |
inbox/003.eml | 240 位元組 |
重設摘要值,即種子工作區的 SHA-256(資料庫以其 SQL 傾印計算):3366510ba57c7b69d148f9dd16a74ceaea0a556e649b813b1a5d1d55c446d20d。從空目錄重設是否具確定性:是。使用過的工作區重設後是否得到相同的摘要值:是。
AI 代理可以讀取與變更的內容
- 讀取
- 四封收件匣訊息、生產端聊天訊息、報價作業程序,以及資料庫中的任何資料表。
- 寫入
- 含必要欄位的
out/quote.json、out/reply.eml、指示中指定的那一筆報價資料列的四個欄位:數量、單價、階段與負責人,以及針對上述每一項變更在歷程資料表中新增的一筆資料列。 - 不得觸及
- 輸入檔案、輸入資料夾、其他資料表、資料庫結構描述、quotes 資料表的其他所有欄位與資料列,以及起始時就已存在的每一筆歷程資料列。只要上述任何內容有變更,即未通過門檻檢查,無論該次執行做了什麼,都以零分計。
門檻檢查與檢查項目
驗證器無法評分的提交(因必要輸出缺少、格式錯誤或損壞)會被判定為無效而拒絕,獎勵為零,並附上結構化的原因,而不會當機。接著是四項門檻檢查。任一項未通過,獎勵即為零,且不計入任何檢查項目。
- 輸入未被更動,且 inbox/、chat/ 或 docs/ 下未新增任何檔案。
- 受保護的 ERP 資料表與資料庫結構描述未被更動。
- quotes 資料表:只有 Q-2611 的 qty、unit_price_rm、stage 與 owner 有變更;沒有新增、移除或重新識別任何資料列。
- crm_history:種子資料列未被更動;只針對 Q-2611 附加資料列,且日期為報價日期。
接著是十三個檢查項目,每一個都由驗證器從一份全新的起始狀態副本重新計算,並與磁碟上的檔案與資料庫資料列比對。驗證器從不讀取 AI 代理聲稱自己做了什麼。權重總和為 25;其中 5 個檢查項目為關鍵。
| 檢查項目 | 必須成立的條件 | 權重 | 關鍵 |
|---|---|---|---|
| C1 | 數量依循最新的變更(12,000) | 2 | 是 |
| C2 | 機台為生產端確認的機台(BM-03),而非停機中的機台 | 2 | |
| C3 | 單位成本與依 SOP 重新計算的結果相差在 0.5% 以內 | 3 | |
| C4 | 單價與 SOP 價格完全相同,精確到分 | 3 | |
| C5 | 價格相對於真實成本至少保有 18% 的毛利率 | 2 | 是 |
| C6 | 最早交貨日期與依排程重新計算的結果相符 | 2 | |
| C7 | 交貨標記為無法達成,且報價已在 ERP 中呈報上級 | 3 | 是 |
| C8 | 負責人已改派給業務經理 | 1 | |
| C9 | ERP 資料列與 quote.json 一致(數量,以及精確到分的價格) | 2 | |
| C10 | 回覆以 RM 載明 SOP 價格與最早交貨日期,且未承諾任何更早的日期 | 1 | 是 |
| C11 | 回覆的收件對象為該客戶、標明 Q-2611,且未提及 12,000 pcs 以外的任何數量 | 1 | |
| C12 | 所載價格依 SOP 加成方式由所載成本推得(cost / 0.78,經四捨五入) | 1 | |
| C13 | quotes 資料列中階段與負責人的每一項變更,都記錄在 crm_history 中,並附上新舊值 | 2 | 是 |
版本 1.0.3 中的容許誤差:C3 依其文字所述,比對單位成本是否相差在 0.5% 以內;C4、C9 與 C12 比對價格是否精確到分(相差半分以內);C10 讀取回覆的主旨與內文、所有日期格式,且只讀取報價日期之後的日期。
探針
在買方看到任務之前,我們會先攻擊其驗證器。獎勵作弊是偽造或竄改,必須恰好得到零分。看似合理的錯誤,是細心的工作人員也可能犯下的錯誤;它不得獲得嚴格獎勵,而嚴格獎勵需要通過每項門檻檢查與每個檢查項目。正確的替代解法,是以另一種方式寫出的正確答案;它必須獲得嚴格獎勵。已知不足探針記錄的是我們尚未補上的弱點:它依設計會通過,因此該邊界上的任何變化都會顯現出來。19 個獎勵作弊、26 個看似合理的錯誤、3 個正確的替代解法與 3 個已知不足探針已於 2026年11月10日 執行,每一個都得到預期的結果。大多數看似合理的錯誤都針對回覆這個唯一的自由文字輸出:以我們遇過的每一種日期格式,承諾一個更早的日期。
| 探針 | 類型 | 做了什麼 | 嚴格 | 分數 | 未通過的項目 |
|---|---|---|---|---|---|
empty | 獎勵作弊 | 未寫入任何答案 | 未通過 | 0.00 | 判定為無效而拒絕 |
claim_only | 獎勵作弊 | 語氣肯定的回覆,但未寫入任何檔案 | 未通過 | 0.00 | 判定為無效而拒絕 |
tamper_schedule | 獎勵作弊 | 在排程表中釋放了已預約的機台 | 未通過 | 0.00 | 門檻檢查 2 |
edit_customer_email | 獎勵作弊 | 編輯客戶的電子郵件,讓舊數量看起來像是目前的數量 | 未通過 | 0.00 | 門檻檢查 1 |
superseded_quantity | 看似合理的錯誤 | 依已被取代的數量報價 | 未通過 | 0.40 | C1, C3, C4, C5, C6, C10, C11, C12 |
down_machine | 看似合理的錯誤 | 以停機中的機台計算成本 | 未通過 | 0.40 | C2, C3, C4, C6, C7, C8, C10 |
stale_resin_price | 看似合理的錯誤 | 以資料表中已被取代的樹脂價格定價 | 未通過 | 0.72 | C3, C4, C10 |
json_without_erp | 看似合理的錯誤 | 寫出報價檔案,但從未更新資料庫資料列 | 未通過 | 0.76 | C7, C8, C9 |
contradictory_reply_date | 看似合理的錯誤 | 回覆承諾的日期早於報價本身的日期 | 未通過 | 0.96 | C10 |
wrong_customer_on_row | 獎勵作弊 | 金額正確,但報價資料列上的客戶錯誤 | 未通過 | 0.00 | 門檻檢查 3 |
wrong_sku_on_row | 獎勵作弊 | 金額正確,但報價資料列上的產品錯誤 | 未通過 | 0.00 | 門檻檢查 3 |
duplicate_quote_row | 獎勵作弊 | 新增了第二筆報價資料列 | 未通過 | 0.00 | 門檻檢查 3 |
neighbour_quote_deleted | 獎勵作弊 | 刪除了另一筆報價的資料列 | 未通過 | 0.00 | 門檻檢查 3 |
quotes_table_replaced | 獎勵作弊 | 刪除 quotes 資料表後重建 | 未通過 | 0.00 | 門檻檢查 2、門檻檢查 3 |
schema_column_added | 獎勵作弊 | 在資料庫結構描述中新增了一個欄位 | 未通過 | 0.00 | 門檻檢查 2、門檻檢查 3 |
drop_quotes_table | 獎勵作弊 | 刪除了 quotes 資料表 | 未通過 | 0.00 | 門檻檢查 2,判定為無效而拒絕 |
malformed_quote_json | 獎勵作弊 | 不是有效 JSON 的報價檔案 | 未通過 | 0.00 | 判定為無效而拒絕 |
oversized_number | 獎勵作弊 | 報價檔案中有超出範圍的數字 | 未通過 | 0.00 | 判定為無效而拒絕 |
reply_without_headers | 獎勵作弊 | 沒有電子郵件標頭的回覆 | 未通過 | 0.00 | 判定為無效而拒絕 |
extra_reply_file | 獎勵作弊 | 新增了第二個回覆檔案 | 未通過 | 0.00 | 判定為無效而拒絕 |
forged_customer_email | 獎勵作弊 | 在收件匣中新增了一封偽造的客戶電子郵件 | 未通過 | 0.00 | 門檻檢查 1 |
price_one_cent_off | 看似合理的錯誤 | 價格與作業程序的數字相差一分 | 未通過 | 0.80 | C4, C10, C12 |
erp_price_differs | 看似合理的錯誤 | 資料庫中的價格與報價檔案不同 | 未通過 | 0.92 | C9 |
cost_price_inconsistent | 看似合理的錯誤 | 所載價格無法由所載成本推得 | 未通過 | 0.96 | C12 |
promise_in_subject | 看似合理的錯誤 | 在主旨行中承諾了更早的日期 | 未通過 | 0.96 | C10 |
wrapped_promise | 看似合理的錯誤 | 跨越換行承諾了更早的日期 | 未通過 | 0.96 | C10 |
month_first_promise | 看似合理的錯誤 | 以月份在前的格式承諾了更早的日期 | 未通過 | 0.96 | C10 |
worded_promise | 看似合理的錯誤 | 以文字承諾了更早的日期 | 未通過 | 0.96 | C10 |
reply_wrong_quantity | 看似合理的錯誤 | 回覆提及訂單以外的數量 | 未通過 | 0.96 | C11 |
reply_wrong_currency | 看似合理的錯誤 | 回覆以其他幣別載明價格 | 未通過 | 0.96 | C10 |
reply_to_other_customer | 看似合理的錯誤 | 回覆的收件對象為另一位客戶 | 未通過 | 0.96 | C11 |
slash_date_promise | 看似合理的錯誤 | 以斜線格式承諾了更早的日期 | 未通過 | 0.96 | C10 |
negation_in_subordinate_clause | 看似合理的錯誤 | 承諾了更早的日期,且否定詞只出現在附屬子句中 | 未通過 | 0.96 | C10 |
relative_in_21_days | 看似合理的錯誤 | 承諾在排程無法達成的天數內交貨 | 未通過 | 0.96 | C10 |
contradictory_second_price | 看似合理的錯誤 | 回覆提出了與第一個價格相矛盾的第二個價格 | 未通過 | 0.96 | C10 |
reply_omits_quantity | 看似合理的錯誤 | 回覆從未載明數量 | 未通過 | 0.96 | C11 |
dash_date_promise | 看似合理的錯誤 | 以日-月-年並以連字號分隔的格式承諾了更早的日期 | 未通過 | 0.96 | C10 |
hyphen_month_promise | 看似合理的錯誤 | 以日、月份縮寫與年份並以連字號連接的格式承諾了更早的日期 | 未通過 | 0.96 | C10 |
iso_slash_promise | 看似合理的錯誤 | 以年份在前的斜線格式承諾了更早的日期 | 未通過 | 0.96 | C10 |
date_before_verb | 看似合理的錯誤 | 承諾了更早的日期,且日期在句中位於動詞之前 | 未通過 | 0.96 | C10 |
cost_as_discount | 看似合理的錯誤 | 回覆將工廠內部的單位成本當作折扣價提出 | 未通過 | 0.96 | C10 |
stage_changed_without_history | 看似合理的錯誤 | 報價資料列已呈報上級,但沒有任何歷程資料列記錄此變更 | 未通過 | 0.92 | C13 |
history_rewritten | 獎勵作弊 | 編輯了一筆種子歷程資料列 | 未通過 | 0.00 | 門檻檢查 4 |
history_on_other_quote | 獎勵作弊 | 在另一筆報價下附加了歷程資料列 | 未通過 | 0.00 | 門檻檢查 4 |
history_backdated | 獎勵作弊 | 附加了一筆日期早於報價日期的歷程資料列 | 未通過 | 0.00 | 門檻檢查 4 |
requested_date_no_token | 未解決類別,依設計會通過 | 回覆確認將「by your requested date」(在您要求的日期之前)交貨,但未寫出任何日期 | 通過 | 1.00 | 無 |
lead_time_no_token | 未解決類別,依設計會通過 | 回覆承諾「within your lead time」(在您的交期之內)交貨,但未寫出任何日期 | 通過 | 1.00 | 無 |
vague_week_promise | 未解決類別,依設計會通過 | 回覆承諾「the week after next」(下下週)出貨 | 通過 | 1.00 | 無 |
reply_cites_customer_email | 正確的替代解法 | 回覆引用了客戶的電子郵件,包括其中的日期 | 通過 | 1.00 | 無 |
reply_dates_in_words | 正確的替代解法 | 回覆以文字寫出日期 | 通過 | 1.00 | 無 |
reply_with_total_and_slash_date | 正確的替代解法 | 回覆載明單價、該行總額、設定費,以及斜線格式的日期 | 通過 | 1.00 | 無 |
reference | 參考解法 | 我們的參考答案,從全新重設開始 | 通過 | 1.00 | 無 |
我們的測試框架也從一個正確的最終狀態建立了 29 個惡意輸入:10 個刪除了一個資料表、10 個將資料表的第一個欄位重新命名、一個將資料庫以文字覆寫、6 個將某個輸入替換為目錄、2 個將某個輸出替換為目錄。每一個都回傳了獎勵為零的報告,且未發生驗證器錯誤。
數字的意義
分數。若提交被拒絕或任何門檻檢查未通過,即為零。否則為已達成檢查項目的加權比例:通過的檢查項目權重,除以所有權重的總和。它是用來診斷答案錯在哪裡的指標。
嚴格通過。只有在每項門檻檢查與每個檢查項目都通過時才為真。這是我們建議的訓練獎勵:分數會為只完成一半的工作給分,正如那個寫出報價檔案卻從未更新資料庫的資料列,得分為 0.76。
關鍵。一個獨立欄位,當每個標記為關鍵的檢查項目都通過時為真。此欄位會報告,但從不作為獎勵使用。
重設所保證的內容
重設以程式碼寫入工作區,不使用網路,也不使用時鐘。兩次全新重設會產生相同的摘要值,使用過的工作區重設後也會得到該摘要值,因此買方可以在自己的機器上確認,手上的起始狀態就是驗證器執行時所針對的那一個。摘要值是對檔案與資料庫的 SQL 傾印進行雜湊,因此摘要值相符證明的是邏輯內容相符,而非位元組完全相同。
需由業界專家定奪的事項
在業界有不只一種慣例之處,驗證器只編入其中一種。在委託製作的任務中,由實際從事這項工作的業界專家做出選擇,我們再報告這是否會改變答案。本任務尚待確認的事項:
- 排程中的生產天數是日曆天還是工作天?最早交貨日期(C6)與回覆(C10)會隨答案而改變。
- 回覆是否應載明運費、報價有效期與付款條件?目前回覆完全未載明,也沒有任何檢查項目要求。
其他五個任務也各有尚待確認的慣例,從評分通話中確認姓名是否算是詢問個人資料,到貨物定價前乾噸數如何進位。每一項都列在買方收到的任務紀錄中。
驗證器目前尚未能抓出的問題
我們會攻擊自己的驗證器。2026年11月7日,針對最初版本進行的三次模型審查建立了錯誤的最終狀態,其中兩個驗證器以滿分接受了它們。我們重現了這些情況,並於 2026年11月8日,以對正確最終狀態所做的約 220 個單一變更,測試了全部六個驗證器。發現的類別,以及它們在 2026年11月10日 執行的門檻檢查中、於本任務上的狀態如下:
| 錯誤工作的類別 | 本任務的狀態,2026年11月10日 |
|---|---|
| 回覆與結構化輸出相矛盾:報價檔案載明正確日期,回覆卻承諾了排程無法達成的日期 | 自版本 0.1 起已能抓出:C10(關鍵)與探針 contradictory_reply_date。版本 1.0 也會讀取主旨行與更多日期格式(包括斜線與相對日期),並讓引用客戶電子郵件的正確回覆通過,而版本 0.1 曾錯誤地判定其未通過 |
| 輸出資料列上的識別欄位被改寫,而受檢查的金額仍然正確 | 自版本 1.0 起由門檻檢查 3 抓出:wrong_customer_on_row、wrong_sku_on_row |
| 在輸出資料表中插入額外的資料列 | 自版本 1.0 起由門檻檢查 3 抓出:duplicate_quote_row |
| 歷史或相鄰的資料列被刪除或損毀 | 自版本 1.0 起由門檻檢查 3 抓出:neighbour_quote_deleted,並在種子中新增了第二筆報價資料列,讓刪除有對象可刪 |
| 金額相差最多一個單位,卻通過了文字寫明「精確到分」的檢查項目 | 已於版本 1.0 修正:C4、C9 與 C12 比對至分;price_one_cent_off 以 0.80 嚴格未通過 |
| 使用過的工作區重設失敗,而未能還原起始狀態 | 已於版本 1.0 修正:使用過的工作區會重設為記錄的摘要值 |
| 刪除輸出資料表會使驗證器當機,而非回傳拒絕 | 已於版本 1.0 修正:drop_quotes_table 與 29 個惡意輸入會回傳結構化的拒絕或零分 |
| 重設曾被描述為逐位元組完全相同 | 措辭已更正:摘要值證明的是邏輯內容相符 |
| 每個獎勵作弊探針都只觸及最上層的門檻檢查;沒有一個觸及可變更的輸出資料表 | 已於版本 1.0 修正:有六個探針會寫入 quotes 資料表,每一個都得零分 |
| 回覆以解析器未能讀取的格式承諾了更早的日期:連字號、以連字號連接的月份縮寫、年份在前的斜線格式 | 自版本 1.0.1 起已能抓出:dash_date_promise、hyphen_month_promise、iso_slash_promise。三個完全未包含日期的承諾,被記錄為依設計會通過的未解決類別探針:requested_date_no_token、lead_time_no_token、vague_week_promise |
| 回覆將日期放在承諾之前,或將工廠內部成本當作折扣提出 | 自版本 1.0.2 起已能抓出:date_before_verb 與 cost_as_discount,兩者皆使 C10 未通過 |
| 報價資料列有變更,卻沒有紀錄顯示誰變更了什麼,或歷程被改寫以配合變更 | 自版本 1.0.3 起已能抓出:C13(關鍵)與探針 stage_changed_without_history;歷程資料表受門檻檢查 4 保護,history_rewritten、history_on_other_quote 與 history_backdated 皆得零分 |
| 仍未讀取:必要輸出中與其本身正確數字相矛盾的文字敘述,例如否定其所載價格的回覆、原因欄位、額外的敘述性鍵值,或正確資料表旁附上的報告 | 依設計未解決。目前沒有任何檢查項目會讀取這類文字敘述,手寫的探針也無法補上。唯一的檢查是業界專家的盲評 |
這些審查與我們自己發現的每一個類別,現在都已成為具名的探針,且在 2026年11月10日 執行的門檻檢查中,每一個都得到應有的評分。手寫的探針是回歸測試,而非保證:它們證明我們想得到的每一種錯誤最終狀態都會得到應有的分數,但對於我們沒想到的那些,則無法證明任何事。每個新類別在被發現當天就會成為具名的探針。
變更紀錄
- 2026年11月7日前。撰寫並執行版本 0。來自同一供應商的兩個現行模型,各以一次 rollout 解出。一次以模型進行的驗證器審查發現,回覆檢查接受了承諾排程無法達成之交貨日期的回覆。
- 2026年11月8日。版本 0.1:C10 會解析回覆內文中的日期,並設為關鍵;新增探針
contradictory_reply_date,以 0.96 嚴格未通過。 - 2026年11月8日。版本 1.0:quotes 資料表的欄位層級保護(門檻檢查 3)、對無法評分之提交的結構化拒絕、精確到分的價格比對、更嚴格的回覆檢查(也會讓版本 0.1 曾錯誤判定未通過的正確回覆通過)、兩個新的檢查項目(C11、C12)、27 個新的獎勵作弊與看似合理的錯誤探針、兩個正確的替代解法,以及種子中的一筆歷史報價資料列。參考答案維持不變,因此版本 0 的模型嘗試結果仍然有效。本頁發布。
- 2026年11月8日。版本 1.0.1:回覆檢查可讀取連字號、日-月份縮寫,以及年份在前的斜線日期格式,每一種都附有一個看似合理的錯誤。三個未包含日期的承諾,被記錄為依設計會通過的未解決類別探針。新的模組雜湊值。參考答案維持不變。
- 2026年11月8日。版本 1.0.2:回覆檢查可讀取放在承諾之前的日期,且不再讓將工廠內部成本當作折扣提出的回覆通過。新增一個正確的替代解法。參考答案維持不變。
- 2026年11月8日。版本 1.0.3:種子新增了客戶的催促信,以及一個含四筆撰寫好資料列的歷程資料表,並由門檻檢查 4 進行欄位層級保護。作業程序與指示要求記錄對報價資料列的每一項變更,並由 C13(關鍵)檢查。新增四個探針。價格、日期與參考報價維持不變;權重總和現為 25,因此每個分數都有所變動。
新的結果會連同日期一併公布,無論通過或未通過。
親自執行
首先是一通 20 分鐘的通話:我們會在您的工程師面前執行這個任務,從重設開始,經過一個獎勵作弊與一個看似合理的錯誤,最後到參考解法。在簽署雙向 NDA 後,您的工程師會收到獨立的驗證器,附有以 Python 3.11 撰寫、不需任何第三方套件的種子、重設、評分與自我測試指令,另附工作區、參考最終狀態,以及驗證器針對未更動工作區與參考解法所產生的報告。在您自己的機器上重新執行上述每一個探針,即為首次訂購的驗收測試;我們會在收到您的書面需求後 10 個工作天內交付首次訂購。