标识信息
- 任务
mfg-rfq-001,版本 1.0.3,验证器已按哈希值冻结- 类别
- packaging-quotation,难度 easy(依据公开的门槛检查文件中的标注)
- 结果
unresolved, 由设计决定:回复一经发出,本回合即结束,此时客户尚未作答;在 v1.1 中由从业专家撰写该标签- 领域
- 制造业:塑料包装,以报价回应询价
- 状态
- 公开演示;已完整公开,不对外出售。
- 门槛检查运行
- 2026年11月10日,Python 3.11.8,仅运行确定性门槛检查:无模型运行、无人工评分员、无训练
- 模型尝试
- 版本 0,于2026年11月7日或之前:同一提供商的两个当前模型(其中一个是其小型版本),各运行一次,均得 1.0 分并严格通过。后续版本收紧了验证器、参考答案保持不变,接下来将运行这些版本
工作内容
一家包装厂的销售主管必须在今天发出报价。客户的第二封邮件削减了订单数量并更改了交货日期;由于常用机器停机,生产聊天中已将这项工作转到另一台机器上;报价流程则规定了如何核算成本、定价和上报。智能体收到的任务说明如下:
你是 Tembaga Ridge Packaging 的销售主管(sales_exec_2)。今天是 16 Nov 2026。请在今天向 Selat Biru Agrochem 发出报价 Q-2611。阅读收件箱和生产聊天,遵循docs/SOP-Q-07.md,更新erp/plant.db中的 quotes 行,将你对该行所做的每项更改记录到crm_history中,并写入out/quote.json(qty、machine、unit_cost_rm、unit_price_rm、earliest_delivery 格式为 YYYY-MM-DD、meets_requested_delivery)和out/reply.eml。
正确答案采用最新数量、已确认的机器和当前树脂价格,按照流程重新计算成本和价格,在排产计划中找到最早的空档,将客户要求的日期标记为无法满足,在数据库中上报该报价,记录对报价行所做的每项更改,并写出一封不承诺任何排产计划无法实现之事的回复。
查看初始状态
本页面上的货币金额显示为 [amount];完整文件将在签署保密协议后提供给您的工程师。参考回复刻意保持简洁:验证器读取的是其中的价格、数量和日期,而不是语气。
任务自身的文件,按工作人员接触的顺序排列,然后是参考最终状态和一个看似合理的错误。每页内容都在构建页面时从任务中生成,因此不会与验证器读取的文件产生偏差。高亮标出了发生变化的事实以及验证器发现问题的那一行。
收件箱,4 封邮件
inbox/001.eml9 Nov 2026, 10:14
- From
- procurement@selatbiru.example
- To
- sales@tembagaridge.example
- Subject
- RFQ - 20 L jerrican
Please quote for 50,000 pcs of your 20 L HDPE jerrican (JC20), natural colour. Delivery to Port Klang.
Procurement, Selat Biru Agrochem
inbox/002.eml13 Nov 2026, 15:31
- From
- procurement@selatbiru.example
- To
- sales@tembagaridge.example
- Subject
- Re: RFQ - 20 L jerrican (revised)
Revision to our RFQ: we now need the jerricans in BLUE, and the first order will be 12,000 pcs, not 50,000. We need delivery within 21 days of your quotation date. Please re-quote.
Procurement, Selat Biru Agrochem
inbox/003.eml16 Nov 2026, 08:40
- From
- sales.director@tembagaridge.example
- To
- sales_exec_2@tembagaridge.example
- Subject
- Q-2611 today please
Please get Q-2611 out to Selat Biru today. Follow SOP-Q-07 and check with production first.
inbox/000.eml16 Nov 2026, 09:05
- From
- procurement@selatbiru.example
- To
- sales@tembagaridge.example
- Subject
- Re: RFQ - 20 L jerrican (revised) - quotation?
Good morning. We have not yet received your revised quotation. Our planning meeting is this afternoon, so please send it today.
Procurement, Selat Biru Agrochem
生产聊天
chat/production.json#production
BM-07 is down for a screw and barrel replacement, back 10 Dec at the earliest. Run the JC20 mould on BM-03 until then.
Noted. JC20 cycle on BM-03 runs 18% longer than on BM-07, same single cavity. BM-03 is booked, check machine_schedule before promising dates.
Reminder: drop test on the blue 10 L pails is at 2pm.
流程
docs/SOP-Q-07.mdThe quoting procedure
SOP-Q-07 Quotation costing and disposition (blow moulding)
- Governing request. The latest written customer amendment governs quantity, colour and delivery.
- Machine. Quote on the machine production has confirmed for the job. Never quote on a machine whose status is DOWN.
- Unit cost in RM per piece:
- material mass = part mass x (1 + 3% scrap)
- coloured parts: masterbatch replaces resin at the dosing % in the masterbatch table
- material cost = resin kg x resin price + masterbatch kg x masterbatch price
- resin price = the row with the latest effective_date on or before the quotation date
- machine cost = cycle seconds / cavities / 3600 x machine rate per hour
- set-up = [amount] per job / quantity
- unit cost = material + machine + set-up
- Price. unit price = unit cost / (1 - 22%), rounded to 2 decimals. Never quote below an 18% margin.
- MOQ for JC20 is 10,000 pcs. Below MOQ: stage REJECTED_MOQ and no price is sent.
- Delivery.
- production days = quantity x cycle seconds / cavities / (3600 x machine hours per day x 85% OEE), rounded up
- first free day = the day after booked_until in machine_schedule
- earliest delivery = first free day + production days + 3 days QC and dispatch
- Disposition, in the quotes table:
- delivery can be met: stage QUOTED, owner stays with the sales executive
- delivery cannot be met: still price the job, stage ESCALATED_LEADTIME, owner = the sales manager. The reply states the price and the earliest delivery date and does not promise the requested date.
- Outputs. Update the quotes row (qty, unit_price_rm, stage, owner). Record every change you make to a quotes field as a row in crm_history (quote_id, ts on the quotation date, actor, field, old_value, new_value, note); never edit an existing history row. Write out/quote.json and out/reply.eml.
工作开始前的数据库
erp/plant.dbThe tables the job touches or reads
quotes2 rows
id | customer_id | sku | qty | unit_price_rm | stage | owner |
|---|---|---|---|---|---|---|
| Q-2604 | C-0388 | PL10 | 20000 | [amount] | QUOTED | sales_exec_2 |
| Q-2611 | C-0417 | JC20 | 50000 | null | ENQUIRY | sales_exec_2 |
machine_schedule2 rows
machine_id | booked_until |
|---|---|
| BM-03 | 2026-11-27 |
| BM-07 | 2026-12-09 |
machines2 rows
id | status | rate_rm_per_hr | hours_per_day |
|---|---|---|---|
| BM-07 | DOWN | [amount] | 20.0 |
| BM-03 | RUNNING | [amount] | 20.0 |
crm_history4 rows
id | quote_id | ts | actor | field | old_value | new_value | note |
|---|---|---|---|---|---|---|---|
| 1 | Q-2604 | 2026-11-02 14:10 | sales_exec_2 | stage | ENQUIRY | QUOTED | PL10 20,000 pcs quoted at [amount] |
| 2 | Q-2611 | 2026-11-09 10:40 | sales_exec_2 | stage | null | ENQUIRY | RFQ received: 50,000 pcs JC20 natural, delivery Port Klang |
| 3 | Q-2611 | 2026-11-13 16:02 | sales_exec_2 | note | null | null | Customer revision: blue, first order 12,000 pcs, delivery within 21 days of quotation; re-quote pending |
| 4 | Q-2611 | 2026-11-16 08:45 | sales_exec_2 | note | null | null | Sales director: quote out today per SOP-Q-07, check with production first |
参考最终状态
out/quote.jsonJSON
{
"quote_id": "Q-2611",
"qty": 12000,
"machine": "BM-03",
"unit_cost_rm": "[amount]",
"unit_price_rm": "[amount]",
"earliest_delivery": "2026-12-11",
"meets_requested_delivery": false
}out/reply.eml16 Nov 2026, 11:00
- From
- sales_exec_2@tembagaridge.example
- To
- procurement@selatbiru.example
- Subject
- Quotation Q-2611
Our price for 12,000 pcs JC20 is [amount] per piece. Earliest delivery is 2026-12-11.
erp/plant.dbAfter the work
quotes, the Q-2611 row1 rows
id | customer_id | sku | qty | unit_price_rm | stage | owner |
|---|---|---|---|---|---|---|
| Q-2611 | C-0417 | JC20 | 12000 | [amount] | ESCALATED_LEADTIME | sales_mgr_1 |
crm_history, rows the work added4 rows
id | quote_id | ts | actor | field | old_value | new_value | note |
|---|---|---|---|---|---|---|---|
| 5 | Q-2611 | 2026-11-16 11:00 | sales_exec_2 | qty | 50000 | 12000 | Q-2611 re-quoted per SOP-Q-07 |
| 6 | Q-2611 | 2026-11-16 11:00 | sales_exec_2 | unit_price_rm | null | [amount] | Q-2611 re-quoted per SOP-Q-07 |
| 7 | Q-2611 | 2026-11-16 11:00 | sales_exec_2 | stage | ENQUIRY | ESCALATED_LEADTIME | Q-2611 re-quoted per SOP-Q-07 |
| 8 | Q-2611 | 2026-11-16 11:00 | sales_exec_2 | owner | sales_exec_2 | sales_mgr_1 | Q-2611 re-quoted per SOP-Q-07 |
验证器:通过 · 得分 1.00
验证器原始报告,参考解法
{
"gates": [
{
"name": "inputs untouched and no file added under inbox/, chat/ or docs/",
"passed": true
},
{
"name": "protected ERP tables and the database schema untouched",
"passed": true
},
{
"name": "quotes table: only Q-2611's qty, unit_price_rm, stage and owner changed; no row added, removed or re-identified",
"passed": true
},
{
"name": "crm_history: seeded rows untouched; rows appended only for Q-2611 and dated on the quotation date",
"passed": true
}
],
"criteria": [
{
"id": "C1",
"desc": "Quantity follows the latest amendment (12,000)",
"passed": true,
"weight": 2,
"critical": true
},
{
"id": "C2",
"desc": "Machine is the one production confirmed (BM-03), not the down machine",
"passed": true,
"weight": 2,
"critical": false
},
{
"id": "C3",
"desc": "Unit cost within 0.5% of the SOP recomputation",
"passed": true,
"weight": 3,
"critical": false
},
{
"id": "C4",
"desc": "Unit price equals the SOP price to the cent",
"passed": true,
"weight": 3,
"critical": false
},
{
"id": "C5",
"desc": "Price keeps at least an 18% margin on the true cost",
"passed": true,
"weight": 2,
"critical": true
},
{
"id": "C6",
"desc": "Earliest delivery date matches the schedule recomputation",
"passed": true,
"weight": 2,
"critical": false
},
{
"id": "C7",
"desc": "Delivery marked as not met and the quote escalated in the ERP",
"passed": true,
"weight": 3,
"critical": true
},
{
"id": "C8",
"desc": "Owner reassigned to the sales manager",
"passed": true,
"weight": 1,
"critical": false
},
{
"id": "C9",
"desc": "ERP row agrees with quote.json (qty, and price to the cent)",
"passed": true,
"weight": 2,
"critical": false
},
{
"id": "C10",
"desc": "Reply states the SOP price in RM and the earliest delivery date, and promises no earlier date",
"passed": true,
"weight": 1,
"critical": true
},
{
"id": "C11",
"desc": "Reply is addressed to the customer, identifies Q-2611, and names no quantity other than 12,000 pcs",
"passed": true,
"weight": 1,
"critical": false
},
{
"id": "C12",
"desc": "Stated price follows from the stated cost under the SOP mark-up (cost / 0.78, rounded)",
"passed": true,
"weight": 1,
"critical": false
},
{
"id": "C13",
"desc": "Each change to stage and owner on the quotes row is logged in crm_history with its old and new value",
"passed": true,
"weight": 2,
"critical": true
}
],
"strict_pass": true,
"reward": 1.0,
"rejection": null
}一个看似合理的错误:按已停机的机器核算成本
探针 down_machine。看似合理的错误。其文件,以及验证器发现的问题。
out/quote.jsonJSON
{
"quote_id": "Q-2611",
"qty": 12000,
"machine": "BM-07",
"unit_cost_rm": "[amount]",
"unit_price_rm": "[amount]",
"earliest_delivery": "2026-11-27",
"meets_requested_delivery": true
}out/reply.eml16 Nov 2026, 11:00
- From
- sales_exec_2@tembagaridge.example
- To
- procurement@selatbiru.example
- Subject
- Quotation Q-2611
Our price for 12,000 pcs JC20 is [amount] per piece. Earliest delivery is 2026-11-27.
验证器:未通过 · 得分 0.40
C2机器为生产部门确认的机器(BM-03),而不是停机的机器C3单位成本与按 SOP 重新计算的结果相差在 0.5% 以内C4单价与 SOP 价格精确到分完全一致C6最早交货日期与按排产计划重新计算的结果一致C7交货标记为无法满足,并已在 ERP 中上报该报价C8负责人改派给销售经理C10回复中写明以 RM 计的 SOP 价格和最早交货日期,且不承诺更早的日期
验证器原始报告,down_machine
{
"gates": [
{
"name": "inputs untouched and no file added under inbox/, chat/ or docs/",
"passed": true
},
{
"name": "protected ERP tables and the database schema untouched",
"passed": true
},
{
"name": "quotes table: only Q-2611's qty, unit_price_rm, stage and owner changed; no row added, removed or re-identified",
"passed": true
},
{
"name": "crm_history: seeded rows untouched; rows appended only for Q-2611 and dated on the quotation date",
"passed": true
}
],
"criteria": [
{
"id": "C1",
"desc": "Quantity follows the latest amendment (12,000)",
"passed": true,
"weight": 2,
"critical": true
},
{
"id": "C2",
"desc": "Machine is the one production confirmed (BM-03), not the down machine",
"passed": false,
"weight": 2,
"critical": false
},
{
"id": "C3",
"desc": "Unit cost within 0.5% of the SOP recomputation",
"passed": false,
"weight": 3,
"critical": false
},
{
"id": "C4",
"desc": "Unit price equals the SOP price to the cent",
"passed": false,
"weight": 3,
"critical": false
},
{
"id": "C5",
"desc": "Price keeps at least an 18% margin on the true cost",
"passed": true,
"weight": 2,
"critical": true
},
{
"id": "C6",
"desc": "Earliest delivery date matches the schedule recomputation",
"passed": false,
"weight": 2,
"critical": false
},
{
"id": "C7",
"desc": "Delivery marked as not met and the quote escalated in the ERP",
"passed": false,
"weight": 3,
"critical": true
},
{
"id": "C8",
"desc": "Owner reassigned to the sales manager",
"passed": false,
"weight": 1,
"critical": false
},
{
"id": "C9",
"desc": "ERP row agrees with quote.json (qty, and price to the cent)",
"passed": true,
"weight": 2,
"critical": false
},
{
"id": "C10",
"desc": "Reply states the SOP price in RM and the earliest delivery date, and promises no earlier date",
"passed": false,
"weight": 1,
"critical": true
},
{
"id": "C11",
"desc": "Reply is addressed to the customer, identifies Q-2611, and names no quantity other than 12,000 pcs",
"passed": true,
"weight": 1,
"critical": false
},
{
"id": "C12",
"desc": "Stated price follows from the stated cost under the SOP mark-up (cost / 0.78, rounded)",
"passed": true,
"weight": 1,
"critical": false
},
{
"id": "C13",
"desc": "Each change to stage and owner on the quotes row is logged in crm_history with its old and new value",
"passed": true,
"weight": 2,
"critical": true
}
],
"strict_pass": false,
"reward": 0.4,
"rejection": null
}注意要点
- 第二封邮件取代了第一封。
- 这一约束只出现在聊天中。
- 回复不得承诺排产计划无法满足的日期。
- 检查程序读取的是文件和数据行,从不读取回复中的说法。
- 对报价行的每项更改都必须记录在历史表中,日期为报价日期。
本版本的五个组成部分
- 客户邮件
- 已包含:询价、修改、总监的备注和催办邮件,收件箱中共 4 封邮件
- 内部讨论
- 已包含:生产聊天,3 行
- 相关文件
- 已包含:报价流程
- 历史日志
- 已包含:历史表,工作开始前有 4 行编写好的记录。对报价行的每项更改都必须新增一行,由 C13 检查
- 结果标签
- 已包含在任务记录中,编写为“unresolved”。这是由任务构造决定的:回合在发出回复时结束,此时客户尚未回复;在 v1.1 中由从业专家编写该标签
工作区
每次运行都从相同的文件和相同的数据库开始,由任务自身的重置程序重新写入。
| 路径 | 重置后包含的内容 |
|---|---|
chat/production.json | 639 字节 |
docs/SOP-Q-07.md | 1877 字节 |
erp/plant.db | crm_history (4), customers (2), machine_schedule (2), machines (2), masterbatch (2), mould_machine (1), products (2), quotes (2), resin_prices (3), staff (3) |
inbox/000.eml | 324 字节 |
inbox/001.eml | 272 字节 |
inbox/002.eml | 364 字节 |
inbox/003.eml | 240 字节 |
重置摘要值,即初始工作区的 SHA-256(数据库以其 SQL 转储计):3366510ba57c7b69d148f9dd16a74ceaea0a556e649b813b1a5d1d55c446d20d。从空目录重置是否确定:是。使用过的工作区重置后是否得到相同摘要值:是。
智能体可以读取和修改什么
- 读取
- 4 封收件箱邮件、生产聊天、报价流程,以及数据库中的任何表。
- 写入
- 包含所需字段的
out/quote.json、out/reply.eml,任务说明所指定的那一行报价记录中的 4 个字段:数量、单价、阶段和负责人,以及针对每项上述更改在历史表中新增的一行。 - 不得改动
- 输入文件、输入文件夹、其他表、数据库模式、quotes 表的其他所有字段和行,以及初始时已存在的每一行历史记录。对其中任何一项的更改都会导致门槛检查未通过,无论这次运行做了什么,都得零分。
门槛检查与检查项
如果提交内容因必需的输出缺失、格式错误或已损坏而无法被验证器评分,则判为无效并给予零奖励,同时附上结构化原因,而不会崩溃。之后是 4 项门槛检查。任何一项未通过,奖励即为零,且不计算任何检查项。
- 输入未被改动,inbox/、chat/ 或 docs/ 下未添加文件。
- 受保护的 ERP 表和数据库模式未被改动。
- quotes 表:仅 Q-2611 的 qty、unit_price_rm、stage 和 owner 有变动;未添加、删除任何行,也未更改任何行的标识。
- crm_history:初始行未被改动;仅为 Q-2611 追加行,且日期为报价日期。
之后是 13 个检查项,每一项都由验证器基于初始状态的全新副本重新计算,并与磁盘上的文件和数据库行进行比较。验证器从不读取智能体声称自己做了什么。权重之和为 25;其中 5 个检查项为关键项。
| 检查项 | 必须成立的条件 | 权重 | 关键 |
|---|---|---|---|
| C1 | 数量采用最新修改(12,000) | 2 | 是 |
| C2 | 机器为生产部门确认的机器(BM-03),而不是停机的机器 | 2 | |
| C3 | 单位成本与按 SOP 重新计算的结果相差在 0.5% 以内 | 3 | |
| C4 | 单价与 SOP 价格精确到分完全一致 | 3 | |
| C5 | 价格相对真实成本至少保留 18% 的利润率 | 2 | 是 |
| C6 | 最早交货日期与按排产计划重新计算的结果一致 | 2 | |
| C7 | 交货标记为无法满足,并已在 ERP 中上报该报价 | 3 | 是 |
| C8 | 负责人改派给销售经理 | 1 | |
| C9 | ERP 行与 quote.json 一致(数量,以及精确到分的价格) | 2 | |
| C10 | 回复中写明以 RM 计的 SOP 价格和最早交货日期,且不承诺更早的日期 | 1 | 是 |
| C11 | 回复的收件人为该客户,注明 Q-2611,且未提及 12,000 pcs 以外的任何数量 | 1 | |
| C12 | 所述价格依据 SOP 加价规则由所述成本得出(cost / 0.78,取整) | 1 | |
| C13 | quotes 行中 stage 和 owner 的每项更改都记录在 crm_history 中,并附旧值和新值 | 2 | 是 |
版本 1.0.3 中的容差:C3 按其文本所述,比较单位成本是否相差在 0.5% 以内;C4、C9 和 C12 将价格精确到分进行比较(误差在半分以内);C10 读取回复的主题和正文,识别所有日期格式,且仅读取报价日期之后的日期。
探针
在买方看到任务之前,我们会先攻击其验证器。奖励作弊指伪造或篡改,必须恰好得零分。看似合理的错误是细心的工作人员也可能犯的错误,不得获得严格奖励,而严格奖励要求所有门槛检查和所有检查项均通过。正确的替代解法是以另一种方式写出的正确答案,必须获得严格奖励。已知不足探针记录我们尚未解决的弱点:它按设计会通过,因此该边界上的任何变化都会显现出来。我们于 2026年11月10日 运行了 19 种奖励作弊、26 种看似合理的错误、3 种正确的替代解法和 3 个已知不足探针,每一个都返回了预期结果。大多数看似合理的错误针对的是回复这一唯一的自由文本输出:以我们遇到过的每一种日期格式承诺更早的日期。
| 探针 | 类型 | 做了什么 | 严格 | 得分 | 哪项未通过 |
|---|---|---|---|---|---|
empty | 奖励作弊 | 未写入任何答案 | 未通过 | 0.00 | 判为无效 |
claim_only | 奖励作弊 | 回复信心十足,但没有写入任何文件 | 未通过 | 0.00 | 判为无效 |
tamper_schedule | 奖励作弊 | 在排产表中释放了已被占用的机器 | 未通过 | 0.00 | 门槛检查 2 |
edit_customer_email | 奖励作弊 | 修改了客户邮件,使旧数量看起来是当前数量 | 未通过 | 0.00 | 门槛检查 1 |
superseded_quantity | 看似合理的错误 | 按已作废的数量报价 | 未通过 | 0.40 | C1, C3, C4, C5, C6, C10, C11, C12 |
down_machine | 看似合理的错误 | 按已停机的机器核算成本 | 未通过 | 0.40 | C2, C3, C4, C6, C7, C8, C10 |
stale_resin_price | 看似合理的错误 | 按价格表中已被取代的树脂价格定价 | 未通过 | 0.72 | C3, C4, C10 |
json_without_erp | 看似合理的错误 | 写入了报价文件,但从未更新数据库行 | 未通过 | 0.76 | C7, C8, C9 |
contradictory_reply_date | 看似合理的错误 | 回复承诺的日期早于报价本身的日期 | 未通过 | 0.96 | C10 |
wrong_customer_on_row | 奖励作弊 | 金额正确,但报价行中的客户错误 | 未通过 | 0.00 | 门槛检查 3 |
wrong_sku_on_row | 奖励作弊 | 金额正确,但报价行中的产品错误 | 未通过 | 0.00 | 门槛检查 3 |
duplicate_quote_row | 奖励作弊 | 新增了第二个报价行 | 未通过 | 0.00 | 门槛检查 3 |
neighbour_quote_deleted | 奖励作弊 | 删除了另一个报价的行 | 未通过 | 0.00 | 门槛检查 3 |
quotes_table_replaced | 奖励作弊 | 删除并重建了 quotes 表 | 未通过 | 0.00 | 门槛检查 2,门槛检查 3 |
schema_column_added | 奖励作弊 | 在数据库模式中添加了一列 | 未通过 | 0.00 | 门槛检查 2,门槛检查 3 |
drop_quotes_table | 奖励作弊 | 删除了 quotes 表 | 未通过 | 0.00 | 门槛检查 2,判为无效 |
malformed_quote_json | 奖励作弊 | 报价文件不是有效的 JSON | 未通过 | 0.00 | 判为无效 |
oversized_number | 奖励作弊 | 报价文件中存在超出范围的数值 | 未通过 | 0.00 | 判为无效 |
reply_without_headers | 奖励作弊 | 回复没有邮件头 | 未通过 | 0.00 | 判为无效 |
extra_reply_file | 奖励作弊 | 新增了第二个回复文件 | 未通过 | 0.00 | 判为无效 |
forged_customer_email | 奖励作弊 | 在收件箱中添加了一封伪造的客户邮件 | 未通过 | 0.00 | 门槛检查 1 |
price_one_cent_off | 看似合理的错误 | 价格与流程计算结果相差一分 | 未通过 | 0.80 | C4, C10, C12 |
erp_price_differs | 看似合理的错误 | 数据库中的价格与报价文件不一致 | 未通过 | 0.92 | C9 |
cost_price_inconsistent | 看似合理的错误 | 所述价格无法由所述成本得出 | 未通过 | 0.96 | C12 |
promise_in_subject | 看似合理的错误 | 在主题行中承诺了更早的日期 | 未通过 | 0.96 | C10 |
wrapped_promise | 看似合理的错误 | 跨换行承诺了更早的日期 | 未通过 | 0.96 | C10 |
month_first_promise | 看似合理的错误 | 以月份在前的格式承诺了更早的日期 | 未通过 | 0.96 | C10 |
worded_promise | 看似合理的错误 | 以文字形式承诺了更早的日期 | 未通过 | 0.96 | C10 |
reply_wrong_quantity | 看似合理的错误 | 回复提及的数量与订单数量不同 | 未通过 | 0.96 | C11 |
reply_wrong_currency | 看似合理的错误 | 回复以另一种货币报价 | 未通过 | 0.96 | C10 |
reply_to_other_customer | 看似合理的错误 | 回复的收件人是另一位客户 | 未通过 | 0.96 | C11 |
slash_date_promise | 看似合理的错误 | 以斜杠格式承诺了更早的日期 | 未通过 | 0.96 | C10 |
negation_in_subordinate_clause | 看似合理的错误 | 承诺了更早的日期,否定词只出现在从句中 | 未通过 | 0.96 | C10 |
relative_in_21_days | 看似合理的错误 | 承诺在排产计划无法满足的天数内交货 | 未通过 | 0.96 | C10 |
contradictory_second_price | 看似合理的错误 | 回复给出了与第一个价格相矛盾的第二个价格 | 未通过 | 0.96 | C10 |
reply_omits_quantity | 看似合理的错误 | 回复从未写明数量 | 未通过 | 0.96 | C11 |
dash_date_promise | 看似合理的错误 | 以连字符分隔的“日-月-年”格式承诺了更早的日期 | 未通过 | 0.96 | C10 |
hyphen_month_promise | 看似合理的错误 | 以连字符连接的“日、月份缩写、年”格式承诺了更早的日期 | 未通过 | 0.96 | C10 |
iso_slash_promise | 看似合理的错误 | 以年份在前的斜杠格式承诺了更早的日期 | 未通过 | 0.96 | C10 |
date_before_verb | 看似合理的错误 | 承诺了更早的日期,且日期在句中位于动词之前 | 未通过 | 0.96 | C10 |
cost_as_discount | 看似合理的错误 | 回复将工厂内部的单位成本作为折扣价提供 | 未通过 | 0.96 | C10 |
stage_changed_without_history | 看似合理的错误 | 报价行已上报,但没有历史行记录该更改 | 未通过 | 0.92 | C13 |
history_rewritten | 奖励作弊 | 修改了一行初始历史记录 | 未通过 | 0.00 | 门槛检查 4 |
history_on_other_quote | 奖励作弊 | 为另一个报价追加了历史行 | 未通过 | 0.00 | 门槛检查 4 |
history_backdated | 奖励作弊 | 追加的历史行日期早于报价日期 | 未通过 | 0.00 | 门槛检查 4 |
requested_date_no_token | 未解决类别,按设计会通过 | 回复确认“在您要求的日期前”交货,但未写明日期 | 通过 | 1.00 | 无 |
lead_time_no_token | 未解决类别,按设计会通过 | 回复承诺“在您的交货周期内”交货,但未写明日期 | 通过 | 1.00 | 无 |
vague_week_promise | 未解决类别,按设计会通过 | 回复承诺“下下周”发货 | 通过 | 1.00 | 无 |
reply_cites_customer_email | 正确的替代解法 | 回复引用了客户的邮件,包括其中的日期 | 通过 | 1.00 | 无 |
reply_dates_in_words | 正确的替代解法 | 回复以文字形式给出日期 | 通过 | 1.00 | 无 |
reply_with_total_and_slash_date | 正确的替代解法 | 回复写明了单价、行合计、开机费,以及斜杠格式的日期 | 通过 | 1.00 | 无 |
reference | 参考解法 | 我们的参考答案,基于全新重置 | 通过 | 1.00 | 无 |
我们的测试框架还基于一个正确的最终状态构造了 29 个恶意输入:10 个删除了一张表,10 个重命名了某张表的第一列,1 个用文本覆盖了数据库,6 个将某个输入替换为目录,2 个将某个输出替换为目录。每一个都返回了零奖励的报告,且没有验证器错误。
各项数字的含义
得分。如果提交被拒绝或任何门槛检查未通过,则为零。否则为已满足检查项的加权占比:通过的检查项权重之和除以全部权重之和。它用于诊断答案错在哪里。
严格。仅当所有门槛检查和所有检查项均通过时为真。这是我们推荐的训练奖励:得分会奖励只完成一半的工作,正如那条写入了报价文件却从未更新数据库的记录得到了 0.76 所示。
关键。一个单独的字段,当所有标记为关键的检查项均通过时为真。该字段仅作报告,从不用作奖励。
重置所保证的内容
重置通过代码写入工作区,不访问网络,也不依赖时钟。两次全新重置会产生相同的摘要值,使用过的工作区也会重置到该摘要值,因此买方可以在自己的机器上确认,自己拿到的初始状态正是验证器运行时所用的状态。摘要值对文件和数据库的 SQL 转储进行哈希,因此摘要值一致证明逻辑内容一致,而不是字节完全相同。
需要从业专家定夺的问题
凡是行业内存在多种惯例的地方,验证器只采用其中一种。在委托开发的任务中,由从事这项工作的从业专家作出选择,我们会报告这一选择是否改变答案。本任务尚待定夺的问题:
- 排产计划中的生产天数是自然日还是工作日?最早交货日期(C6)和回复(C10)会随答案而变化。
- 回复中是否应包含运费、报价有效期和付款条款?目前回复中均未包含,也没有检查项要求这些内容。
其他 5 个任务各有其尚待定夺的惯例,从在评分通话中确认姓名是否算作索取个人信息,到货物定价前干吨如何取整。每一项都列在买方收到的任务记录中。
验证器目前还无法发现的问题
我们会攻击自己的验证器。2026年11月7日,3 次基于模型的评审针对首批版本构造了错误的最终状态,其中两个验证器以满分接受了它们。我们复现了这些问题,并于2026年11月8日针对正确最终状态的约 220 个单点修改测试了全部 6 个验证器。发现的类别,以及它们在 2026年11月10日 门槛检查运行中于本任务上的状态:
| 错误工作的类别 | 本任务上的状态,2026年11月10日 |
|---|---|
| 回复与结构化输出相矛盾:回复承诺了排产计划无法满足的日期,而报价文件中的日期是正确的 | 自版本 0.1 起由关键检查项 C10 和探针 contradictory_reply_date 发现。版本 1.0 还会读取主题行和更多日期格式(包括斜杠日期和相对日期),并会让引用了客户邮件的正确回复通过,而版本 0.1 曾错误地判其未通过 |
| 输出行中的标识字段被改写,而被检查的金额保持正确 | 自版本 1.0 起由门槛检查 3 发现:wrong_customer_on_row、wrong_sku_on_row |
| 在输出表中插入了额外的行 | 自版本 1.0 起由门槛检查 3 发现:duplicate_quote_row |
| 历史行或相邻行被删除或损坏 | 自版本 1.0 起由门槛检查 3 发现:neighbour_quote_deleted;初始数据中新增了第二个报价行,以便有可删除的对象 |
| 金额偏差最多一个单位,仍能通过文本写明“精确到分”的检查项 | 已在版本 1.0 中解决:C4、C9 和 C12 精确到分进行比较;price_one_cent_off 以 0.80 严格未通过 |
| 使用过的工作区重置失败,未能恢复初始状态 | 已在版本 1.0 中解决:使用过的工作区会重置到记录的摘要值 |
| 删除输出表会导致验证器崩溃,而不是返回拒绝 | 已在版本 1.0 中解决:drop_quotes_table 个和 29 个恶意输入返回结构化拒绝或零分 |
| 重置曾被描述为逐字节完全相同 | 措辞已更正:摘要值证明的是逻辑内容一致 |
| 每个奖励作弊探针都只测试了顶层门槛检查;没有一个触及可变的输出表 | 已在版本 1.0 中解决:6 个探针写入 quotes 表,每个都得零分 |
| 回复以解析器无法读取的格式承诺了更早的日期:连字符格式、以连字符连接的月份缩写格式、年份在前的斜杠格式 | 自版本 1.0.1 起已能发现:dash_date_promise、hyphen_month_promise、iso_slash_promise。3 个完全不含日期的承诺被记录为按设计会通过的未解决类别探针:requested_date_no_token、lead_time_no_token、vague_week_promise |
| 回复将日期放在承诺之前,或将工厂内部成本作为折扣提供 | 自版本 1.0.2 起已能发现:date_before_verb 和 cost_as_discount,均未通过 C10 |
| 报价行发生变更,却没有记录谁改了什么,或历史记录被改写以掩盖变更 | 自版本 1.0.3 起由关键检查项 C13 和探针 stage_changed_without_history 发现;历史表受门槛检查 4 保护,history_rewritten、history_on_other_quote 和 history_backdated 均得零分 |
| 尚未读取:必需输出中与其自身正确数字相矛盾的文字,例如回复否定了自己所报的价格、原因列、额外的叙述性键,或正确数据表旁附的报告 | 按设计保留,未解决。目前没有检查项读取这些文字,手工编写的探针也无法解决这一问题。唯一的检查手段是从业专家的盲评 |
这些评审和我们自己发现的每个类别现在都已成为具名探针,并且在 2026年11月10日 的门槛检查运行中均按要求得分。手工编写的探针是回归测试,不是保证:它们证明了我们想到的每一种错误最终状态都得到应有的分数,但对我们没有想到的情况则无法证明任何事情。每个新类别在被发现当天就会成为具名探针。
变更记录
- 截至2026年11月7日。编写并运行了版本 0。同一提供商的两个当前模型各运行一次即完成了任务。一次基于模型的验证器评审发现,回复检查项会接受排产计划无法满足的交货日期承诺。
- 2026年11月8日。版本 0.1:C10 解析回复正文中的日期,并设为关键项;新增探针
contradictory_reply_date,以 0.96 严格未通过。 - 2026年11月8日。版本 1.0:对 quotes 表实施字段级保护(门槛检查 3);对无法评分的提交给出结构化拒绝;价格精确到分进行比较;回复检查更严格,同时会让版本 0.1 曾错误判为未通过的正确回复通过;新增两个检查项(C11、C12);新增 27 个奖励作弊和看似合理的错误探针;两个正确的替代解法;初始数据中新增一行历史报价记录。参考答案保持不变,因此版本 0 的模型尝试结果依然有效。本页面发布。
- 2026年11月8日。版本 1.0.1:回复检查可读取连字符格式、“日-月份缩写”格式和年份在前的斜杠格式日期,每种格式各配一个看似合理的错误。3 个不含日期的承诺被记录为按设计会通过的未解决类别探针。模块哈希已更新。参考答案保持不变。
- 2026年11月8日。版本 1.0.2:回复检查可读取位于承诺之前的日期,并且不再让将工厂内部成本作为折扣提供的回复通过。新增一个正确的替代解法。参考答案保持不变。
- 2026年11月8日。版本 1.0.3:初始数据新增客户的催办邮件,以及一张含 4 行编写记录的历史表,该表由门槛检查 4 实施字段级保护。流程和任务说明要求记录对报价行的每项更改,并由关键检查项 C13 进行检查。新增 4 个探针。价格、日期和参考报价保持不变;权重之和现为 25,因此所有得分都有变动。
新结果将连同日期一起发布,无论通过与否。
亲自运行
首先是一次 20 分钟的通话:我们在您的工程师面前运行此任务,从重置开始,依次经过一个奖励作弊和一个看似合理的错误,直到参考解法。在签署双向保密协议后,您的工程师将收到独立的验证器,附带基于 Python 3.11 且不依赖任何第三方包的种子、重置、评分和自测命令,以及工作区、参考最终状态和验证器针对未改动工作区和参考解法生成的报告。在您自己的机器上重新运行上述每个探针,即为首单的验收测试;我们会在收到您的书面需求后 10 个工作日内交付首单。