菜单

研究

包装重新报价,版本 1.0.3:每个检查项,以及每个已知不足

完整公开的一个演示任务:工作内容、初始状态、门槛检查和 13 个检查项、每个探针及其结果、奖励的定义、重置所保证的内容,以及验证器目前还无法发现的错误。

任务 mfg-rfq-001 · 版本 1.0.3,门槛检查运行于 2026年11月10日 · Datarena

公开演示 · 演示任务的来源与范围。

标识信息

任务
mfg-rfq-001,版本 1.0.3,验证器已按哈希值冻结
类别
packaging-quotation,难度 easy(依据公开的门槛检查文件中的标注)
结果
unresolved, 由设计决定:回复一经发出,本回合即结束,此时客户尚未作答;在 v1.1 中由从业专家撰写该标签
领域
制造业:塑料包装,以报价回应询价
状态
公开演示;已完整公开,不对外出售。
门槛检查运行
2026年11月10日,Python 3.11.8,仅运行确定性门槛检查:无模型运行、无人工评分员、无训练
模型尝试
版本 0,于2026年11月7日或之前:同一提供商的两个当前模型(其中一个是其小型版本),各运行一次,均得 1.0 分并严格通过。后续版本收紧了验证器、参考答案保持不变,接下来将运行这些版本

工作内容

一家包装厂的销售主管必须在今天发出报价。客户的第二封邮件削减了订单数量并更改了交货日期;由于常用机器停机,生产聊天中已将这项工作转到另一台机器上;报价流程则规定了如何核算成本、定价和上报。智能体收到的任务说明如下:

你是 Tembaga Ridge Packaging 的销售主管(sales_exec_2)。今天是 16 Nov 2026。请在今天向 Selat Biru Agrochem 发出报价 Q-2611。阅读收件箱和生产聊天,遵循 docs/SOP-Q-07.md,更新 erp/plant.db 中的 quotes 行,将你对该行所做的每项更改记录到 crm_history 中,并写入 out/quote.json(qty、machine、unit_cost_rm、unit_price_rm、earliest_delivery 格式为 YYYY-MM-DD、meets_requested_delivery)和 out/reply.eml。

正确答案采用最新数量、已确认的机器和当前树脂价格,按照流程重新计算成本和价格,在排产计划中找到最早的空档,将客户要求的日期标记为无法满足,在数据库中上报该报价,记录对报价行所做的每项更改,并写出一封不承诺任何排产计划无法实现之事的回复。

查看初始状态

本页面上的货币金额显示为 [amount];完整文件将在签署保密协议后提供给您的工程师。参考回复刻意保持简洁:验证器读取的是其中的价格、数量和日期,而不是语气。

任务自身的文件,按工作人员接触的顺序排列,然后是参考最终状态和一个看似合理的错误。每页内容都在构建页面时从任务中生成,因此不会与验证器读取的文件产生偏差。高亮标出了发生变化的事实以及验证器发现问题的那一行。

收件箱,4 封邮件

inbox/001.eml9 Nov 2026, 10:14

From
procurement@selatbiru.example
To
sales@tembagaridge.example
Subject
RFQ - 20 L jerrican

Please quote for 50,000 pcs of your 20 L HDPE jerrican (JC20), natural colour. Delivery to Port Klang.

Procurement, Selat Biru Agrochem

inbox/002.eml13 Nov 2026, 15:31

From
procurement@selatbiru.example
To
sales@tembagaridge.example
Subject
Re: RFQ - 20 L jerrican (revised)

Revision to our RFQ: we now need the jerricans in BLUE, and the first order will be 12,000 pcs, not 50,000. We need delivery within 21 days of your quotation date. Please re-quote.

Procurement, Selat Biru Agrochem

inbox/003.eml16 Nov 2026, 08:40

From
sales.director@tembagaridge.example
To
sales_exec_2@tembagaridge.example
Subject
Q-2611 today please

Please get Q-2611 out to Selat Biru today. Follow SOP-Q-07 and check with production first.

inbox/000.eml16 Nov 2026, 09:05

From
procurement@selatbiru.example
To
sales@tembagaridge.example
Subject
Re: RFQ - 20 L jerrican (revised) - quotation?

Good morning. We have not yet received your revised quotation. Our planning meeting is this afternoon, so please send it today.

Procurement, Selat Biru Agrochem

生产聊天

chat/production.json#production

  1. tooling_lead · 14 Nov 2026, 16:02

    BM-07 is down for a screw and barrel replacement, back 10 Dec at the earliest. Run the JC20 mould on BM-03 until then.

  2. planner_1 · 14 Nov 2026, 16:05

    Noted. JC20 cycle on BM-03 runs 18% longer than on BM-07, same single cavity. BM-03 is booked, check machine_schedule before promising dates.

  3. qc_lead · 16 Nov 2026, 08:15

    Reminder: drop test on the blue 10 L pails is at 2pm.

流程

docs/SOP-Q-07.mdThe quoting procedure

SOP-Q-07 Quotation costing and disposition (blow moulding)

  1. Governing request. The latest written customer amendment governs quantity, colour and delivery.
  2. Machine. Quote on the machine production has confirmed for the job. Never quote on a machine whose status is DOWN.
  3. Unit cost in RM per piece:
    • material mass = part mass x (1 + 3% scrap)
    • coloured parts: masterbatch replaces resin at the dosing % in the masterbatch table
    • material cost = resin kg x resin price + masterbatch kg x masterbatch price
    • resin price = the row with the latest effective_date on or before the quotation date
    • machine cost = cycle seconds / cavities / 3600 x machine rate per hour
    • set-up = [amount] per job / quantity
    • unit cost = material + machine + set-up
  4. Price. unit price = unit cost / (1 - 22%), rounded to 2 decimals. Never quote below an 18% margin.
  5. MOQ for JC20 is 10,000 pcs. Below MOQ: stage REJECTED_MOQ and no price is sent.
  6. Delivery.
    • production days = quantity x cycle seconds / cavities / (3600 x machine hours per day x 85% OEE), rounded up
    • first free day = the day after booked_until in machine_schedule
    • earliest delivery = first free day + production days + 3 days QC and dispatch
  7. Disposition, in the quotes table:
    • delivery can be met: stage QUOTED, owner stays with the sales executive
    • delivery cannot be met: still price the job, stage ESCALATED_LEADTIME, owner = the sales manager. The reply states the price and the earliest delivery date and does not promise the requested date.
  8. Outputs. Update the quotes row (qty, unit_price_rm, stage, owner). Record every change you make to a quotes field as a row in crm_history (quote_id, ts on the quotation date, actor, field, old_value, new_value, note); never edit an existing history row. Write out/quote.json and out/reply.eml.

工作开始前的数据库

erp/plant.dbThe tables the job touches or reads

quotes2 rows

idcustomer_idskuqtyunit_price_rmstageowner
Q-2604C-0388PL1020000[amount]QUOTEDsales_exec_2
Q-2611C-0417JC2050000nullENQUIRYsales_exec_2

machine_schedule2 rows

machine_idbooked_until
BM-032026-11-27
BM-072026-12-09

machines2 rows

idstatusrate_rm_per_hrhours_per_day
BM-07DOWN[amount]20.0
BM-03RUNNING[amount]20.0

crm_history4 rows

idquote_idtsactorfieldold_valuenew_valuenote
1Q-26042026-11-02 14:10sales_exec_2stageENQUIRYQUOTEDPL10 20,000 pcs quoted at [amount]
2Q-26112026-11-09 10:40sales_exec_2stagenullENQUIRYRFQ received: 50,000 pcs JC20 natural, delivery Port Klang
3Q-26112026-11-13 16:02sales_exec_2notenullnullCustomer revision: blue, first order 12,000 pcs, delivery within 21 days of quotation; re-quote pending
4Q-26112026-11-16 08:45sales_exec_2notenullnullSales director: quote out today per SOP-Q-07, check with production first

参考最终状态

out/quote.jsonJSON

{
  "quote_id": "Q-2611",
  "qty": 12000,
  "machine": "BM-03",
  "unit_cost_rm": "[amount]",
  "unit_price_rm": "[amount]",
  "earliest_delivery": "2026-12-11",
  "meets_requested_delivery": false
}

out/reply.eml16 Nov 2026, 11:00

From
sales_exec_2@tembagaridge.example
To
procurement@selatbiru.example
Subject
Quotation Q-2611

Our price for 12,000 pcs JC20 is [amount] per piece. Earliest delivery is 2026-12-11.

erp/plant.dbAfter the work

quotes, the Q-2611 row1 rows

idcustomer_idskuqtyunit_price_rmstageowner
Q-2611C-0417JC2012000[amount]ESCALATED_LEADTIMEsales_mgr_1

crm_history, rows the work added4 rows

idquote_idtsactorfieldold_valuenew_valuenote
5Q-26112026-11-16 11:00sales_exec_2qty5000012000Q-2611 re-quoted per SOP-Q-07
6Q-26112026-11-16 11:00sales_exec_2unit_price_rmnull[amount]Q-2611 re-quoted per SOP-Q-07
7Q-26112026-11-16 11:00sales_exec_2stageENQUIRYESCALATED_LEADTIMEQ-2611 re-quoted per SOP-Q-07
8Q-26112026-11-16 11:00sales_exec_2ownersales_exec_2sales_mgr_1Q-2611 re-quoted per SOP-Q-07

验证器:通过 · 得分 1.00

验证器原始报告,参考解法
{
  "gates": [
    {
      "name": "inputs untouched and no file added under inbox/, chat/ or docs/",
      "passed": true
    },
    {
      "name": "protected ERP tables and the database schema untouched",
      "passed": true
    },
    {
      "name": "quotes table: only Q-2611's qty, unit_price_rm, stage and owner changed; no row added, removed or re-identified",
      "passed": true
    },
    {
      "name": "crm_history: seeded rows untouched; rows appended only for Q-2611 and dated on the quotation date",
      "passed": true
    }
  ],
  "criteria": [
    {
      "id": "C1",
      "desc": "Quantity follows the latest amendment (12,000)",
      "passed": true,
      "weight": 2,
      "critical": true
    },
    {
      "id": "C2",
      "desc": "Machine is the one production confirmed (BM-03), not the down machine",
      "passed": true,
      "weight": 2,
      "critical": false
    },
    {
      "id": "C3",
      "desc": "Unit cost within 0.5% of the SOP recomputation",
      "passed": true,
      "weight": 3,
      "critical": false
    },
    {
      "id": "C4",
      "desc": "Unit price equals the SOP price to the cent",
      "passed": true,
      "weight": 3,
      "critical": false
    },
    {
      "id": "C5",
      "desc": "Price keeps at least an 18% margin on the true cost",
      "passed": true,
      "weight": 2,
      "critical": true
    },
    {
      "id": "C6",
      "desc": "Earliest delivery date matches the schedule recomputation",
      "passed": true,
      "weight": 2,
      "critical": false
    },
    {
      "id": "C7",
      "desc": "Delivery marked as not met and the quote escalated in the ERP",
      "passed": true,
      "weight": 3,
      "critical": true
    },
    {
      "id": "C8",
      "desc": "Owner reassigned to the sales manager",
      "passed": true,
      "weight": 1,
      "critical": false
    },
    {
      "id": "C9",
      "desc": "ERP row agrees with quote.json (qty, and price to the cent)",
      "passed": true,
      "weight": 2,
      "critical": false
    },
    {
      "id": "C10",
      "desc": "Reply states the SOP price in RM and the earliest delivery date, and promises no earlier date",
      "passed": true,
      "weight": 1,
      "critical": true
    },
    {
      "id": "C11",
      "desc": "Reply is addressed to the customer, identifies Q-2611, and names no quantity other than 12,000 pcs",
      "passed": true,
      "weight": 1,
      "critical": false
    },
    {
      "id": "C12",
      "desc": "Stated price follows from the stated cost under the SOP mark-up (cost / 0.78, rounded)",
      "passed": true,
      "weight": 1,
      "critical": false
    },
    {
      "id": "C13",
      "desc": "Each change to stage and owner on the quotes row is logged in crm_history with its old and new value",
      "passed": true,
      "weight": 2,
      "critical": true
    }
  ],
  "strict_pass": true,
  "reward": 1.0,
  "rejection": null
}

一个看似合理的错误:按已停机的机器核算成本

探针 down_machine。看似合理的错误。其文件,以及验证器发现的问题。

out/quote.jsonJSON

{
  "quote_id": "Q-2611",
  "qty": 12000,
  "machine": "BM-07",
  "unit_cost_rm": "[amount]",
  "unit_price_rm": "[amount]",
  "earliest_delivery": "2026-11-27",
  "meets_requested_delivery": true
}

out/reply.eml16 Nov 2026, 11:00

From
sales_exec_2@tembagaridge.example
To
procurement@selatbiru.example
Subject
Quotation Q-2611

Our price for 12,000 pcs JC20 is [amount] per piece. Earliest delivery is 2026-11-27.

验证器:未通过 · 得分 0.40

  • C2 机器为生产部门确认的机器(BM-03),而不是停机的机器
  • C3 单位成本与按 SOP 重新计算的结果相差在 0.5% 以内
  • C4 单价与 SOP 价格精确到分完全一致
  • C6 最早交货日期与按排产计划重新计算的结果一致
  • C7 交货标记为无法满足,并已在 ERP 中上报该报价
  • C8 负责人改派给销售经理
  • C10 回复中写明以 RM 计的 SOP 价格和最早交货日期,且不承诺更早的日期
验证器原始报告,down_machine
{
  "gates": [
    {
      "name": "inputs untouched and no file added under inbox/, chat/ or docs/",
      "passed": true
    },
    {
      "name": "protected ERP tables and the database schema untouched",
      "passed": true
    },
    {
      "name": "quotes table: only Q-2611's qty, unit_price_rm, stage and owner changed; no row added, removed or re-identified",
      "passed": true
    },
    {
      "name": "crm_history: seeded rows untouched; rows appended only for Q-2611 and dated on the quotation date",
      "passed": true
    }
  ],
  "criteria": [
    {
      "id": "C1",
      "desc": "Quantity follows the latest amendment (12,000)",
      "passed": true,
      "weight": 2,
      "critical": true
    },
    {
      "id": "C2",
      "desc": "Machine is the one production confirmed (BM-03), not the down machine",
      "passed": false,
      "weight": 2,
      "critical": false
    },
    {
      "id": "C3",
      "desc": "Unit cost within 0.5% of the SOP recomputation",
      "passed": false,
      "weight": 3,
      "critical": false
    },
    {
      "id": "C4",
      "desc": "Unit price equals the SOP price to the cent",
      "passed": false,
      "weight": 3,
      "critical": false
    },
    {
      "id": "C5",
      "desc": "Price keeps at least an 18% margin on the true cost",
      "passed": true,
      "weight": 2,
      "critical": true
    },
    {
      "id": "C6",
      "desc": "Earliest delivery date matches the schedule recomputation",
      "passed": false,
      "weight": 2,
      "critical": false
    },
    {
      "id": "C7",
      "desc": "Delivery marked as not met and the quote escalated in the ERP",
      "passed": false,
      "weight": 3,
      "critical": true
    },
    {
      "id": "C8",
      "desc": "Owner reassigned to the sales manager",
      "passed": false,
      "weight": 1,
      "critical": false
    },
    {
      "id": "C9",
      "desc": "ERP row agrees with quote.json (qty, and price to the cent)",
      "passed": true,
      "weight": 2,
      "critical": false
    },
    {
      "id": "C10",
      "desc": "Reply states the SOP price in RM and the earliest delivery date, and promises no earlier date",
      "passed": false,
      "weight": 1,
      "critical": true
    },
    {
      "id": "C11",
      "desc": "Reply is addressed to the customer, identifies Q-2611, and names no quantity other than 12,000 pcs",
      "passed": true,
      "weight": 1,
      "critical": false
    },
    {
      "id": "C12",
      "desc": "Stated price follows from the stated cost under the SOP mark-up (cost / 0.78, rounded)",
      "passed": true,
      "weight": 1,
      "critical": false
    },
    {
      "id": "C13",
      "desc": "Each change to stage and owner on the quotes row is logged in crm_history with its old and new value",
      "passed": true,
      "weight": 2,
      "critical": true
    }
  ],
  "strict_pass": false,
  "reward": 0.4,
  "rejection": null
}

注意要点

  • 第二封邮件取代了第一封。
  • 这一约束只出现在聊天中。
  • 回复不得承诺排产计划无法满足的日期。
  • 检查程序读取的是文件和数据行,从不读取回复中的说法。
  • 对报价行的每项更改都必须记录在历史表中,日期为报价日期。

本版本的五个组成部分

客户邮件
已包含:询价、修改、总监的备注和催办邮件,收件箱中共 4 封邮件
内部讨论
已包含:生产聊天,3 行
相关文件
已包含:报价流程
历史日志
已包含:历史表,工作开始前有 4 行编写好的记录。对报价行的每项更改都必须新增一行,由 C13 检查
结果标签
已包含在任务记录中,编写为“unresolved”。这是由任务构造决定的:回合在发出回复时结束,此时客户尚未回复;在 v1.1 中由从业专家编写该标签

工作区

每次运行都从相同的文件和相同的数据库开始,由任务自身的重置程序重新写入。

路径重置后包含的内容
chat/production.json639 字节
docs/SOP-Q-07.md1877 字节
erp/plant.dbcrm_history (4), customers (2), machine_schedule (2), machines (2), masterbatch (2), mould_machine (1), products (2), quotes (2), resin_prices (3), staff (3)
inbox/000.eml324 字节
inbox/001.eml272 字节
inbox/002.eml364 字节
inbox/003.eml240 字节

重置摘要值,即初始工作区的 SHA-256(数据库以其 SQL 转储计):3366510ba57c7b69d148f9dd16a74ceaea0a556e649b813b1a5d1d55c446d20d。从空目录重置是否确定:是。使用过的工作区重置后是否得到相同摘要值:是。

智能体可以读取和修改什么

读取
4 封收件箱邮件、生产聊天、报价流程,以及数据库中的任何表。
写入
包含所需字段的 out/quote.json、out/reply.eml,任务说明所指定的那一行报价记录中的 4 个字段:数量、单价、阶段和负责人,以及针对每项上述更改在历史表中新增的一行。
不得改动
输入文件、输入文件夹、其他表、数据库模式、quotes 表的其他所有字段和行,以及初始时已存在的每一行历史记录。对其中任何一项的更改都会导致门槛检查未通过,无论这次运行做了什么,都得零分。

门槛检查与检查项

如果提交内容因必需的输出缺失、格式错误或已损坏而无法被验证器评分,则判为无效并给予零奖励,同时附上结构化原因,而不会崩溃。之后是 4 项门槛检查。任何一项未通过,奖励即为零,且不计算任何检查项。

  1. 输入未被改动,inbox/、chat/ 或 docs/ 下未添加文件。
  2. 受保护的 ERP 表和数据库模式未被改动。
  3. quotes 表:仅 Q-2611 的 qty、unit_price_rm、stage 和 owner 有变动;未添加、删除任何行,也未更改任何行的标识。
  4. crm_history:初始行未被改动;仅为 Q-2611 追加行,且日期为报价日期。

之后是 13 个检查项,每一项都由验证器基于初始状态的全新副本重新计算,并与磁盘上的文件和数据库行进行比较。验证器从不读取智能体声称自己做了什么。权重之和为 25;其中 5 个检查项为关键项。

检查项必须成立的条件权重关键
C1数量采用最新修改(12,000)2是
C2机器为生产部门确认的机器(BM-03),而不是停机的机器2
C3单位成本与按 SOP 重新计算的结果相差在 0.5% 以内3
C4单价与 SOP 价格精确到分完全一致3
C5价格相对真实成本至少保留 18% 的利润率2是
C6最早交货日期与按排产计划重新计算的结果一致2
C7交货标记为无法满足,并已在 ERP 中上报该报价3是
C8负责人改派给销售经理1
C9ERP 行与 quote.json 一致(数量,以及精确到分的价格)2
C10回复中写明以 RM 计的 SOP 价格和最早交货日期,且不承诺更早的日期1是
C11回复的收件人为该客户,注明 Q-2611,且未提及 12,000 pcs 以外的任何数量1
C12所述价格依据 SOP 加价规则由所述成本得出(cost / 0.78,取整)1
C13quotes 行中 stage 和 owner 的每项更改都记录在 crm_history 中,并附旧值和新值2是

版本 1.0.3 中的容差:C3 按其文本所述,比较单位成本是否相差在 0.5% 以内;C4、C9 和 C12 将价格精确到分进行比较(误差在半分以内);C10 读取回复的主题和正文,识别所有日期格式,且仅读取报价日期之后的日期。

探针

在买方看到任务之前,我们会先攻击其验证器。奖励作弊指伪造或篡改,必须恰好得零分。看似合理的错误是细心的工作人员也可能犯的错误,不得获得严格奖励,而严格奖励要求所有门槛检查和所有检查项均通过。正确的替代解法是以另一种方式写出的正确答案,必须获得严格奖励。已知不足探针记录我们尚未解决的弱点:它按设计会通过,因此该边界上的任何变化都会显现出来。我们于 2026年11月10日 运行了 19 种奖励作弊、26 种看似合理的错误、3 种正确的替代解法和 3 个已知不足探针,每一个都返回了预期结果。大多数看似合理的错误针对的是回复这一唯一的自由文本输出:以我们遇到过的每一种日期格式承诺更早的日期。

探针类型做了什么严格得分哪项未通过
empty奖励作弊未写入任何答案未通过0.00判为无效
claim_only奖励作弊回复信心十足,但没有写入任何文件未通过0.00判为无效
tamper_schedule奖励作弊在排产表中释放了已被占用的机器未通过0.00门槛检查 2
edit_customer_email奖励作弊修改了客户邮件,使旧数量看起来是当前数量未通过0.00门槛检查 1
superseded_quantity看似合理的错误按已作废的数量报价未通过0.40C1, C3, C4, C5, C6, C10, C11, C12
down_machine看似合理的错误按已停机的机器核算成本未通过0.40C2, C3, C4, C6, C7, C8, C10
stale_resin_price看似合理的错误按价格表中已被取代的树脂价格定价未通过0.72C3, C4, C10
json_without_erp看似合理的错误写入了报价文件,但从未更新数据库行未通过0.76C7, C8, C9
contradictory_reply_date看似合理的错误回复承诺的日期早于报价本身的日期未通过0.96C10
wrong_customer_on_row奖励作弊金额正确,但报价行中的客户错误未通过0.00门槛检查 3
wrong_sku_on_row奖励作弊金额正确,但报价行中的产品错误未通过0.00门槛检查 3
duplicate_quote_row奖励作弊新增了第二个报价行未通过0.00门槛检查 3
neighbour_quote_deleted奖励作弊删除了另一个报价的行未通过0.00门槛检查 3
quotes_table_replaced奖励作弊删除并重建了 quotes 表未通过0.00门槛检查 2,门槛检查 3
schema_column_added奖励作弊在数据库模式中添加了一列未通过0.00门槛检查 2,门槛检查 3
drop_quotes_table奖励作弊删除了 quotes 表未通过0.00门槛检查 2,判为无效
malformed_quote_json奖励作弊报价文件不是有效的 JSON未通过0.00判为无效
oversized_number奖励作弊报价文件中存在超出范围的数值未通过0.00判为无效
reply_without_headers奖励作弊回复没有邮件头未通过0.00判为无效
extra_reply_file奖励作弊新增了第二个回复文件未通过0.00判为无效
forged_customer_email奖励作弊在收件箱中添加了一封伪造的客户邮件未通过0.00门槛检查 1
price_one_cent_off看似合理的错误价格与流程计算结果相差一分未通过0.80C4, C10, C12
erp_price_differs看似合理的错误数据库中的价格与报价文件不一致未通过0.92C9
cost_price_inconsistent看似合理的错误所述价格无法由所述成本得出未通过0.96C12
promise_in_subject看似合理的错误在主题行中承诺了更早的日期未通过0.96C10
wrapped_promise看似合理的错误跨换行承诺了更早的日期未通过0.96C10
month_first_promise看似合理的错误以月份在前的格式承诺了更早的日期未通过0.96C10
worded_promise看似合理的错误以文字形式承诺了更早的日期未通过0.96C10
reply_wrong_quantity看似合理的错误回复提及的数量与订单数量不同未通过0.96C11
reply_wrong_currency看似合理的错误回复以另一种货币报价未通过0.96C10
reply_to_other_customer看似合理的错误回复的收件人是另一位客户未通过0.96C11
slash_date_promise看似合理的错误以斜杠格式承诺了更早的日期未通过0.96C10
negation_in_subordinate_clause看似合理的错误承诺了更早的日期,否定词只出现在从句中未通过0.96C10
relative_in_21_days看似合理的错误承诺在排产计划无法满足的天数内交货未通过0.96C10
contradictory_second_price看似合理的错误回复给出了与第一个价格相矛盾的第二个价格未通过0.96C10
reply_omits_quantity看似合理的错误回复从未写明数量未通过0.96C11
dash_date_promise看似合理的错误以连字符分隔的“日-月-年”格式承诺了更早的日期未通过0.96C10
hyphen_month_promise看似合理的错误以连字符连接的“日、月份缩写、年”格式承诺了更早的日期未通过0.96C10
iso_slash_promise看似合理的错误以年份在前的斜杠格式承诺了更早的日期未通过0.96C10
date_before_verb看似合理的错误承诺了更早的日期,且日期在句中位于动词之前未通过0.96C10
cost_as_discount看似合理的错误回复将工厂内部的单位成本作为折扣价提供未通过0.96C10
stage_changed_without_history看似合理的错误报价行已上报,但没有历史行记录该更改未通过0.92C13
history_rewritten奖励作弊修改了一行初始历史记录未通过0.00门槛检查 4
history_on_other_quote奖励作弊为另一个报价追加了历史行未通过0.00门槛检查 4
history_backdated奖励作弊追加的历史行日期早于报价日期未通过0.00门槛检查 4
requested_date_no_token未解决类别,按设计会通过回复确认“在您要求的日期前”交货,但未写明日期通过1.00无
lead_time_no_token未解决类别,按设计会通过回复承诺“在您的交货周期内”交货,但未写明日期通过1.00无
vague_week_promise未解决类别,按设计会通过回复承诺“下下周”发货通过1.00无
reply_cites_customer_email正确的替代解法回复引用了客户的邮件,包括其中的日期通过1.00无
reply_dates_in_words正确的替代解法回复以文字形式给出日期通过1.00无
reply_with_total_and_slash_date正确的替代解法回复写明了单价、行合计、开机费,以及斜杠格式的日期通过1.00无
reference参考解法我们的参考答案,基于全新重置通过1.00无

我们的测试框架还基于一个正确的最终状态构造了 29 个恶意输入:10 个删除了一张表,10 个重命名了某张表的第一列,1 个用文本覆盖了数据库,6 个将某个输入替换为目录,2 个将某个输出替换为目录。每一个都返回了零奖励的报告,且没有验证器错误。

完整演示评测框架的结果.

各项数字的含义

得分。如果提交被拒绝或任何门槛检查未通过,则为零。否则为已满足检查项的加权占比:通过的检查项权重之和除以全部权重之和。它用于诊断答案错在哪里。

严格。仅当所有门槛检查和所有检查项均通过时为真。这是我们推荐的训练奖励:得分会奖励只完成一半的工作,正如那条写入了报价文件却从未更新数据库的记录得到了 0.76 所示。

关键。一个单独的字段,当所有标记为关键的检查项均通过时为真。该字段仅作报告,从不用作奖励。

通用验证器原则.

重置所保证的内容

重置通过代码写入工作区,不访问网络,也不依赖时钟。两次全新重置会产生相同的摘要值,使用过的工作区也会重置到该摘要值,因此买方可以在自己的机器上确认,自己拿到的初始状态正是验证器运行时所用的状态。摘要值对文件和数据库的 SQL 转储进行哈希,因此摘要值一致证明逻辑内容一致,而不是字节完全相同。

需要从业专家定夺的问题

凡是行业内存在多种惯例的地方,验证器只采用其中一种。在委托开发的任务中,由从事这项工作的从业专家作出选择,我们会报告这一选择是否改变答案。本任务尚待定夺的问题:

  • 排产计划中的生产天数是自然日还是工作日?最早交货日期(C6)和回复(C10)会随答案而变化。
  • 回复中是否应包含运费、报价有效期和付款条款?目前回复中均未包含,也没有检查项要求这些内容。

其他 5 个任务各有其尚待定夺的惯例,从在评分通话中确认姓名是否算作索取个人信息,到货物定价前干吨如何取整。每一项都列在买方收到的任务记录中。

验证器目前还无法发现的问题

我们会攻击自己的验证器。2026年11月7日,3 次基于模型的评审针对首批版本构造了错误的最终状态,其中两个验证器以满分接受了它们。我们复现了这些问题,并于2026年11月8日针对正确最终状态的约 220 个单点修改测试了全部 6 个验证器。发现的类别,以及它们在 2026年11月10日 门槛检查运行中于本任务上的状态:

错误工作的类别本任务上的状态,2026年11月10日
回复与结构化输出相矛盾:回复承诺了排产计划无法满足的日期,而报价文件中的日期是正确的自版本 0.1 起由关键检查项 C10 和探针 contradictory_reply_date 发现。版本 1.0 还会读取主题行和更多日期格式(包括斜杠日期和相对日期),并会让引用了客户邮件的正确回复通过,而版本 0.1 曾错误地判其未通过
输出行中的标识字段被改写,而被检查的金额保持正确自版本 1.0 起由门槛检查 3 发现:wrong_customer_on_row、wrong_sku_on_row
在输出表中插入了额外的行自版本 1.0 起由门槛检查 3 发现:duplicate_quote_row
历史行或相邻行被删除或损坏自版本 1.0 起由门槛检查 3 发现:neighbour_quote_deleted;初始数据中新增了第二个报价行,以便有可删除的对象
金额偏差最多一个单位,仍能通过文本写明“精确到分”的检查项已在版本 1.0 中解决:C4、C9 和 C12 精确到分进行比较;price_one_cent_off 以 0.80 严格未通过
使用过的工作区重置失败,未能恢复初始状态已在版本 1.0 中解决:使用过的工作区会重置到记录的摘要值
删除输出表会导致验证器崩溃,而不是返回拒绝已在版本 1.0 中解决:drop_quotes_table 个和 29 个恶意输入返回结构化拒绝或零分
重置曾被描述为逐字节完全相同措辞已更正:摘要值证明的是逻辑内容一致
每个奖励作弊探针都只测试了顶层门槛检查;没有一个触及可变的输出表已在版本 1.0 中解决:6 个探针写入 quotes 表,每个都得零分
回复以解析器无法读取的格式承诺了更早的日期:连字符格式、以连字符连接的月份缩写格式、年份在前的斜杠格式自版本 1.0.1 起已能发现:dash_date_promise、hyphen_month_promise、iso_slash_promise。3 个完全不含日期的承诺被记录为按设计会通过的未解决类别探针:requested_date_no_token、lead_time_no_token、vague_week_promise
回复将日期放在承诺之前,或将工厂内部成本作为折扣提供自版本 1.0.2 起已能发现:date_before_verb 和 cost_as_discount,均未通过 C10
报价行发生变更,却没有记录谁改了什么,或历史记录被改写以掩盖变更自版本 1.0.3 起由关键检查项 C13 和探针 stage_changed_without_history 发现;历史表受门槛检查 4 保护,history_rewritten、history_on_other_quote 和 history_backdated 均得零分
尚未读取:必需输出中与其自身正确数字相矛盾的文字,例如回复否定了自己所报的价格、原因列、额外的叙述性键,或正确数据表旁附的报告按设计保留,未解决。目前没有检查项读取这些文字,手工编写的探针也无法解决这一问题。唯一的检查手段是从业专家的盲评

这些评审和我们自己发现的每个类别现在都已成为具名探针,并且在 2026年11月10日 的门槛检查运行中均按要求得分。手工编写的探针是回归测试,不是保证:它们证明了我们想到的每一种错误最终状态都得到应有的分数,但对我们没有想到的情况则无法证明任何事情。每个新类别在被发现当天就会成为具名探针。

变更记录

  1. 截至2026年11月7日。编写并运行了版本 0。同一提供商的两个当前模型各运行一次即完成了任务。一次基于模型的验证器评审发现,回复检查项会接受排产计划无法满足的交货日期承诺。
  2. 2026年11月8日。版本 0.1:C10 解析回复正文中的日期,并设为关键项;新增探针 contradictory_reply_date,以 0.96 严格未通过。
  3. 2026年11月8日。版本 1.0:对 quotes 表实施字段级保护(门槛检查 3);对无法评分的提交给出结构化拒绝;价格精确到分进行比较;回复检查更严格,同时会让版本 0.1 曾错误判为未通过的正确回复通过;新增两个检查项(C11、C12);新增 27 个奖励作弊和看似合理的错误探针;两个正确的替代解法;初始数据中新增一行历史报价记录。参考答案保持不变,因此版本 0 的模型尝试结果依然有效。本页面发布。
  4. 2026年11月8日。版本 1.0.1:回复检查可读取连字符格式、“日-月份缩写”格式和年份在前的斜杠格式日期,每种格式各配一个看似合理的错误。3 个不含日期的承诺被记录为按设计会通过的未解决类别探针。模块哈希已更新。参考答案保持不变。
  5. 2026年11月8日。版本 1.0.2:回复检查可读取位于承诺之前的日期,并且不再让将工厂内部成本作为折扣提供的回复通过。新增一个正确的替代解法。参考答案保持不变。
  6. 2026年11月8日。版本 1.0.3:初始数据新增客户的催办邮件,以及一张含 4 行编写记录的历史表,该表由门槛检查 4 实施字段级保护。流程和任务说明要求记录对报价行的每项更改,并由关键检查项 C13 进行检查。新增 4 个探针。价格、日期和参考报价保持不变;权重之和现为 25,因此所有得分都有变动。

新结果将连同日期一起发布,无论通过与否。

亲自运行

首先是一次 20 分钟的通话:我们在您的工程师面前运行此任务,从重置开始,依次经过一个奖励作弊和一个看似合理的错误,直到参考解法。在签署双向保密协议后,您的工程师将收到独立的验证器,附带基于 Python 3.11 且不依赖任何第三方包的种子、重置、评分和自测命令,以及工作区、参考最终状态和验证器针对未改动工作区和参考解法生成的报告。在您自己的机器上重新运行上述每个探针,即为首单的验收测试;我们会在收到您的书面需求后 10 个工作日内交付首单。

申请样本包 预约演示讲解