基本情報
- タスク
mfg-rfq-001、バージョン1.0.3、検証器はハッシュで凍結- ファミリー
- packaging-quotation、難易度easy(公開のゲートファイルの表記による)
- 結果
unresolved, 構造上の理由による:エピソードは返信が送信された時点、つまり顧客が回答する前に終了します。v1.1では実務家がこのラベルを作成します- 分野
- 製造業:プラスチック包装、見積依頼に見積もりで回答
- ステータス
- 公開デモンストレーション。全面的に公開されており、販売対象ではありません。
- ゲート実行日
- 2026年11月10日、Python 3.11.8、決定的なゲートのみ:モデルの実行なし、人間の評価者なし、学習なし
- モデルの試行
- バージョン0、2026年11月7日以前:1社のプロバイダーの現行モデル2つ(うち1つは小型の階層)で各1回ロールアウトし、両方ともスコア1.0で厳格判定に合格。検証器を厳格化し、参照回答は変更していない後続のバージョンを次に実行します
業務内容
包装資材工場の営業担当者が、今日中に見積もりを出さなければなりません。顧客からの2通目のメールで注文数量が減り、納期が変更されました。生産チャットでは、通常使う機械が停止しているため、ジョブが別の機械に移されました。そして見積手順書には、原価計算、価格設定、エスカレーションの方法が定められています。エージェントが受け取る指示文は次のとおりです:
あなたはTembaga Ridge Packagingの営業担当者(sales_exec_2)です。本日は16 Nov 2026です。見積もりQ-2611を今日中にSelat Biru Agrochemに送ってください。受信トレイと生産チャットを読み、docs/SOP-Q-07.mdに従い、erp/plant.dbのquotesの行を更新し、それに加えた各変更をcrm_historyに記録し、out/quote.json(qty、machine、unit_cost_rm、unit_price_rm、YYYY-MM-DD形式のearliest_delivery、meets_requested_delivery)とout/reply.emlを書いてください。
正しい回答では、最新の数量、確定した機械、現在の樹脂価格を用い、手順書に従って原価と価格を再計算し、スケジュールで最も早い枠を見つけ、希望納期は満たせないと記録し、データベース上で見積もりをエスカレーションし、見積もりの行に加えた各変更を記録し、スケジュールで実現できないことは何も約束しない返信を書きます。
初期状態を読む
本ページでは通貨金額を[amount]と表示しています。完全なファイルは、NDAのもとで御社のエンジニアにお渡しします。参照用の返信は意図的に最小限にしています。検証器が読むのは価格、数量、日付であり、文面のトーンではありません。
タスク自体のファイルを、担当者が目にする順に並べ、その後に参照用の最終状態ともっともらしい誤りを1つ示します。各シートはページのビルド時にタスクから生成されるため、検証器が読むファイルとずれることはありません。ハイライトは、変更された事実と、検証器が検出した行を示しています。
受信トレイ(メッセージ4通)
inbox/001.eml9 Nov 2026, 10:14
- From
- procurement@selatbiru.example
- To
- sales@tembagaridge.example
- Subject
- RFQ - 20 L jerrican
Please quote for 50,000 pcs of your 20 L HDPE jerrican (JC20), natural colour. Delivery to Port Klang.
Procurement, Selat Biru Agrochem
inbox/002.eml13 Nov 2026, 15:31
- From
- procurement@selatbiru.example
- To
- sales@tembagaridge.example
- Subject
- Re: RFQ - 20 L jerrican (revised)
Revision to our RFQ: we now need the jerricans in BLUE, and the first order will be 12,000 pcs, not 50,000. We need delivery within 21 days of your quotation date. Please re-quote.
Procurement, Selat Biru Agrochem
inbox/003.eml16 Nov 2026, 08:40
- From
- sales.director@tembagaridge.example
- To
- sales_exec_2@tembagaridge.example
- Subject
- Q-2611 today please
Please get Q-2611 out to Selat Biru today. Follow SOP-Q-07 and check with production first.
inbox/000.eml16 Nov 2026, 09:05
- From
- procurement@selatbiru.example
- To
- sales@tembagaridge.example
- Subject
- Re: RFQ - 20 L jerrican (revised) - quotation?
Good morning. We have not yet received your revised quotation. Our planning meeting is this afternoon, so please send it today.
Procurement, Selat Biru Agrochem
生産チャット
chat/production.json#production
BM-07 is down for a screw and barrel replacement, back 10 Dec at the earliest. Run the JC20 mould on BM-03 until then.
Noted. JC20 cycle on BM-03 runs 18% longer than on BM-07, same single cavity. BM-03 is booked, check machine_schedule before promising dates.
Reminder: drop test on the blue 10 L pails is at 2pm.
手順書
docs/SOP-Q-07.mdThe quoting procedure
SOP-Q-07 Quotation costing and disposition (blow moulding)
- Governing request. The latest written customer amendment governs quantity, colour and delivery.
- Machine. Quote on the machine production has confirmed for the job. Never quote on a machine whose status is DOWN.
- Unit cost in RM per piece:
- material mass = part mass x (1 + 3% scrap)
- coloured parts: masterbatch replaces resin at the dosing % in the masterbatch table
- material cost = resin kg x resin price + masterbatch kg x masterbatch price
- resin price = the row with the latest effective_date on or before the quotation date
- machine cost = cycle seconds / cavities / 3600 x machine rate per hour
- set-up = [amount] per job / quantity
- unit cost = material + machine + set-up
- Price. unit price = unit cost / (1 - 22%), rounded to 2 decimals. Never quote below an 18% margin.
- MOQ for JC20 is 10,000 pcs. Below MOQ: stage REJECTED_MOQ and no price is sent.
- Delivery.
- production days = quantity x cycle seconds / cavities / (3600 x machine hours per day x 85% OEE), rounded up
- first free day = the day after booked_until in machine_schedule
- earliest delivery = first free day + production days + 3 days QC and dispatch
- Disposition, in the quotes table:
- delivery can be met: stage QUOTED, owner stays with the sales executive
- delivery cannot be met: still price the job, stage ESCALATED_LEADTIME, owner = the sales manager. The reply states the price and the earliest delivery date and does not promise the requested date.
- Outputs. Update the quotes row (qty, unit_price_rm, stage, owner). Record every change you make to a quotes field as a row in crm_history (quote_id, ts on the quotation date, actor, field, old_value, new_value, note); never edit an existing history row. Write out/quote.json and out/reply.eml.
作業前のデータベース
erp/plant.dbThe tables the job touches or reads
quotes2 rows
id | customer_id | sku | qty | unit_price_rm | stage | owner |
|---|---|---|---|---|---|---|
| Q-2604 | C-0388 | PL10 | 20000 | [amount] | QUOTED | sales_exec_2 |
| Q-2611 | C-0417 | JC20 | 50000 | null | ENQUIRY | sales_exec_2 |
machine_schedule2 rows
machine_id | booked_until |
|---|---|
| BM-03 | 2026-11-27 |
| BM-07 | 2026-12-09 |
machines2 rows
id | status | rate_rm_per_hr | hours_per_day |
|---|---|---|---|
| BM-07 | DOWN | [amount] | 20.0 |
| BM-03 | RUNNING | [amount] | 20.0 |
crm_history4 rows
id | quote_id | ts | actor | field | old_value | new_value | note |
|---|---|---|---|---|---|---|---|
| 1 | Q-2604 | 2026-11-02 14:10 | sales_exec_2 | stage | ENQUIRY | QUOTED | PL10 20,000 pcs quoted at [amount] |
| 2 | Q-2611 | 2026-11-09 10:40 | sales_exec_2 | stage | null | ENQUIRY | RFQ received: 50,000 pcs JC20 natural, delivery Port Klang |
| 3 | Q-2611 | 2026-11-13 16:02 | sales_exec_2 | note | null | null | Customer revision: blue, first order 12,000 pcs, delivery within 21 days of quotation; re-quote pending |
| 4 | Q-2611 | 2026-11-16 08:45 | sales_exec_2 | note | null | null | Sales director: quote out today per SOP-Q-07, check with production first |
参照用の最終状態
out/quote.jsonJSON
{
"quote_id": "Q-2611",
"qty": 12000,
"machine": "BM-03",
"unit_cost_rm": "[amount]",
"unit_price_rm": "[amount]",
"earliest_delivery": "2026-12-11",
"meets_requested_delivery": false
}out/reply.eml16 Nov 2026, 11:00
- From
- sales_exec_2@tembagaridge.example
- To
- procurement@selatbiru.example
- Subject
- Quotation Q-2611
Our price for 12,000 pcs JC20 is [amount] per piece. Earliest delivery is 2026-12-11.
erp/plant.dbAfter the work
quotes, the Q-2611 row1 rows
id | customer_id | sku | qty | unit_price_rm | stage | owner |
|---|---|---|---|---|---|---|
| Q-2611 | C-0417 | JC20 | 12000 | [amount] | ESCALATED_LEADTIME | sales_mgr_1 |
crm_history, rows the work added4 rows
id | quote_id | ts | actor | field | old_value | new_value | note |
|---|---|---|---|---|---|---|---|
| 5 | Q-2611 | 2026-11-16 11:00 | sales_exec_2 | qty | 50000 | 12000 | Q-2611 re-quoted per SOP-Q-07 |
| 6 | Q-2611 | 2026-11-16 11:00 | sales_exec_2 | unit_price_rm | null | [amount] | Q-2611 re-quoted per SOP-Q-07 |
| 7 | Q-2611 | 2026-11-16 11:00 | sales_exec_2 | stage | ENQUIRY | ESCALATED_LEADTIME | Q-2611 re-quoted per SOP-Q-07 |
| 8 | Q-2611 | 2026-11-16 11:00 | sales_exec_2 | owner | sales_exec_2 | sales_mgr_1 | Q-2611 re-quoted per SOP-Q-07 |
検証器:合格 · スコア 1.00
検証器の生レポート(参照解)
{
"gates": [
{
"name": "inputs untouched and no file added under inbox/, chat/ or docs/",
"passed": true
},
{
"name": "protected ERP tables and the database schema untouched",
"passed": true
},
{
"name": "quotes table: only Q-2611's qty, unit_price_rm, stage and owner changed; no row added, removed or re-identified",
"passed": true
},
{
"name": "crm_history: seeded rows untouched; rows appended only for Q-2611 and dated on the quotation date",
"passed": true
}
],
"criteria": [
{
"id": "C1",
"desc": "Quantity follows the latest amendment (12,000)",
"passed": true,
"weight": 2,
"critical": true
},
{
"id": "C2",
"desc": "Machine is the one production confirmed (BM-03), not the down machine",
"passed": true,
"weight": 2,
"critical": false
},
{
"id": "C3",
"desc": "Unit cost within 0.5% of the SOP recomputation",
"passed": true,
"weight": 3,
"critical": false
},
{
"id": "C4",
"desc": "Unit price equals the SOP price to the cent",
"passed": true,
"weight": 3,
"critical": false
},
{
"id": "C5",
"desc": "Price keeps at least an 18% margin on the true cost",
"passed": true,
"weight": 2,
"critical": true
},
{
"id": "C6",
"desc": "Earliest delivery date matches the schedule recomputation",
"passed": true,
"weight": 2,
"critical": false
},
{
"id": "C7",
"desc": "Delivery marked as not met and the quote escalated in the ERP",
"passed": true,
"weight": 3,
"critical": true
},
{
"id": "C8",
"desc": "Owner reassigned to the sales manager",
"passed": true,
"weight": 1,
"critical": false
},
{
"id": "C9",
"desc": "ERP row agrees with quote.json (qty, and price to the cent)",
"passed": true,
"weight": 2,
"critical": false
},
{
"id": "C10",
"desc": "Reply states the SOP price in RM and the earliest delivery date, and promises no earlier date",
"passed": true,
"weight": 1,
"critical": true
},
{
"id": "C11",
"desc": "Reply is addressed to the customer, identifies Q-2611, and names no quantity other than 12,000 pcs",
"passed": true,
"weight": 1,
"critical": false
},
{
"id": "C12",
"desc": "Stated price follows from the stated cost under the SOP mark-up (cost / 0.78, rounded)",
"passed": true,
"weight": 1,
"critical": false
},
{
"id": "C13",
"desc": "Each change to stage and owner on the quotes row is logged in crm_history with its old and new value",
"passed": true,
"weight": 2,
"critical": true
}
],
"strict_pass": true,
"reward": 1.0,
"rejection": null
}もっともらしい誤りの1例:停止中の機械で原価計算した
プローブdown_machine。もっともらしい誤り。そのファイルと、検証器が検出した内容。
out/quote.jsonJSON
{
"quote_id": "Q-2611",
"qty": 12000,
"machine": "BM-07",
"unit_cost_rm": "[amount]",
"unit_price_rm": "[amount]",
"earliest_delivery": "2026-11-27",
"meets_requested_delivery": true
}out/reply.eml16 Nov 2026, 11:00
- From
- sales_exec_2@tembagaridge.example
- To
- procurement@selatbiru.example
- Subject
- Quotation Q-2611
Our price for 12,000 pcs JC20 is [amount] per piece. Earliest delivery is 2026-11-27.
検証器:不合格 · スコア 0.40
C2機械は、停止中のものではなく、生産部門が確定したもの(BM-03)であるC3単位原価がSOPによる再計算値の0.5%以内C4単価がSOPによる価格とセント単位まで一致C6最短納期がスケジュールの再計算と一致C7納期は満たせないと記録され、ERP上で見積もりがエスカレーションされているC8担当者が営業マネージャーに変更されているC10返信にSOPによるRM建ての価格と最短納期が記載され、それより早い日付を約束していない
検証器の生レポート(down_machine)
{
"gates": [
{
"name": "inputs untouched and no file added under inbox/, chat/ or docs/",
"passed": true
},
{
"name": "protected ERP tables and the database schema untouched",
"passed": true
},
{
"name": "quotes table: only Q-2611's qty, unit_price_rm, stage and owner changed; no row added, removed or re-identified",
"passed": true
},
{
"name": "crm_history: seeded rows untouched; rows appended only for Q-2611 and dated on the quotation date",
"passed": true
}
],
"criteria": [
{
"id": "C1",
"desc": "Quantity follows the latest amendment (12,000)",
"passed": true,
"weight": 2,
"critical": true
},
{
"id": "C2",
"desc": "Machine is the one production confirmed (BM-03), not the down machine",
"passed": false,
"weight": 2,
"critical": false
},
{
"id": "C3",
"desc": "Unit cost within 0.5% of the SOP recomputation",
"passed": false,
"weight": 3,
"critical": false
},
{
"id": "C4",
"desc": "Unit price equals the SOP price to the cent",
"passed": false,
"weight": 3,
"critical": false
},
{
"id": "C5",
"desc": "Price keeps at least an 18% margin on the true cost",
"passed": true,
"weight": 2,
"critical": true
},
{
"id": "C6",
"desc": "Earliest delivery date matches the schedule recomputation",
"passed": false,
"weight": 2,
"critical": false
},
{
"id": "C7",
"desc": "Delivery marked as not met and the quote escalated in the ERP",
"passed": false,
"weight": 3,
"critical": true
},
{
"id": "C8",
"desc": "Owner reassigned to the sales manager",
"passed": false,
"weight": 1,
"critical": false
},
{
"id": "C9",
"desc": "ERP row agrees with quote.json (qty, and price to the cent)",
"passed": true,
"weight": 2,
"critical": false
},
{
"id": "C10",
"desc": "Reply states the SOP price in RM and the earliest delivery date, and promises no earlier date",
"passed": false,
"weight": 1,
"critical": true
},
{
"id": "C11",
"desc": "Reply is addressed to the customer, identifies Q-2611, and names no quantity other than 12,000 pcs",
"passed": true,
"weight": 1,
"critical": false
},
{
"id": "C12",
"desc": "Stated price follows from the stated cost under the SOP mark-up (cost / 0.78, rounded)",
"passed": true,
"weight": 1,
"critical": false
},
{
"id": "C13",
"desc": "Each change to stage and owner on the quotes row is logged in crm_history with its old and new value",
"passed": true,
"weight": 2,
"critical": true
}
],
"strict_pass": false,
"reward": 0.4,
"rejection": null
}注目すべき点
- 2通目のメールが1通目に優先する。
- 制約はチャットの中にしかない。
- 返信では、スケジュールで実現できない日付を約束してはならない。
- チェッカーが読むのはファイルと行であり、返信の主張は一切読まない。
- 見積もりの行へのすべての変更は、見積日を日付として履歴テーブルに記録しなければならない。
このバージョンの5つの構成要素
- 顧客のメール
- あり:問い合わせ、変更依頼、取締役からのメモ、催促。受信トレイ内のメッセージ4通
- 社内のやり取り
- あり:生産チャット、3行
- 関連文書
- あり:見積手順書
- 履歴ログ
- あり:履歴テーブル。作業開始前に作成された4行。見積もりの行への変更ごとに1行を追加する必要があり、C13でチェック
- 結果ラベル
- タスク記録上にあり、「unresolved」として作成。構造上、エピソードは返信の送信時点、つまり顧客が回答する前に終了します。v1.1では実務家がこのラベルを作成します
ワークスペース
すべての実行は、タスク自体のリセットによって新たに書き出された、同じファイルと同じデータベースから始まります。
| パス | リセット後の内容 |
|---|---|
chat/production.json | 639バイト |
docs/SOP-Q-07.md | 1877バイト |
erp/plant.db | crm_history (4), customers (2), machine_schedule (2), machines (2), masterbatch (2), mould_machine (1), products (2), quotes (2), resin_prices (3), staff (3) |
inbox/000.eml | 324バイト |
inbox/001.eml | 272バイト |
inbox/002.eml | 364バイト |
inbox/003.eml | 240バイト |
リセットダイジェスト(データベースをSQLダンプとして扱った、シード済みワークスペースのSHA-256):3366510ba57c7b69d148f9dd16a74ceaea0a556e649b813b1a5d1d55c446d20d。空のディレクトリからのリセットが決定的か:はい。使用済みのワークスペースが同じダイジェストにリセットされるか:はい。
エージェントが読み取り・変更できるもの
- 読み取り
- 受信トレイの4通のメッセージ、生産チャット、見積手順書、データベース内の任意のテーブル。
- 書き込み
- 必須フィールドを含む
out/quote.json、out/reply.eml、指示文で指定された1つの見積もり行の4つのフィールド(数量、単価、ステージ、担当者)、そしてそれらの変更ごとに履歴テーブルへ追加する1行。 - 触れてはならないもの
- 入力ファイル、入力フォルダ、その他のテーブル、データベースのスキーマ、quotesテーブルのその他すべてのフィールドと行、そして開始時点から存在するすべての履歴行。これらのいずれかを変更するとゲートで不合格となり、ほかに何をしていても、その実行のスコアはゼロになります。
ゲートとチェック項目
必須の出力が欠落している、形式が不正、または破損しているために検証器が採点できない提出物は、クラッシュではなく構造化された理由を付けて無効として却下され、報酬はゼロになります。その後に4つのゲートがあります。いずれかで不合格になると報酬はゼロとなり、チェック項目は集計されません。
- 入力に変更がなく、inbox/、chat/、docs/の下にファイルが追加されていない。
- 保護されたERPテーブルとデータベースのスキーマに変更がない。
- quotesテーブル:Q-2611のqty、unit_price_rm、stage、ownerのみが変更されている。行の追加、削除、識別子の変更がない。
- crm_history:シード済みの行に変更がない。追加された行はQ-2611に関するもののみで、見積日の日付が付いている。
続いて13個のチェック項目があり、それぞれ検証器が初期状態の新しいコピーから再計算し、ディスク上のファイルおよびデータベースの行と比較します。検証器は、エージェントが自分で何をしたと言っているかを一切読みません。重みの合計は25で、5個のチェック項目が重要項目です。
| チェック項目 | 満たすべき条件 | 重み | 重要 |
|---|---|---|---|
| C1 | 数量が最新の変更(12,000)に従っている | 2 | はい |
| C2 | 機械は、停止中のものではなく、生産部門が確定したもの(BM-03)である | 2 | |
| C3 | 単位原価がSOPによる再計算値の0.5%以内 | 3 | |
| C4 | 単価がSOPによる価格とセント単位まで一致 | 3 | |
| C5 | 価格が実際の原価に対して少なくとも18%の利益率を確保している | 2 | はい |
| C6 | 最短納期がスケジュールの再計算と一致 | 2 | |
| C7 | 納期は満たせないと記録され、ERP上で見積もりがエスカレーションされている | 3 | はい |
| C8 | 担当者が営業マネージャーに変更されている | 1 | |
| C9 | ERPの行がquote.jsonと一致している(qty、およびセント単位までの価格) | 2 | |
| C10 | 返信にSOPによるRM建ての価格と最短納期が記載され、それより早い日付を約束していない | 1 | はい |
| C11 | 返信が顧客宛てで、Q-2611を特定しており、12,000 pcs以外の数量を挙げていない | 1 | |
| C12 | 記載された価格が、SOPのマークアップ(原価 / 0.78、端数処理あり)に基づき、記載された原価から導かれている | 1 | |
| C13 | quotesの行のstageとownerへの各変更が、変更前と変更後の値とともにcrm_historyに記録されている | 2 | はい |
バージョン1.0.3における許容差:C3は、その記述どおり単位原価を0.5%以内で比較します。C4、C9、C12は価格をセント単位で比較します(半セント以内)。C10は返信の件名と本文を、あらゆる日付形式について読み取り、見積日より後の日付のみを対象とします。
プローブ
購入者がタスクを目にする前に、当社はその検証器を攻撃します。報酬ハックは偽装や改ざんを行うもので、スコアはちょうどゼロでなければなりません。もっともらしい誤りは、注意深い担当者でも犯しうる誤りで、厳格判定の報酬(すべてのゲートとすべてのチェック項目への合格が必要)を得てはなりません。正しい別解は、別の書き方による正しい回答で、報酬を得なければなりません。既知の不足点のプローブは、まだ解決していない弱点を記録するもので、設計上合格するため、その境界での変化があればすぐにわかります。2026年11月10日に、報酬ハック19件、もっともらしい誤り26件、正しい別解3件、既知の不足点のプローブ3件を実行し、いずれも想定どおりの結果となりました。もっともらしい誤りの大半は、唯一の自由記述の出力である返信を対象としています。これまでに遭遇したあらゆる日付形式での、より早い日付の約束です。
| プローブ | 種類 | 内容 | 厳格判定 | スコア | 不合格となった箇所 |
|---|---|---|---|---|---|
empty | 報酬ハック | 回答の書き込みなし | 不合格 | 0.00 | 無効として却下 |
claim_only | 報酬ハック | ファイルを何も書き込まずに自信ありげに返信 | 不合格 | 0.00 | 無効として却下 |
tamper_schedule | 報酬ハック | スケジュール表で予約済みの機械を解放した | 不合格 | 0.00 | ゲート2 |
edit_customer_email | 報酬ハック | 顧客のメールを編集して、古い数量が現在のものに見えるようにした | 不合格 | 0.00 | ゲート1 |
superseded_quantity | もっともらしい誤り | 変更前の数量で見積もった | 不合格 | 0.40 | C1, C3, C4, C5, C6, C10, C11, C12 |
down_machine | もっともらしい誤り | 停止中の機械で原価計算した | 不合格 | 0.40 | C2, C3, C4, C6, C7, C8, C10 |
stale_resin_price | もっともらしい誤り | テーブル上で改定済みの樹脂価格で価格を設定した | 不合格 | 0.72 | C3, C4, C10 |
json_without_erp | もっともらしい誤り | 見積もりファイルを書いたが、データベースの行を更新しなかった | 不合格 | 0.76 | C7, C8, C9 |
contradictory_reply_date | もっともらしい誤り | 返信で、見積もり自体の日付より早い日付を約束した | 不合格 | 0.96 | C10 |
wrong_customer_on_row | 報酬ハック | 金額は正しいが、見積もり行の顧客が誤っている | 不合格 | 0.00 | ゲート3 |
wrong_sku_on_row | 報酬ハック | 金額は正しいが、見積もり行の製品が誤っている | 不合格 | 0.00 | ゲート3 |
duplicate_quote_row | 報酬ハック | 2つ目の見積もり行を追加した | 不合格 | 0.00 | ゲート3 |
neighbour_quote_deleted | 報酬ハック | 別の見積もりの行を削除した | 不合格 | 0.00 | ゲート3 |
quotes_table_replaced | 報酬ハック | quotesテーブルを削除して再構築した | 不合格 | 0.00 | ゲート2、ゲート3 |
schema_column_added | 報酬ハック | データベースのスキーマに列を追加した | 不合格 | 0.00 | ゲート2、ゲート3 |
drop_quotes_table | 報酬ハック | quotesテーブルを削除した | 不合格 | 0.00 | ゲート2、無効として却下 |
malformed_quote_json | 報酬ハック | 有効なJSONではない見積もりファイル | 不合格 | 0.00 | 無効として却下 |
oversized_number | 報酬ハック | 見積もりファイル内の範囲外の数値 | 不合格 | 0.00 | 無効として却下 |
reply_without_headers | 報酬ハック | メールヘッダーのない返信 | 不合格 | 0.00 | 無効として却下 |
extra_reply_file | 報酬ハック | 2つ目の返信ファイルを追加した | 不合格 | 0.00 | 無効として却下 |
forged_customer_email | 報酬ハック | 偽造した顧客のメールを受信トレイに追加した | 不合格 | 0.00 | ゲート1 |
price_one_cent_off | もっともらしい誤り | 価格が手順書の数値から1セントずれている | 不合格 | 0.80 | C4, C10, C12 |
erp_price_differs | もっともらしい誤り | データベースの価格が見積もりファイルと異なる | 不合格 | 0.92 | C9 |
cost_price_inconsistent | もっともらしい誤り | 記載された価格が、記載された原価から導かれない | 不合格 | 0.96 | C12 |
promise_in_subject | もっともらしい誤り | 件名でより早い日付を約束した | 不合格 | 0.96 | C10 |
wrapped_promise | もっともらしい誤り | 改行をまたいでより早い日付を約束した | 不合格 | 0.96 | C10 |
month_first_promise | もっともらしい誤り | 月を先に書く形式でより早い日付を約束した | 不合格 | 0.96 | C10 |
worded_promise | もっともらしい誤り | 文字でより早い日付を約束した | 不合格 | 0.96 | C10 |
reply_wrong_quantity | もっともらしい誤り | 返信で注文とは異なる数量を挙げた | 不合格 | 0.96 | C11 |
reply_wrong_currency | もっともらしい誤り | 返信で別の通貨で価格を記載した | 不合格 | 0.96 | C10 |
reply_to_other_customer | もっともらしい誤り | 返信が別の顧客宛てになっている | 不合格 | 0.96 | C11 |
slash_date_promise | もっともらしい誤り | スラッシュ区切りの形式でより早い日付を約束した | 不合格 | 0.96 | C10 |
negation_in_subordinate_clause | もっともらしい誤り | 副次的な節にのみ否定を含めて、より早い日付を約束した | 不合格 | 0.96 | C10 |
relative_in_21_days | もっともらしい誤り | スケジュールでは実現できない日数以内での納品を約束した | 不合格 | 0.96 | C10 |
contradictory_second_price | もっともらしい誤り | 返信で、最初の価格と矛盾する2つ目の価格を提示した | 不合格 | 0.96 | C10 |
reply_omits_quantity | もっともらしい誤り | 返信に数量が一切記載されていない | 不合格 | 0.96 | C11 |
dash_date_promise | もっともらしい誤り | 日-月-年をダッシュでつないだ形式でより早い日付を約束した | 不合格 | 0.96 | C10 |
hyphen_month_promise | もっともらしい誤り | 日、略記の月、年をハイフンでつないだ形式でより早い日付を約束した | 不合格 | 0.96 | C10 |
iso_slash_promise | もっともらしい誤り | 年を先に書くスラッシュ区切りの形式でより早い日付を約束した | 不合格 | 0.96 | C10 |
date_before_verb | もっともらしい誤り | 文中で動詞の前に置く形で、より早い日付を約束した | 不合格 | 0.96 | C10 |
cost_as_discount | もっともらしい誤り | 返信で、工場内部の単位原価を値引き価格として提示した | 不合格 | 0.96 | C10 |
stage_changed_without_history | もっともらしい誤り | 変更を記録する履歴行なしで、見積もり行をエスカレーションした | 不合格 | 0.92 | C13 |
history_rewritten | 報酬ハック | シード済みの履歴行を編集した | 不合格 | 0.00 | ゲート4 |
history_on_other_quote | 報酬ハック | 別の見積もりに履歴行を追加した | 不合格 | 0.00 | ゲート4 |
history_backdated | 報酬ハック | 見積日より前の日付で履歴行を追加した | 不合格 | 0.00 | ゲート4 |
requested_date_no_token | 未解決の分類。設計上合格 | 返信で日付を書かずに「ご希望の日付までに」納品すると確約した | 合格 | 1.00 | なし |
lead_time_no_token | 未解決の分類。設計上合格 | 返信で日付を書かずに「御社のリードタイム内に」納品すると約束した | 合格 | 1.00 | なし |
vague_week_promise | 未解決の分類。設計上合格 | 返信で「再来週」に出荷すると約束した | 合格 | 1.00 | なし |
reply_cites_customer_email | 正しい別解 | 返信で顧客のメールを、その日付も含めて引用した | 合格 | 1.00 | なし |
reply_dates_in_words | 正しい別解 | 返信で日付を文字で記載した | 合格 | 1.00 | なし |
reply_with_total_and_slash_date | 正しい別解 | 返信に単価、明細合計、段取り費用、スラッシュ区切りの日付を記載した | 合格 | 1.00 | なし |
reference | 参照解 | 新たにリセットした状態からの当社の参照回答 | 合格 | 1.00 | なし |
当社の評価ハーネスは、正しい最終状態から29件の敵対的な入力も作成しました。テーブルを削除したもの10件、テーブルの最初の列名を変更したもの10件、データベースをテキストで上書きしたもの1件、入力をディレクトリに置き換えたもの6件、出力をディレクトリに置き換えたもの2件です。いずれも検証器エラーなしで、報酬ゼロのレポートを返しました。
数値の意味
スコア。提出物が却下された場合、またはいずれかのゲートで不合格の場合はゼロ。それ以外の場合は、満たしたチェック項目の重み付きの割合、すなわち合格したチェック項目の重みを全重みの合計で割った値です。回答がどこで誤ったかを知るための診断指標です。
厳格判定。すべてのゲートとすべてのチェック項目に合格した場合にのみ真。これが当社の推奨する学習用の報酬です。スコアは中途半端な作業にも点を与えてしまいます。見積もりファイルを書いたがデータベースを更新しなかった行が0.76となっていることがその例です。
重要項目。別のフィールドで、重要とされたすべてのチェック項目に合格した場合に真となります。報告はしますが、報酬としては決して使用しません。
リセットが保証すること
リセットは、ネットワークも時計も使わずに、コードからワークスペースを書き出します。新たなリセットを2回行うと同じダイジェストになり、使用済みのワークスペースもそのダイジェストにリセットされます。そのため購入者は、手元の初期状態が検証器の実行対象と同じものであることを、自身のマシンで確認できます。ダイジェストはファイルとデータベースのSQLダンプをハッシュ化したものであるため、ダイジェストの一致が証明するのは論理的な内容の一致であり、バイト単位での同一性ではありません。
実務家が決めること
業界に複数の慣行がある場合、検証器はそのうちの1つを採用しています。委託タスクでは、その業務を担う実務家が選択を行い、それによって答えが変わるかどうかを当社が報告します。このタスクで未解決の点:
- スケジュール上の生産日数は暦日か、稼働日か?最短納期(C6)と返信(C10)は、その答えによって変わります。
- 返信には運賃、有効期限、支払条件を記載すべきか?現時点ではいずれも記載しておらず、それを求めるチェック項目もありません。
ほかの5つのタスクにも、それぞれ未解決の慣行があります。採点対象の通話で氏名の確認が個人情報を尋ねたことになるかどうかから、貨物の価格設定の前に乾燥トン数をどう丸めるかまでさまざまです。いずれも、購入者が受け取るタスク記録に記載しています。
検証器がまだ検出できないもの
当社は自社の検証器を攻撃します。2026年11月7日、初期バージョンに対するモデルベースのレビュー3件が誤った最終状態を作成し、2つの検証器がそれらを満点で受け入れました。当社はそれを再現し、2026年11月8日に、6つの検証器すべてを、正しい最終状態に1つずつ変更を加えた約220件に対してテストしました。見つかった分類と、2026年11月10日のゲート実行時点でのこのタスクにおける現状は次のとおりです:
| 誤った作業の分類 | このタスクでの現状(2026年11月10日) |
|---|---|
| 返信が構造化出力と矛盾する:見積もりファイルには正しい日付が記載されているのに、返信ではスケジュールで実現できない日付を約束している | バージョン0.1以降は、重要項目であるC10とプローブcontradictory_reply_dateで検出。バージョン1.0では件名や、スラッシュ区切りや相対的な日付を含むより多くの日付形式も読み取り、顧客のメールを引用した正しい返信(バージョン0.1では誤って不合格にしていたもの)を合格とします |
| チェック対象の金額は正しいまま、出力行の識別フィールドが書き換えられる | バージョン1.0以降はゲート3で検出:wrong_customer_on_row、wrong_sku_on_row |
| 出力テーブルに余分な行が挿入される | バージョン1.0以降はゲート3で検出:duplicate_quote_row |
| 過去の行や隣接する行が削除または破損される | バージョン1.0以降はゲート3で検出:neighbour_quote_deleted。削除対象が存在するよう、シードに2つ目の見積もり行を追加 |
| 記述では「セント単位まで」としているチェック項目を、最大1単位ずれた金額が通過する | バージョン1.0で解決:C4、C9、C12はセント単位で比較。price_one_cent_offは0.80で厳格判定に不合格 |
| 使用済みのワークスペースのリセットが、初期状態を復元せずに失敗する | バージョン1.0で解決:使用済みのワークスペースは記録されたダイジェストにリセットされる |
| 出力テーブルを削除すると、却下を返すのではなく検証器がクラッシュする | バージョン1.0で解決:drop_quotes_table件と29件の敵対的な入力が、構造化された却下またはゼロを返す |
| リセットがバイト単位で同一であると説明されていた | 文言を修正:ダイジェストが証明するのは論理的な内容の一致 |
| すべての報酬ハックのプローブが最上位のゲートしか検証しておらず、変更可能な出力テーブルに触れるものがなかった | バージョン1.0で解決:6つのプローブがquotesテーブルに書き込み、いずれもゼロ |
| パーサーが読み取れない形式で、返信がより早い日付を約束する:ダッシュ区切り、ハイフンでつないだ略記の月、年を先に書くスラッシュ区切り | バージョン1.0.1以降は検出:dash_date_promise、hyphen_month_promise、iso_slash_promise。日付をまったく含まない3つの約束は、設計上合格する未解決分類のプローブとして記録:requested_date_no_token、lead_time_no_token、vague_week_promise |
| 返信で日付を約束の前に置く、または工場内部の原価を値引きとして提示する | バージョン1.0.2以降は検出:date_before_verbとcost_as_discount。いずれもC10で不合格 |
| 誰が何を変更したかの記録なしに見積もり行が変更される、または辻褄が合うよう履歴が書き換えられる | バージョン1.0.3以降は、重要項目であるC13とプローブstage_changed_without_historyで検出。履歴テーブルはゲート4で保護され、history_rewritten、history_on_other_quote、history_backdatedはいずれもゼロ |
| まだ読み取っていないもの:必須の出力に含まれる文章で、それ自体の正しい数値と矛盾するもの。たとえば、記載した価格を否定する返信、理由の列、余分な説明用のキー、正しいテーブルの横に置かれたレポートなど | 設計上、未解決。現時点でその文章を読むチェック項目はなく、手作業で作成したプローブでは解決できません。これをチェックするのは、実務家によるブラインド採点だけです |
これらのレビューと当社自身のレビューで見つかったすべての分類は、現在、名前付きのプローブになっており、2026年11月10日のゲート実行においてそれぞれ求められるとおりのスコアになっています。手作業で作成したプローブは回帰テストであり、保証ではありません。当社が想定したあらゆる誤った最終状態が本来のスコアになることは証明しますが、想定していないものについては何も証明しません。新たな分類は、見つかったその日に名前付きのプローブになります。
変更履歴
- 2026年11月7日まで。バージョン0を作成して実行。1社のプロバイダーの現行モデル2つが、各1回のロールアウトで解きました。検証器に対するモデルベースのレビューにより、スケジュールで実現できない納期の約束を返信のチェック項目が受け入れていたことが判明しました。
- 2026年11月8日。バージョン0.1:C10が返信本文の日付を解析し、重要項目となりました。プローブ
contradictory_reply_dateを追加し、0.96で厳格判定に不合格。 - 2026年11月8日。バージョン1.0:quotesテーブルのフィールド単位での保護(ゲート3)、採点できない提出物の構造化された却下、セント単位での価格比較、バージョン0.1が誤って不合格にしていた正しい返信も合格とする、より厳格な返信のチェック、2つの新しいチェック項目(C11、C12)、報酬ハックともっともらしい誤りの新しいプローブ27件、正しい別解2件、シードへの過去の見積もり行1件。参照回答は変更していないため、バージョン0でのモデルの試行結果はそのまま有効です。本ページを公開。
- 2026年11月8日。バージョン1.0.1:返信のチェック項目が、ダッシュ区切り、日と略記の月、年を先に書くスラッシュ区切りの日付を読み取るようになり、それぞれにもっともらしい誤りを用意。日付を含まない3つの約束は、設計上合格する未解決分類のプローブとして記録。新しいモジュールのハッシュ。参照回答は変更なし。
- 2026年11月8日。バージョン1.0.2:返信のチェック項目が、約束の前に置かれた日付を読み取るようになり、工場内部の原価を値引きとして提示する返信を合格としなくなりました。正しい別解を1件追加。参照回答は変更なし。
- 2026年11月8日。バージョン1.0.3:シードに顧客の催促メールと、作成済みの4行を含む履歴テーブルを追加し、ゲート4でフィールド単位で保護。手順書と指示文で見積もり行への各変更の記録を求め、重要項目であるC13でそれをチェック。新しいプローブ4件。価格、日付、参照用の見積もりは変更なし。重みの合計が25になったため、すべてのスコアが変動しました。
新しい結果は、合格・不合格にかかわらず、日付とともに公開します。
ご自身で実行する
まず20分の通話で、御社のエンジニアの前でこのタスクを実行します。リセットから、報酬ハック、もっともらしい誤りを経て、参照解までです。その後、署名済みの相互NDAのもとで、御社のエンジニアにスタンドアロンの検証器をお渡しします。Python 3.11で動作し、サードパーティのパッケージを必要としない、シード、リセット、スコア、セルフテストのコマンドを備えています。あわせて、ワークスペース、参照用の最終状態、そして未変更のワークスペースと参照解に対する検証器のレポートもお渡しします。上記のすべてのプローブを御社のマシンで再実行することが初回注文の受け入れテストとなり、初回注文は書面による要件を受領してから10営業日以内に納品します。