選單

環境

一項工作如何成為訓練環境。

兩條資料業務線背後的技術方法:任務結構、評分、校準,以及您的團隊會收到的格式。

開啟 CAD 樣本任務 索取樣本包

什麼是環境

執行所需的一切,都在一個資料夾裡。

每個任務是一個採用 Harbor 相容結構的資料夾。AI 代理看得到指示與專案;驗證器與參考解法則在其觸及範圍之外。

指示 instruction.md
工作需求,以同事或客戶實際會寄出的方式撰寫,並載明確切的交付項目與儲存路徑。
起始狀態 environment/project/
工作起始的種子資料:圖面及其修訂版本、3D 模型、資料表、郵件、資料庫資料列。
工具 environment/Dockerfile
一個具備工作所需內容的容器:CAD 核心、靜水力與計算函式庫、文件與試算表工具。
驗證器 tests/test.sh
讀取交付項目與最終狀態、執行每個檢查項目並寫入獎勵的程式,每個檢查項目一行。
探針 tests/probes/
獎勵作弊、看似合理的錯誤與正確的替代解法;在任務出貨前,驗證器必須對它們給出預期的評分。
參考解法 solution/solve.sh
一個得分為 1 的解法,證明任務依其撰寫內容可以被解出。
詮釋資料與權利 task.toml
領域、類別、難度區間、時間限制、資源、資料切分、來源與授權。

逐一檔案開啟樣本任務資料夾

task.toml 示意

version = "0.3"

[metadata]
id          = "naval/tank-capacity-014"
domain      = "ship design"
family      = "tank-capacity"   # generated, seed 1408
difficulty  = "hard"            # pass@1 0.12 at calibration
split       = "train"           # train | sealed-eval

[rights]
source      = "generated"       # generated | licensed | authored
use         = "training and evaluation"

[agent]
timeout_sec = 2700

[environment]
network     = "none"
cpus        = 2
memory_mb   = 4096

[verifier]
timeout_sec = 300
reward      = "strict"          # 1 only if every check passes
weights     = [1, 3, 3, 2, 1, 2, 3, 1]   # C1 to C8
tolerance   = { volume_m3 = 0.5, lcg_m = 0.02, trim_m = 0.01 }

/logs/verifier/reward.json 示意

{
  "reward": 0,
  "score": 0.94,
  "C1_deliverable_parses": 1,
  "C2_inputs_unchanged": 1,
  "C3_tank_volumes_98pct": 1,
  "C4_tank_lcg_vcg": 1,
  "C5_sounding_tables": 0,
  "C6_trim_departure": 1,
  "C7_tank_bounds_rev_c": 1,
  "C8_tolerances_cited": 1
}

只要一個檢查項目未通過,獎勵就設為 0。加權分數顯示答案的其餘部分是正確的,也指出錯在哪裡:C5 抓到 5P 艙櫃的測深值是依修訂版 B 的測深管基準讀取。修訂版 C 移動了測深管,因此該艙櫃的每個測深值都參照了錯誤的基準點。

驗證器原則

評分的是狀態,而不是文字敘述。

獎勵的好壞,取決於計算它的驗證器。可計算的部分由程式碼檢查;需要專家判斷之處,則由經校準的模型評審與客製的評分準則驗證器評分,且每一個都會與專家評分進行比對檢查。

評分狀態

驗證器會開啟 AI 代理留下的檔案、幾何、資料列與訊息,並重新計算它們應有的內容。AI 代理對自身工作的摘要不會得到任何分數。

確定性、預設失敗(fail-closed)

相同的交付項目,每次執行都得到相同的獎勵。缺少、格式錯誤或無法讀取的交付項目,會得到零分並附上說明的原因,絕不會當機,也絕不會通過。

嚴格通過即為獎勵

只有在每個檢查項目都通過時,獎勵才是 1。旁邊附有逐項加權分數,讓您能看出答案錯在哪裡,而不會獎勵差一點就對的答案。

過程與結果

結果檢查讀取交付項目。過程檢查讀取達成結果的方式:輸入未被更動、使用的是目前的修訂版本,以及所套用的條文與數值皆有引用。

考量公差

每個數量都帶有其圖面或規範的工程公差。以其他單位、其他順序或其他配置呈現的正確答案,仍然會通過。

隔離且可重設

無網路、輸入唯讀,且測試只在執行結束後才掛載。重設會讓工作區回到相同狀態,並以摘要值(digest)檢查。

凍結且具版本

每個驗證器都以雜湊值與其任務版本一同凍結。修正即是一個新版本,附有變更紀錄條目,且每個探針都會重新執行。

工程與幾何 業務紀錄與回覆

獎勵作弊防禦

每個驗證器在出貨前都會先受到攻擊測試。

在任務離開我們之前,我們會針對其驗證器執行一組探針。

探針類別作用必須評為
空白讓工作區維持重設時的原樣。0
僅宣稱完成回報工作已完成,但什麼都沒有改變。0
竄改編輯輸入、受保護的資料表、測試或獎勵檔案。0
寫死的答案以猜測或複製的數值寫出預期格式。0
已被取代的輸入依據舊的圖面修訂版本或第一封電子郵件作業,而非變更後的內容。嚴格未通過
看似合理的錯誤整體形狀或總數正確,但帶公差的特徵或明細項目錯誤。嚴格未通過
正確的替代解法以其他方法、其他單位或其他配置得出的正確答案。嚴格通過
6 個示範任務,一個評測框架。

門檻檢查執行於 2026年11月10日;模型嘗試於 2026年11月7日或之前進行。全部 6 個皆為我們內部撰寫的示範任務,使用虛構的名稱與數據,並非合作夥伴的紀錄。這些探針是回歸測試,而非保證。

企業工作流程評測框架的結果。CAD 樣本執行另行報告。

檢查項目
6 個任務共 59 個,其中 26 個為關鍵;參考解法在每個任務上皆得分 1.0
獎勵作弊探針
73 個,每一個都得零分;101 個惡意輸入,全部得零分,且未發生驗證器錯誤
看似合理的錯誤
71 個,每一個都未通過嚴格獎勵
正確的替代解法
8 個,全部嚴格通過
已知不足
3 個探針依設計會通過;記載於證據頁面
模型嘗試
來自同一供應商的兩個現行模型,包括其小型級別,每個模型每個版本執行一次 rollout。在我們釐清兩個版本 0 任務的措辭之後,兩個模型都通過了所有任務。強化後的版本接著執行(見下方)。這些執行顯示評測框架可以運作,而非任務的難度
未解決問題
驗證器目前尚未能抓出的問題,列於證據頁面

連同日期一併公布,無論通過或未通過。

規劃中

一個小型開放模型與一個較強模型在這 6 個任務上的通過率,各執行 5 次 rollout。完成後將在此公布,無論結果如何,並附上執行日期與任務版本。

索取樣本包 預約導覽說明

軌跡稽核

探針測試的是驗證器,稽核測試的是通過結果。在校準過程的抽樣執行中,我們會檢視每一次通過是如何取得的,而不僅是確認它通過了。

若該次執行有下列情形,該次通過即予剔除:

  • 開啟了參考解法、測試或專案以外的任何內容
  • 更動了輸入、受保護的資料表或驗證器
  • 試圖連上網路,或寫出了一個從未計算過的答案
  • 採用了指示所排除的做法

以錯誤方式取得的通過會成為新的探針,並在該批次出貨前強化驗證器。

難度與校準

難到足以教學,依設計可以解出。

每個模型都能通過的任務,教不了任何東西;沒有任何模型能通過的任務,可能本身有問題。我們在每個任務出貨前進行量測,只保留落在您設定區間內的任務。

重複嘗試
從小型開放模型到目前最強的模型,每個模型都會對每個任務嘗試數次。通過率是多次嘗試的平均值,絕非單次執行。
pass@1 與 pass@k
pass@1 決定任務落在哪個區間;pass@k 顯示任務是可達成的。落在區間之外的任務,會被強化、重新平衡或捨棄。
零是一個警訊
在保留一個沒有任何模型能通過的任務之前,我們會重新檢查其指示、參考解法與驗證器。
調整參數,而非措辭
生成的任務類別以下方的參數進行調校。難度絕不來自模糊的指示或隱藏的陷阱。

各領域的難度參數

零件
特徵數量、公差等級、需要相互核對的視圖
船舶
艙櫃與裝載狀態、資料夾中已被取代的修訂版本
建築
需要交叉判讀的圖紙與專業、碰撞密度
工作流程
任務步驟長度、變更次數、干擾性討論串

校準卡,每批次一張 示意

批次
naval/tank-capacity v0.3
保留的任務
已起草 46 個,保留 40 個
嘗試次數
每個模型每個任務 3 次
小型模型
pass@1 0.05
大型模型
pass@1 0.21・pass@3 0.34
保留區間
pass@1 介於 0.02 與 0.30 之間
獎勵作弊
14 個中 14 個為零分
植入的錯誤
12 個中 12 個嚴格未通過
替代解法
4 個中 4 個嚴格通過
專家一致性
10 個任務中 9 個一致,盲評
每次嘗試時間
中位數 38 分鐘

這是校準卡的格式,並非實際量測結果。每個批次都附有各自的校準卡。

兩種擴大規模的引擎

數量來自生成器,深度來自業界專家。

一個批次的大部分內容都可以生成,並同時計算出其標準答案。最難的任務,則從實際做過這項工作的人開始。

引擎一

參數化生成器

生成器依參數建立一整個類別的任務:帶有特徵與公差的零件、帶有艙櫃配置的船體型線、帶有構架的建築格線。建立任務的程式碼同時計算其答案,因此數量的增加永遠不會犧牲正確性。

  • 標準答案以計算得出,絕非手動輸入
  • 每個種子都記錄在資料說明書上,且可重現
生成內容。來自我們生成器的九個零件,逐一特徵建構而成。

引擎二

專家種子

對於委託製作的任務,由業界專家提供工作內容並簽核結果。模型協助起草,讓專家的時間用在只有專家才能幫上忙的地方。

  1. 種子業界專家以 6 個欄位描述一項真實工作:情境、輸入、目標、限制條件、如何驗證、預期輸出。
  2. 起草我們以種子為基礎,建立指示、專案檔案、驗證器與參考解法,並由模型協助起草。
  3. 求解來自另一個模型家族的求解模型會在盲測下嘗試數次,且無法存取驗證器或參考解法。若太容易通過,我們會檢視求解模型的日誌並強化任務。
  4. 驗證業界專家依自己的判斷檢查參考解法與驗證器,並在真實工作較難之處提高任務難度。
  5. 審查第二位業界專家對樣本進行盲評。我們在校準卡上報告一致性,每一項分歧都會交付裁決。

交付

以您的評測框架已經在執行的形式交付。

任務交付時即可執行,逐項附有文件,並經過資料切分,確保評測維持乾淨。

格式
Harbor 相容的任務資料夾、容器映像檔,或您的評測框架所採用的介面。先在您的評測框架中執行一個任務,之後再交付整個批次。
資料說明書
逐項記錄:來源(生成、授權或撰寫)、生成器與種子,或作者的化名 ID、修訂版本、去識別化,以及校準結果。
權利說明
逐項記錄:擁有者、用於訓練與評測的授權,以及其所依據的讓與或協議。
資料切分
約定的資料切分與允許用途,會隨每個任務一併記錄。評測與授權政策。
維護
隨著模型進步,驗證器會被強化,已飽和的任務會被同一類別中更難的任務取代。

開始使用

在做決定之前,先讀一個任務。

在討論整合之前,先查看一個完整的任務。

索取樣本包 開啟 CAD 樣本任務