エンジニアリング & CAD / サンプルタスク
生成された公開サンプル
図面からブラケットをモデル化する。
図面からモデルを作成する、完結したタスクです。すべてのファイルは1組のパラメータから生成されており、いずれかの企業の実在の部品ではありません。
- 分野
- 機械部品
- タスクファミリー
- 図面からソリッドモデルへ
- アクセスモード
- ファイル、ヘッドレスCADカーネル
- 成果物
- STEPソリッド1つ
- 検証器
- 決定的な形状検証:ゲート3つ、チェック項目10個
- 制限時間
- 45分
- データ分割
- 公開サンプル。学習セットや評価セットには一切含まれません
参照図面
DUF-S-001, rev A.
第三角法による3つのビュー。正解モデルと同じパラメータから生成されているため、図面と正解がずれることはありません。アンバーは、検証器が測定する公差付きの穴を示しています。
実行の様子
提出物を比較する。
記録済みの検証器の結果です。黄色は不合格となったチェック項目を示します。レポートを展開すると、すべての測定値を確認できます。
提出物
output/bracket.step ← tests/gold/bracket.step 91,297 bytes · sha256 1785336204458725… The gold solid the verifier compares against gold solid: must pass strict · as expected, 0.87 s
output/bracket.step ← written by solution/solve.py (85,015 bytes, built in 0.61 s) solution/solve.py: 7,551 bytes · sha256 ae73b38a9cc37870… The reference solution: solution/solve.py builds the part from the drawing’s dimensions with OCP reference solution: must pass strict · as expected, 0.91 s
output/bracket.step ← tests/probes/alt_rebuilt.step 83,731 bytes · sha256 9a4dc6d362af2d15… Built another way: two outlines fused, one revolved bore cutter, fillet last; STEP AP242 correct alternative: must pass strict · as expected, 0.88 s
output/bracket.step ← tests/probes/alt_bore_18009.step 91,386 bytes · sha256 00e293e59fc76bb1… The bore at Ø18.009, inside H7, everything else gold correct alternative: must pass strict · as expected, 0.82 s
output/bracket.step ← tests/probes/alt_split_faces.step 118,131 bytes · sha256 69c196eb32cbaa4a… The gold with every closed face split in two, as some CAD systems write it correct alternative: must pass strict · as expected, 0.87 s
output/bracket.step ← tests/probes/empty.step 0 bytes · sha256 e3b0c44298fc1c14… An empty bracket.step reward hack: must score exactly 0 · as expected, 0.68 s
output/bracket.step ← a note, and no output/bracket.step 61 bytes · sha256 a1fbda2711798837… No model, only a note saying the part was modelled and checked reward hack: must score exactly 0 · as expected, 0.68 s
output/bracket.step ← tests/probes/scaled_copy.step 96,498 bytes · sha256 7a19df708266b18d… The gold solid scaled by 1.02 plausible mistake: must fail strict, caught by C1 to C8 · as expected, 0.91 s
output/bracket.step ← tests/probes/bore_oversize.step 91,317 bytes · sha256 201c90aa78c85c88… The bore 0.4 mm oversize, everything else gold plausible mistake: must fail strict, caught by C4 · as expected, 0.82 s
output/bracket.step ← tests/probes/three_holes.step 86,917 bytes · sha256 d8f2fa15affd4f7e… One base hole left out plausible mistake: must fail strict, caught by C6, C7 · as expected, 0.88 s
output/bracket.step ← tests/probes/mirrored.step 89,522 bytes · sha256 28dcdc826bc8b551… The gold solid mirrored left to right plausible mistake: must fail strict, caught by C3, C8, C10 · as expected, 0.91 s
output/bracket.step ← tests/probes/spline_faces.step 135,874 bytes · sha256 5a1a0ede8035bf36… The gold with every face converted to a B-spline surface: same shape, no true cylinders plausible mistake: must fail strict, caught by C9 · as expected, 1.87 s
検証器の出力 · gold 厳格判定:合格 · 報酬 1 · スコア 1.00
すべてのゲートとチェック項目に合格しました。
検証器の全出力
$ bash tests/test.sh output/bracket.step G1 ok output/bracket.step exists, is not empty and reads as STEP: 91297 bytes, read as STEP G2 ok exactly one closed, valid solid with positive volume: 1 closed valid solid, 25 faces, volume 209268.6 mm³ G3 ok units are millimetres and the part fits inside a 250 mm cube: millimetre; extent 120.00 × 80.00 × 84.00 mm C1 ok Envelope: 120.000 × 80.000 × 84.000 expected 120.0 × 80.0 × 84.0 ±0.10 · w10 C2 ok Volume: 209.27 cm³ (+0.00%) expected 209.27 cm³ ±0.5% · w10 C3 ok Overlap with the gold (IoU): 1.0000 expected ≥ 0.995 · w10 C4 ok Bore diameter: Ø18.0000, 3 sections within 0.0000 expected Ø18 H7: 18.000 to 18.018 · w20 C5 ok Bore axis: position, square to B: X 60.000, Z 52.000; square 0.0000 expected X 60.00, Z 52.00 ±0.05; square ≤ 0.02 · w10 C6 ok Through holes: count and diameter: 4 through, all Ø9.000 expected 4 × Ø9.0 ±0.10, through · w10 C7 ok Hole pattern: centre positions: 4 of 4 within 0.10, worst 0.000 expected 90.0 × 36.0 from (15, 14), ±0.10 · w10 C8 ok Slot: width, length, centre: 10.000 × 30.000 at (42.000, 30.000) expected 10.0 × 30.0 at (42, 30) ±0.10 · w10 C9 ok Feature types: all present · faces: 2 cone, 13 cylinder, 10 plane expected bore and holes true cylinders; R6 fillet, 4 × R10, 2 × 1×45° chamfers · w5 C10 ok Handedness: slot X 42.00 < bore X 60.00: left expected slot left of the bore, seen from the front · w5 strict_pass true reward 1 score 1.00
検証器の出力 · solve_py 厳格判定:合格 · 報酬 1 · スコア 1.00
すべてのゲートとチェック項目に合格しました。
検証器の全出力
$ bash tests/test.sh output/bracket.step G1 ok output/bracket.step exists, is not empty and reads as STEP: 85015 bytes, read as STEP G2 ok exactly one closed, valid solid with positive volume: 1 closed valid solid, 24 faces, volume 209265.5 mm³ G3 ok units are millimetres and the part fits inside a 250 mm cube: millimetre; extent 120.00 × 80.00 × 84.00 mm C1 ok Envelope: 120.000 × 80.000 × 84.000 expected 120.0 × 80.0 × 84.0 ±0.10 · w10 C2 ok Volume: 209.27 cm³ (+0.00%) expected 209.27 cm³ ±0.5% · w10 C3 ok Overlap with the gold (IoU): 1.0000 expected ≥ 0.995 · w10 C4 ok Bore diameter: Ø18.0090, 3 sections within 0.0000 expected Ø18 H7: 18.000 to 18.018 · w20 C5 ok Bore axis: position, square to B: X 60.000, Z 52.000; square 0.0000 expected X 60.00, Z 52.00 ±0.05; square ≤ 0.02 · w10 C6 ok Through holes: count and diameter: 4 through, all Ø9.000 expected 4 × Ø9.0 ±0.10, through · w10 C7 ok Hole pattern: centre positions: 4 of 4 within 0.10, worst 0.000 expected 90.0 × 36.0 from (15, 14), ±0.10 · w10 C8 ok Slot: width, length, centre: 10.000 × 30.000 at (42.000, 30.000) expected 10.0 × 30.0 at (42, 30) ±0.10 · w10 C9 ok Feature types: all present · faces: 2 cone, 12 cylinder, 10 plane expected bore and holes true cylinders; R6 fillet, 4 × R10, 2 × 1×45° chamfers · w5 C10 ok Handedness: slot X 42.00 < bore X 60.00: left expected slot left of the bore, seen from the front · w5 strict_pass true reward 1 score 1.00
検証器の出力 · alt_rebuilt 厳格判定:合格 · 報酬 1 · スコア 1.00
すべてのゲートとチェック項目に合格しました。
検証器の全出力
$ bash tests/test.sh output/bracket.step G1 ok output/bracket.step exists, is not empty and reads as STEP: 83731 bytes, read as STEP G2 ok exactly one closed, valid solid with positive volume: 1 closed valid solid, 24 faces, volume 209268.6 mm³ G3 ok units are millimetres and the part fits inside a 250 mm cube: millimetre; extent 120.00 × 80.00 × 84.00 mm C1 ok Envelope: 120.000 × 80.000 × 84.000 expected 120.0 × 80.0 × 84.0 ±0.10 · w10 C2 ok Volume: 209.27 cm³ (+0.00%) expected 209.27 cm³ ±0.5% · w10 C3 ok Overlap with the gold (IoU): 1.0000 expected ≥ 0.995 · w10 C4 ok Bore diameter: Ø18.0000, 3 sections within 0.0000 expected Ø18 H7: 18.000 to 18.018 · w20 C5 ok Bore axis: position, square to B: X 60.000, Z 52.000; square 0.0000 expected X 60.00, Z 52.00 ±0.05; square ≤ 0.02 · w10 C6 ok Through holes: count and diameter: 4 through, all Ø9.000 expected 4 × Ø9.0 ±0.10, through · w10 C7 ok Hole pattern: centre positions: 4 of 4 within 0.10, worst 0.000 expected 90.0 × 36.0 from (15, 14), ±0.10 · w10 C8 ok Slot: width, length, centre: 10.000 × 30.000 at (42.000, 30.000) expected 10.0 × 30.0 at (42, 30) ±0.10 · w10 C9 ok Feature types: all present · faces: 2 cone, 12 cylinder, 10 plane expected bore and holes true cylinders; R6 fillet, 4 × R10, 2 × 1×45° chamfers · w5 C10 ok Handedness: slot X 42.00 < bore X 60.00: left expected slot left of the bore, seen from the front · w5 strict_pass true reward 1 score 1.00
検証器の出力 · alt_bore_18009 厳格判定:合格 · 報酬 1 · スコア 1.00
すべてのゲートとチェック項目に合格しました。
検証器の全出力
$ bash tests/test.sh output/bracket.step G1 ok output/bracket.step exists, is not empty and reads as STEP: 91386 bytes, read as STEP G2 ok exactly one closed, valid solid with positive volume: 1 closed valid solid, 25 faces, volume 209265.5 mm³ G3 ok units are millimetres and the part fits inside a 250 mm cube: millimetre; extent 120.00 × 80.00 × 84.00 mm C1 ok Envelope: 120.000 × 80.000 × 84.000 expected 120.0 × 80.0 × 84.0 ±0.10 · w10 C2 ok Volume: 209.27 cm³ (+0.00%) expected 209.27 cm³ ±0.5% · w10 C3 ok Overlap with the gold (IoU): 1.0000 expected ≥ 0.995 · w10 C4 ok Bore diameter: Ø18.0090, 3 sections within 0.0000 expected Ø18 H7: 18.000 to 18.018 · w20 C5 ok Bore axis: position, square to B: X 60.000, Z 52.000; square 0.0000 expected X 60.00, Z 52.00 ±0.05; square ≤ 0.02 · w10 C6 ok Through holes: count and diameter: 4 through, all Ø9.000 expected 4 × Ø9.0 ±0.10, through · w10 C7 ok Hole pattern: centre positions: 4 of 4 within 0.10, worst 0.000 expected 90.0 × 36.0 from (15, 14), ±0.10 · w10 C8 ok Slot: width, length, centre: 10.000 × 30.000 at (42.000, 30.000) expected 10.0 × 30.0 at (42, 30) ±0.10 · w10 C9 ok Feature types: all present · faces: 2 cone, 13 cylinder, 10 plane expected bore and holes true cylinders; R6 fillet, 4 × R10, 2 × 1×45° chamfers · w5 C10 ok Handedness: slot X 42.00 < bore X 60.00: left expected slot left of the bore, seen from the front · w5 strict_pass true reward 1 score 1.00
検証器の出力 · alt_split_faces 厳格判定:合格 · 報酬 1 · スコア 1.00
すべてのゲートとチェック項目に合格しました。
検証器の全出力
$ bash tests/test.sh output/bracket.step G1 ok output/bracket.step exists, is not empty and reads as STEP: 118131 bytes, read as STEP G2 ok exactly one closed, valid solid with positive volume: 1 closed valid solid, 32 faces, volume 209268.6 mm³ G3 ok units are millimetres and the part fits inside a 250 mm cube: millimetre; extent 120.00 × 80.00 × 84.00 mm C1 ok Envelope: 120.000 × 80.000 × 84.000 expected 120.0 × 80.0 × 84.0 ±0.10 · w10 C2 ok Volume: 209.27 cm³ (+0.00%) expected 209.27 cm³ ±0.5% · w10 C3 ok Overlap with the gold (IoU): 1.0000 expected ≥ 0.995 · w10 C4 ok Bore diameter: Ø18.0000, 3 sections within 0.0000 expected Ø18 H7: 18.000 to 18.018 · w20 C5 ok Bore axis: position, square to B: X 60.000, Z 52.000; square 0.0000 expected X 60.00, Z 52.00 ±0.05; square ≤ 0.02 · w10 C6 ok Through holes: count and diameter: 4 through, all Ø9.000 expected 4 × Ø9.0 ±0.10, through · w10 C7 ok Hole pattern: centre positions: 4 of 4 within 0.10, worst 0.000 expected 90.0 × 36.0 from (15, 14), ±0.10 · w10 C8 ok Slot: width, length, centre: 10.000 × 30.000 at (42.000, 30.000) expected 10.0 × 30.0 at (42, 30) ±0.10 · w10 C9 ok Feature types: all present · faces: 4 cone, 18 cylinder, 10 plane expected bore and holes true cylinders; R6 fillet, 4 × R10, 2 × 1×45° chamfers · w5 C10 ok Handedness: slot X 42.00 < bore X 60.00: left expected slot left of the bore, seen from the front · w5 strict_pass true reward 1 score 1.00
検証器の出力 · empty 厳格判定:不合格 · 報酬 0 · スコア 0.00
G1 FAIL output/bracket.step exists, is not empty and reads as STEP: the file is empty (0 bytes)
検証器の全出力
$ bash tests/test.sh output/bracket.step G1 FAIL output/bracket.step exists, is not empty and reads as STEP: the file is empty (0 bytes) checks not scored: a gate failed strict_pass false reward 0 score 0.00
検証器の出力 · claim_only 厳格判定:不合格 · 報酬 0 · スコア 0.00
G1 FAIL output/bracket.step exists, is not empty and reads as STEP: no file at output/bracket.step
検証器の全出力
$ bash tests/test.sh output/bracket.step G1 FAIL output/bracket.step exists, is not empty and reads as STEP: no file at output/bracket.step checks not scored: a gate failed strict_pass false reward 0 score 0.00
検証器の出力 · scaled_copy 厳格判定:不合格 · 報酬 0 · スコア 0.10
C1 FAIL Envelope: 122.400 × 81.600 × 85.680 expected 120.0 × 80.0 × 84.0 ±0.10 · w10 C2 FAIL Volume: 222.08 cm³ (+6.12%) expected 209.27 cm³ ±0.5% · w10 C3 FAIL Overlap with the gold (IoU): 0.8386 expected ≥ 0.995 · w10 C4 FAIL Bore diameter: Ø18.3600, 3 sections within 0.0000 expected Ø18 H7: 18.000 to 18.018 · w20 C5 FAIL Bore axis: position, square to B: X 61.200, Z 53.040; square 0.0000 expected X 60.00, Z 52.00 ±0.05; square ≤ 0.02 · w10 C6 FAIL Through holes: count and diameter: 4 through, all Ø9.180 expected 4 × Ø9.0 ±0.10, through · w10 C7 FAIL Hole pattern: centre positions: 0 of 4 within 0.10, worst 2.100 expected 90.0 × 36.0 from (15, 14), ±0.10 · w10 C8 FAIL Slot: width, length, centre: 10.200 × 30.600 at (42.840, 30.600) expected 10.0 × 30.0 at (42, 30) ±0.10 · w10
検証器の全出力
$ bash tests/test.sh output/bracket.step G1 ok output/bracket.step exists, is not empty and reads as STEP: 96498 bytes, read as STEP G2 ok exactly one closed, valid solid with positive volume: 1 closed valid solid, 25 faces, volume 222077.5 mm³ G3 ok units are millimetres and the part fits inside a 250 mm cube: millimetre; extent 122.40 × 81.60 × 85.68 mm C1 FAIL Envelope: 122.400 × 81.600 × 85.680 expected 120.0 × 80.0 × 84.0 ±0.10 · w10 C2 FAIL Volume: 222.08 cm³ (+6.12%) expected 209.27 cm³ ±0.5% · w10 C3 FAIL Overlap with the gold (IoU): 0.8386 expected ≥ 0.995 · w10 C4 FAIL Bore diameter: Ø18.3600, 3 sections within 0.0000 expected Ø18 H7: 18.000 to 18.018 · w20 C5 FAIL Bore axis: position, square to B: X 61.200, Z 53.040; square 0.0000 expected X 60.00, Z 52.00 ±0.05; square ≤ 0.02 · w10 C6 FAIL Through holes: count and diameter: 4 through, all Ø9.180 expected 4 × Ø9.0 ±0.10, through · w10 C7 FAIL Hole pattern: centre positions: 0 of 4 within 0.10, worst 2.100 expected 90.0 × 36.0 from (15, 14), ±0.10 · w10 C8 FAIL Slot: width, length, centre: 10.200 × 30.600 at (42.840, 30.600) expected 10.0 × 30.0 at (42, 30) ±0.10 · w10 C9 ok Feature types: all present · faces: 2 cone, 13 cylinder, 10 plane expected bore and holes true cylinders; R6 fillet, 4 × R10, 2 × 1×45° chamfers · w5 C10 ok Handedness: slot X 42.84 < bore X 61.20: left expected slot left of the bore, seen from the front · w5 strict_pass false reward 0 score 0.10
検証器の出力 · bore_oversize 厳格判定:不合格 · 報酬 0 · スコア 0.80
C4 FAIL Bore diameter: Ø18.4000, 3 sections within 0.0000 expected Ø18 H7: 18.000 to 18.018 · w20
検証器の全出力
$ bash tests/test.sh output/bracket.step G1 ok output/bracket.step exists, is not empty and reads as STEP: 91317 bytes, read as STEP G2 ok exactly one closed, valid solid with positive volume: 1 closed valid solid, 25 faces, volume 209130.1 mm³ G3 ok units are millimetres and the part fits inside a 250 mm cube: millimetre; extent 120.00 × 80.00 × 84.00 mm C1 ok Envelope: 120.000 × 80.000 × 84.000 expected 120.0 × 80.0 × 84.0 ±0.10 · w10 C2 ok Volume: 209.13 cm³ (-0.07%) expected 209.27 cm³ ±0.5% · w10 C3 ok Overlap with the gold (IoU): 0.9993 expected ≥ 0.995 · w10 C4 FAIL Bore diameter: Ø18.4000, 3 sections within 0.0000 expected Ø18 H7: 18.000 to 18.018 · w20 C5 ok Bore axis: position, square to B: X 60.000, Z 52.000; square 0.0000 expected X 60.00, Z 52.00 ±0.05; square ≤ 0.02 · w10 C6 ok Through holes: count and diameter: 4 through, all Ø9.000 expected 4 × Ø9.0 ±0.10, through · w10 C7 ok Hole pattern: centre positions: 4 of 4 within 0.10, worst 0.000 expected 90.0 × 36.0 from (15, 14), ±0.10 · w10 C8 ok Slot: width, length, centre: 10.000 × 30.000 at (42.000, 30.000) expected 10.0 × 30.0 at (42, 30) ±0.10 · w10 C9 ok Feature types: all present · faces: 2 cone, 13 cylinder, 10 plane expected bore and holes true cylinders; R6 fillet, 4 × R10, 2 × 1×45° chamfers · w5 C10 ok Handedness: slot X 42.00 < bore X 60.00: left expected slot left of the bore, seen from the front · w5 strict_pass false reward 0 score 0.80
検証器の出力 · three_holes 厳格判定:不合格 · 報酬 0 · スコア 0.80
C6 FAIL Through holes: count and diameter: 3 through, all Ø9.000 expected 4 × Ø9.0 ±0.10, through · w10 C7 FAIL Hole pattern: centre positions: 3 of 4 within 0.10, worst 0.000, 1 missing expected 90.0 × 36.0 from (15, 14), ±0.10 · w10
検証器の全出力
$ bash tests/test.sh output/bracket.step G1 ok output/bracket.step exists, is not empty and reads as STEP: 86917 bytes, read as STEP G2 ok exactly one closed, valid solid with positive volume: 1 closed valid solid, 24 faces, volume 210032.0 mm³ G3 ok units are millimetres and the part fits inside a 250 mm cube: millimetre; extent 120.00 × 80.00 × 84.00 mm C1 ok Envelope: 120.000 × 80.000 × 84.000 expected 120.0 × 80.0 × 84.0 ±0.10 · w10 C2 ok Volume: 210.03 cm³ (+0.36%) expected 209.27 cm³ ±0.5% · w10 C3 ok Overlap with the gold (IoU): 0.9964 expected ≥ 0.995 · w10 C4 ok Bore diameter: Ø18.0000, 3 sections within 0.0000 expected Ø18 H7: 18.000 to 18.018 · w20 C5 ok Bore axis: position, square to B: X 60.000, Z 52.000; square 0.0000 expected X 60.00, Z 52.00 ±0.05; square ≤ 0.02 · w10 C6 FAIL Through holes: count and diameter: 3 through, all Ø9.000 expected 4 × Ø9.0 ±0.10, through · w10 C7 FAIL Hole pattern: centre positions: 3 of 4 within 0.10, worst 0.000, 1 missing expected 90.0 × 36.0 from (15, 14), ±0.10 · w10 C8 ok Slot: width, length, centre: 10.000 × 30.000 at (42.000, 30.000) expected 10.0 × 30.0 at (42, 30) ±0.10 · w10 C9 ok Feature types: all present · faces: 2 cone, 12 cylinder, 10 plane expected bore and holes true cylinders; R6 fillet, 4 × R10, 2 × 1×45° chamfers · w5 C10 ok Handedness: slot X 42.00 < bore X 60.00: left expected slot left of the bore, seen from the front · w5 strict_pass false reward 0 score 0.80
検証器の出力 · mirrored 厳格判定:不合格 · 報酬 0 · スコア 0.75
C3 FAIL Overlap with the gold (IoU): 0.9686 expected ≥ 0.995 · w10 C8 FAIL Slot: width, length, centre: 10.000 × 30.000 at (78.000, 30.000) expected 10.0 × 30.0 at (42, 30) ±0.10 · w10 C10 FAIL Handedness: slot X 78.00 > bore X 60.00: right expected slot left of the bore, seen from the front · w5
検証器の全出力
$ bash tests/test.sh output/bracket.step G1 ok output/bracket.step exists, is not empty and reads as STEP: 89522 bytes, read as STEP G2 ok exactly one closed, valid solid with positive volume: 1 closed valid solid, 25 faces, volume 209268.6 mm³ G3 ok units are millimetres and the part fits inside a 250 mm cube: millimetre; extent 120.00 × 80.00 × 84.00 mm C1 ok Envelope: 120.000 × 80.000 × 84.000 expected 120.0 × 80.0 × 84.0 ±0.10 · w10 C2 ok Volume: 209.27 cm³ (+0.00%) expected 209.27 cm³ ±0.5% · w10 C3 FAIL Overlap with the gold (IoU): 0.9686 expected ≥ 0.995 · w10 C4 ok Bore diameter: Ø18.0000, 3 sections within 0.0000 expected Ø18 H7: 18.000 to 18.018 · w20 C5 ok Bore axis: position, square to B: X 60.000, Z 52.000; square 0.0000 expected X 60.00, Z 52.00 ±0.05; square ≤ 0.02 · w10 C6 ok Through holes: count and diameter: 4 through, all Ø9.000 expected 4 × Ø9.0 ±0.10, through · w10 C7 ok Hole pattern: centre positions: 4 of 4 within 0.10, worst 0.000 expected 90.0 × 36.0 from (15, 14), ±0.10 · w10 C8 FAIL Slot: width, length, centre: 10.000 × 30.000 at (78.000, 30.000) expected 10.0 × 30.0 at (42, 30) ±0.10 · w10 C9 ok Feature types: all present · faces: 2 cone, 13 cylinder, 10 plane expected bore and holes true cylinders; R6 fillet, 4 × R10, 2 × 1×45° chamfers · w5 C10 FAIL Handedness: slot X 78.00 > bore X 60.00: right expected slot left of the bore, seen from the front · w5 strict_pass false reward 0 score 0.75
検証器の出力 · spline_faces 厳格判定:不合格 · 報酬 0 · スコア 0.95
C9 FAIL Feature types: missing: bore cylinder; 0/4 hole cylinders; R6 fillet ×0; R10 rounds ×0; 1×45° chamfers ×0 · faces: 25 B-spline expected bore and holes true cylinders; R6 fillet, 4 × R10, 2 × 1×45° chamfers · w5
検証器の全出力
$ bash tests/test.sh output/bracket.step G1 ok output/bracket.step exists, is not empty and reads as STEP: 135874 bytes, read as STEP G2 ok exactly one closed, valid solid with positive volume: 1 closed valid solid, 25 faces, volume 209268.6 mm³ G3 ok units are millimetres and the part fits inside a 250 mm cube: millimetre; extent 120.00 × 80.00 × 84.00 mm C1 ok Envelope: 120.000 × 80.000 × 84.000 expected 120.0 × 80.0 × 84.0 ±0.10 · w10 C2 ok Volume: 209.27 cm³ (+0.00%) expected 209.27 cm³ ±0.5% · w10 C3 ok Overlap with the gold (IoU): 1.0000 expected ≥ 0.995 · w10 C4 ok Bore diameter: Ø18.0000, 3 sections within 0.0000 expected Ø18 H7: 18.000 to 18.018 · w20 C5 ok Bore axis: position, square to B: X 60.000, Z 52.000; square 0.0000 expected X 60.00, Z 52.00 ±0.05; square ≤ 0.02 · w10 C6 ok Through holes: count and diameter: 4 through, all Ø9.000 expected 4 × Ø9.0 ±0.10, through · w10 C7 ok Hole pattern: centre positions: 4 of 4 within 0.10, worst 0.000 expected 90.0 × 36.0 from (15, 14), ±0.10 · w10 C8 ok Slot: width, length, centre: 10.000 × 30.000 at (42.000, 30.000) expected 10.0 × 30.0 at (42, 30) ±0.10 · w10 C9 FAIL Feature types: missing: bore cylinder; 0/4 hole cylinders; R6 fillet ×0; R10 rounds ×0; 1×45° chamfers ×0 · faces: 25 B-spline expected bore and holes true cylinders; R6 fillet, 4 × R10, 2 × 1×45° chamfers · w5 C10 ok Handedness: slot X 42.00 < bore X 60.00: left expected slot left of the bore, seen from the front · w5 strict_pass false reward 0 score 0.95
タスクの概要
エージェントに伝えられること。
エージェントに与えられる指示文と、エージェントがアクセスできるファイルとツール。
instruction.md818バイト
# Model the bracket on drawing DUF-S-001 `project/drawing.svg` is a released drawing (rev A) of a mounting bracket. Model it as one solid and export it as STEP (AP214 or AP242) to `output/bracket.step`. - Work in millimetres. Put the origin where datums A, B and C meet, with +X along the front edge, +Y towards the web and +Z up. - Model every feature on the drawing: the four through holes, the slot, the bore with its chamfers, the rounds and the inner fillet. - Model the Ø18 H7 bore at a diameter inside its tolerance (18.000 to 18.018). - The drawing governs. Where it is silent, ISO 2768-m applies. - Python 3.12 with OpenCascade (OCP, the kernel CadQuery is built on) and numpy is installed. You have no network access. When the file is written, say so in one line. Do not describe checks you did not run.
- エージェントに見えるもの
/workspace内のproject/drawing.svgと、空のoutput/フォルダ- ツール
- シェル、DockerfileでインストールされたOpenCascade(OCP)とnumpyを含むPython 3.12。ネットワークなし
- エージェントから隠されているもの
tests/内の正解ソリッド、プローブ、チェック項目(実行終了後にのみコピーされる)、およびsolution/内の参照解- バリエーション
- ジェネレーターは、すべての寸法、穴パターン、はめあいをパラメータとして受け取るため、1つのファミリーから多数の異なるタスクが得られます
成果物と検証器
形状に基づき、フィーチャーごとに採点。
まずゲート:欠落している、壊れている、または単位が誤っている回答のスコアは0です。次に、重み付きの10個のチェック項目があり、それぞれが許容差を明示した測定です。最初に形状全体の比較を行います。その後、公差付きの各フィーチャーを、提出されたソリッドを切断した断面で個別に測定し、その面の種類をチェックします。
- ファイル
output/bracket.step、STEP AP214またはAP242、ソリッドはちょうど1つ- 座標系
- ミリメートル、原点はデータムA、B、C、Z軸が上向き。検証器は比較前にデータム面での位置合わせも行います
- 採点対象外
- フィーチャーツリー、ボディ名、色、レイヤー、モデルの作成方法
- 報酬
- すべてのゲートと10個のチェック項目すべてに合格した場合(厳格判定で合格)のみ1、それ以外は0。これが学習用の報酬です
- スコア
- 合格したチェック項目の重みの合計を100で割った値。いずれかのゲートで不合格の場合は0。回答がどこで誤ったかを示します
ゲート
| ゲート | 満たすべき条件 |
|---|---|
| G1 | output/bracket.stepが存在し、空ではなく、STEPとして読み込める |
| G2 | 体積が正の、閉じた有効なソリッドをちょうど1つ含む |
| G3 | 単位がミリメートルで、部品が一辺250 mmの立方体に収まる |
チェック項目
| チェック項目 | 測定対象 | 目標値 | 許容差 | 重み |
|---|---|---|---|---|
| C1 | 外形 | 120.0 × 80.0 × 84.0 mm | ±0.10 mm | 10 |
| C2 | 体積 | 209.27 cm³(正解) | ±0.5% | 10 |
| C3 | A、B、Cで位置合わせした正解ソリッドとの重なり | Intersection over Union | 0.995以上 | 10 |
| C4 | 穴径:3つの断面で穴の壁面にフィッティングした円 | Ø18 H7 | 18.000~18.018 mm | 20 |
| C5 | 穴の軸:位置と、Bに対する直角度 | X 60.00, Z 52.00 | ±0.05 mm;0.02 mm | 10 |
| C6 | ベースの貫通穴:個数と直径 | 4 × Ø9.0、貫通 | ±0.10 mm | 10 |
| C7 | 穴パターン:中心位置 | 90.0 × 36.0、最初の穴は(15, 14) | ±0.10 mm | 10 |
| C8 | 溝:幅、長さ、中心 | 10.0 × 30.0、中心(42, 30) | ±0.10 mm | 10 |
| C9 | 存在するフィーチャーの種類 | 穴と各貫通穴は真の円筒面。R6の内側フィレット、R10の丸み4か所、穴の1 × 45°の面取り2か所 | 面の種類による。半径はISO 2768-mに準拠 | 5 |
| C10 | 左右の向き | 正面から見て、溝が穴の左側にある | 完全一致 | 5 |
図面とモデルでアンバー表示されているC4は、形状全体の比較では代替できないチェック項目です。
プローブ
却下すべき誤答と、合格させるべき正答。
タスクを出荷する前に、その検証器を、参照解の出力、意図的に誤らせた回答、別の方法で構築した正しい別解に対して実行します。報酬ハックのスコアはちょうど0でなければならず、もっともらしい誤りは、それぞれが引っかかるよう作られたチェック項目で厳格判定に不合格とならなければならず、参照解とすべての正しい別解は合格しなければなりません。以下の各行は、記録済みの実行によるものです。
すべてのプローブの提出物と測定値
| 提出物 | 内容 | 種類 | 検証器による測定値 | 検出したチェック項目 | スコア | 厳格判定 |
|---|---|---|---|---|---|---|
gold | 検証器が比較対象とする正解ソリッド | 正解ソリッド | 外形 0.10以内;体積 +0.00%;重なり 1.0000;穴 Ø18.0000 | なし | 1.00 | 合格 |
solve_py | 参照解:solution/solve.pyが、図面の寸法からOCPを使って部品を構築します | 参照解 | 外形 0.10以内;体積 +0.00%;重なり 1.0000;穴 Ø18.0090 | なし | 1.00 | 合格 |
alt_rebuilt | 別の方法で構築:2つの輪郭を融合し、回転で作った1つのカッターで穴をあけ、最後にフィレット。STEP AP242 | 正しい別解 | 外形 0.10以内;体積 +0.00%;重なり 1.0000;穴 Ø18.0000 | なし | 1.00 | 合格 |
alt_bore_18009 | 穴径がØ18.009でH7の範囲内、それ以外は正解と同一 | 正しい別解 | 外形 0.10以内;体積 +0.00%;重なり 1.0000;穴 Ø18.0090 | なし | 1.00 | 合格 |
alt_split_faces | 一部のCADシステムが書き出すように、閉じた面をすべて2つに分割した正解 | 正しい別解 | 外形 0.10以内;体積 +0.00%;重なり 1.0000;穴 Ø18.0000 | なし | 1.00 | 合格 |
empty | 空のbracket.step | 報酬ハック | ファイルが空(0バイト) | G1 | 0.00 | 不合格 |
claim_only | モデルなし。部品をモデル化してチェックしたと書いたメモのみ | 報酬ハック | output/bracket.stepにファイルがない | G1 | 0.00 | 不合格 |
scaled_copy | 1.02倍に拡大した正解ソリッド | もっともらしい誤り | 外形 122.400 × 81.600 × 85.680; 体積 +6.12%; 重なり 0.8386; 穴 Ø18.3600 | C1~C8 | 0.10 | 不合格 |
bore_oversize | 穴径が0.4 mm過大で、それ以外は正解と同一 | もっともらしい誤り | 外形 0.10以内;体積 -0.07%;重なり 0.9993;穴 Ø18.4000 | C4 | 0.80 | 不合格 |
three_holes | ベースの穴を1つ省略 | もっともらしい誤り | 外形 0.10以内;体積 +0.36%;重なり 0.9964;穴 Ø18.0000;貫通穴 3個貫通、すべてØ9.000;穴パターン 4個中3個が0.10以内、最大0.000、1個欠落 | C6, C7 | 0.80 | 不合格 |
mirrored | 左右を鏡像反転した正解ソリッド | もっともらしい誤り | 外形 0.10以内;体積 +0.00%;重なり 0.9686;穴 Ø18.0000;溝 10.000 × 30.000、位置(78.000, 30.000);左右の向き 溝 X 78.00 > 穴 X 60.00:右 | C3, C8, C10 | 0.75 | 不合格 |
spline_faces | すべての面をBスプライン曲面に変換した正解:形状は同じだが、真の円筒面がない | もっともらしい誤り | 外形 0.10以内;体積 +0.00%;重なり 1.0000;穴 Ø18.0000;真の円筒面、円錐面、平面がない | C9 | 0.95 | 不合格 |
次のセクションの実行であるtests/run_results.jsonから生成。穴径が過大なものは外形、体積、重なりを通過し、当社自身の形状研究と同様に、穴を測定して初めて検出されます。Bスプラインのコピーは形状が正しく、フィーチャーの種類でのみ不合格になります。CAMシステムや検査担当者は、そこから穴として拾える真の円筒面を見つけられません。
tests/verify.py · C4とC5による穴の測定方法def measure_bore(solid):
"""The Ø18 H7 bore. Cut the web square to the bore at three depths, clear of the
1 mm chamfers; fit a circle to the bore's outline in each section. The diameter is
each circle's; the axis runs through the centres (position and squareness, C5)."""
y0, y1 = web_faces(solid) # the web's front and back faces, measured
ch = SPEC["bore"]["chamfer"]
depths = (y0 + ch + 0.5, (y0 + y1) / 2, y1 - ch - 0.5)
nominal = np.array([SPEC["bore"]["x"], SPEC["bore"]["z"]])
rings = []
for y in depths:
loops = round_loops(section_loops(solid, "y", y)) # inner loops that are circles
near = [l for l in loops if np.linalg.norm(l["centre"] - nominal) < 15]
if not near:
return None # no bore: C4 and C5 fail
rings.append(min(near, key=lambda l: np.linalg.norm(l["centre"] - nominal)))
shift = np.linalg.norm(rings[2]["centre"] - rings[0]["centre"])
tilt = shift * (y1 - y0) / (depths[2] - depths[0]) # over the web's thickness
return dict(d=[l["d"] for l in rings], centre=rings[1]["centre"], square=float(tilt),
roundness=max(l["roundness"] for l in rings))
ファイルから読み取るのではなく、部品上で測定
検証器は、フィーチャー自体のラベルを決して信用しません。面取りにかからない3つの深さで、穴に対して直角にソリッドを切断し、それぞれの断面で穴の輪郭に円をフィッティングします。直径はすべての断面で18 µmのH7公差域に収まらなければならず、各中心を通る軸から位置と直角度を求めます。
貫通穴と溝も同じ方法で、ベースの両面付近と板厚の中央で切断した断面で測定するため、貫通している場合にのみ穴として数えられます。フィーチャーの種類(C9)は、面自体の定義から読み取る唯一のチェック項目です。
タスクフォルダ
納品物をファイルごとに。
ダウンロードには、以下に挙げる各ファイルが含まれます。記録済みの実行と、それを再現するために必要なスクリプトも含まれます。
| パス | 内容 | サイズ |
|---|---|---|
task.toml | ID、分野、アクセスモード、制限時間、データ分割、コンテナ、検証器コマンド、報酬ルール、解答コマンド、権利 | 1.1 KB |
instruction.md | 上記の概要 | 818 B |
environment/Dockerfile | エージェントのコンテナ:Python 3.12、OCP経由のOpenCascade、numpy、図面。実行時に取得するものはなし | 1.0 KB |
environment/project/drawing.svg | 参照図面、rev A | 21.6 KB |
tests/test.sh | 検証器を実行。最初に報酬0を書き込むため、クラッシュやタイムアウトでもスコアは0 | 836 B |
tests/verify.py | ゲートと10個のチェック項目 | 27.0 KB |
tests/gold/bracket.step | 評価者側に置かれる正解ソリッド | 91.3 KB |
tests/probes/ | プローブ:STEPソリッド8個、空のファイル、主張のみのメモ、そして各提出物が得るべきスコアを記したprobes.json | 796.1 KB |
tests/run_probes.py | 参照解を実行し、続いてその出力、正解ソリッド、すべてのプローブに対して検証器を実行し、各結果をチェック | 5.1 KB |
tests/run_results.json | 本ページに示した実行 | 36.9 KB |
solution/solve.sh | solve.pyを実行してoutput/bracket.stepを書き出す | 398 B |
solution/solve.py | 参照解:正解ソリッドを読まずに、図面の寸法からOCPを使ってブラケットを構築 | 7.6 KB |
タスクフォルダをダウンロード ZIP、177.3 KB · 生成された公開サンプルであり、評価項目ではありません
上記の実行は、Dockerfileがビルドするコンテナ内で、ネットワークを無効にして行いました。まずtests/がない状態で参照解を実行し、その後に検証器を追加して実行しました。
このようなタスクを御社の評価ハーネス向けにお求めですか?
学習させたい能力と、評価ハーネスが受け付ける形式をお知らせください。タスクの元となるエンジニアリング & CADデータと、環境の構築方法もご覧ください。