메뉴

환경

하나의 업무가 학습 환경이 되는 과정.

두 데이터 분야에 공통으로 적용되는 기술적 방법: 태스크 구조, 채점, 보정, 그리고 고객 팀이 받는 형식.

CAD 샘플 태스크 열기 샘플 팩 요청

환경이란 무엇인가

실행에 필요한 모든 것을 하나의 폴더에.

각 태스크는 Harbor 호환 구조로 된 하나의 폴더입니다. 에이전트는 지시문과 프로젝트를 볼 수 있습니다. 검증기와 참조 풀이는 에이전트가 접근할 수 없는 곳에 둡니다.

지시문 instruction.md
동료나 고객이 보내는 것과 같은 형태의 작업 요청으로, 정확한 납품물과 저장 경로를 포함합니다.
초기 상태 environment/project/
업무가 시작되는 시드 데이터: 도면과 그 개정본, 3D 모델, 테이블, 메일, 데이터베이스 행.
도구 environment/Dockerfile
업무에 필요한 것을 갖춘 컨테이너: CAD 커널, 정수력 및 계산 라이브러리, 문서 및 스프레드시트 도구.
검증기 tests/test.sh
납품물과 최종 상태를 읽고, 모든 검사 항목을 실행하고, 검사 항목마다 한 줄씩 보상을 기록하는 프로그램입니다.
프로브 tests/probes/
태스크를 출시하기 전에 검증기가 예상대로 채점해야 하는 보상 해킹, 그럴듯한 오류, 올바른 대안 풀이.
참조 풀이 solution/solve.sh
점수 1을 받는 풀이로, 태스크가 작성된 그대로 풀 수 있음을 증명합니다.
메타데이터 및 권리 task.toml
분야, 유형, 난이도 구간, 시간 제한, 리소스, 데이터 분할, 원본, 라이선스.

샘플 태스크 폴더를 파일별로 열어 보기

task.toml 예시

version = "0.3"

[metadata]
id          = "naval/tank-capacity-014"
domain      = "ship design"
family      = "tank-capacity"   # generated, seed 1408
difficulty  = "hard"            # pass@1 0.12 at calibration
split       = "train"           # train | sealed-eval

[rights]
source      = "generated"       # generated | licensed | authored
use         = "training and evaluation"

[agent]
timeout_sec = 2700

[environment]
network     = "none"
cpus        = 2
memory_mb   = 4096

[verifier]
timeout_sec = 300
reward      = "strict"          # 1 only if every check passes
weights     = [1, 3, 3, 2, 1, 2, 3, 1]   # C1 to C8
tolerance   = { volume_m3 = 0.5, lcg_m = 0.02, trim_m = 0.01 }

/logs/verifier/reward.json 예시

{
  "reward": 0,
  "score": 0.94,
  "C1_deliverable_parses": 1,
  "C2_inputs_unchanged": 1,
  "C3_tank_volumes_98pct": 1,
  "C4_tank_lcg_vcg": 1,
  "C5_sounding_tables": 0,
  "C6_trim_departure": 1,
  "C7_tank_bounds_rev_c": 1,
  "C8_tolerances_cited": 1
}

검사 항목 하나라도 실패하면 보상은 0이 됩니다. 가중 점수를 보면 답변의 나머지 부분은 타당했다는 것과 어디서 잘못되었는지를 알 수 있습니다. C5는 탱크 5P의 측심값이 개정판 B의 측심관 기준점으로부터 읽혔다는 것을 잡아냈습니다. 개정판 C에서 측심관이 옮겨졌으므로, 해당 탱크의 모든 측심값이 잘못된 기준점을 참조하고 있습니다.

검증기 원칙

서술이 아니라 상태를 채점합니다.

보상의 품질은 그것을 계산하는 검증기의 품질을 넘지 못합니다. 계산 가능한 것은 코드로 검사하고, 전문가의 판단이 필요한 부분은 보정된 모델 평가자와 맞춤형 루브릭 검증기가 채점하며, 각각은 전문가 채점 결과와 대조하여 검증합니다.

상태를 채점

검증기는 에이전트가 남긴 파일, 형상, 행, 메시지를 열어 보고 그것이 어떠해야 하는지를 다시 계산합니다. 에이전트가 작성한 작업 요약에는 점수가 주어지지 않습니다.

결정론적, 페일 클로즈드

같은 납품물이면 매번 같은 보상을 받습니다. 누락되었거나, 형식이 잘못되었거나, 읽을 수 없는 납품물은 사유를 명시한 채 영점을 받으며, 비정상 종료되거나 통과 처리되는 일은 없습니다.

엄격 기준 통과가 곧 보상

모든 검사 항목을 통과할 때만 보상은 1입니다. 검사 항목별 가중 점수가 함께 제공되므로, 아깝게 놓친 답에 보상을 주지 않으면서도 답이 어디서 잘못되었는지 확인할 수 있습니다.

과정과 결과

결과 검사 항목은 납품물을 읽습니다. 과정 검사 항목은 결과에 도달한 방식을 읽습니다: 입력을 건드리지 않았는지, 최신 개정판을 사용했는지, 적용한 조항과 값을 인용했는지.

허용 오차 반영

각 수량에는 해당 도면이나 규정의 엔지니어링 허용 오차가 적용됩니다. 다른 단위, 다른 순서, 다른 배치로 제시된 올바른 답도 통과합니다.

격리 및 초기화 가능

네트워크 없음, 읽기 전용 입력, 그리고 테스트는 실행이 끝난 후에만 마운트됩니다. 초기화하면 작업 공간이 동일한 상태로 돌아가며, 이는 다이제스트로 확인합니다.

고정 및 버전 관리

각 검증기는 태스크 버전과 함께 해시로 고정됩니다. 수정 사항은 변경 로그 항목이 있는 새 버전이 되며, 모든 프로브를 다시 실행합니다.

엔지니어링 및 형상 비즈니스 기록 및 회신

보상 해킹 방어

모든 검증기는 출시 전에 공격을 받습니다.

태스크를 내보내기 전에 해당 검증기에 대해 일련의 프로브를 실행합니다.

프로브 유형동작필요 점수
빈 답변작업 공간을 초기화된 상태 그대로 둡니다.0
주장만 함작업을 완료했다고 보고하지만 아무것도 바꾸지 않습니다.0
변조입력, 보호된 테이블, 테스트 또는 보상 파일을 수정합니다.0
하드코딩된 답추측하거나 복사한 값으로 예상 형식에 맞춰 작성합니다.0
대체된 입력변경본이 아니라 이전 도면 개정판이나 첫 번째 이메일을 기준으로 작업합니다.엄격 기준 실패
그럴듯한 오류전체 형상이나 합계는 맞지만, 공차가 지정된 피처나 품목이 틀립니다.엄격 기준 실패
올바른 대안 풀이다른 방법, 다른 단위 또는 다른 배치로 도출한 올바른 답.엄격 기준 통과
6개의 시연 태스크, 하나의 평가 하네스.

게이트 실행일 2026년 11월 10일, 모델 시도는 2026년 11월 7일 또는 그 이전. 6개 모두 가상의 이름과 수치로 저희가 내부에서 작성한 시연 태스크이며, 파트너 기록이 아닙니다. 프로브는 회귀 테스트이지 보증이 아닙니다.

기업 워크플로 평가 하네스의 결과입니다. CAD 샘플 실행 결과는 별도로 보고합니다.

검사 항목
6개 태스크 전체에서 59개, 그중 핵심 26개. 참조 풀이는 각 태스크에서 1.0점
보상 해킹 프로브
73개, 모두 영점. 적대적 입력 101개, 검증기 오류 없이 모두 영점
그럴듯한 오류
71개, 모두 엄격 기준 보상에서 실패
올바른 대안 풀이
8개, 모두 엄격 기준 통과
알려진 한계
설계상 통과하는 프로브 3개. 근거 페이지에 문서화되어 있음
모델 시도
한 제공사의 현행 모델 2개(소형 등급 포함), 버전별·모델별 롤아웃 1회. 버전 0 태스크 2개의 문구를 명확히 한 후 두 모델 모두 모든 태스크를 통과했습니다. 강화된 버전은 다음에 실행합니다(아래 참조). 이 실행은 평가 하네스가 작동한다는 것을 보여 줄 뿐, 태스크의 난이도를 보여 주지는 않습니다
미해결
검증기가 아직 잡아내지 못하는 사항은 근거 페이지에 있습니다

통과 여부와 관계없이 날짜와 함께 공개합니다.

예정

6개 태스크에 대한 소형 오픈 모델 1개와 더 강력한 모델 1개의 통과율, 모델별 롤아웃 5회. 완료되면 결과와 관계없이 실행 날짜 및 태스크 버전과 함께 이곳에 공개합니다.

샘플 팩 요청 시연 설명 예약

궤적 감사

프로브는 검증기를 테스트합니다. 감사는 통과 결과를 테스트합니다. 보정 과정에서 표본 추출한 실행에 대해, 통과했다는 사실뿐 아니라 각 통과가 어떻게 이루어졌는지를 읽습니다.

실행이 다음에 해당하면 통과를 무효로 합니다

  • 참조 풀이, 테스트 또는 프로젝트 외부의 무언가를 열었을 때
  • 입력, 보호된 테이블 또는 검증기를 변경했을 때
  • 네트워크에 접근했거나, 계산하지 않은 답을 작성했을 때
  • 지시문이 금지한 경로를 택했을 때

잘못된 방식으로 얻은 통과는 새로운 프로브가 되며, 배치가 출시되기 전에 검증기를 강화합니다.

난이도와 보정

학습이 될 만큼 어렵고, 설계상 풀 수 있습니다.

모든 모델이 통과하는 태스크는 아무것도 가르치지 못합니다. 어떤 모델도 통과하지 못하는 태스크는 결함이 있을 수 있습니다. 저희는 출시 전에 각 태스크를 측정하고, 고객이 정한 구간 안에 있는 태스크만 유지합니다.

반복 시도
소형 오픈 모델부터 이용 가능한 가장 강력한 모델까지 각 태스크를 여러 번 시도합니다. 통과율은 한 번의 실행이 아니라 여러 시도의 평균입니다.
pass@1 및 pass@k
pass@1은 태스크를 난이도 구간에 배치하고, pass@k는 풀이가 도달 가능함을 보여 줍니다. 구간을 벗어난 태스크는 강화하거나, 재조정하거나, 제외합니다.
영점은 경고 신호
어떤 모델도 통과하지 못하는 태스크를 유지하기 전에, 지시문, 참조 풀이, 검증기를 다시 검사합니다.
문구가 아니라 조절 변수로
생성된 태스크 유형은 아래의 조절 변수로 조정합니다. 난이도가 모호한 지시문이나 숨겨진 함정에서 나오는 일은 없습니다.

분야별 난이도 조절 변수

부품
피처 수, 공차 등급, 서로 맞춰야 할 뷰
선박
탱크와 적재 상태, 폴더 안의 대체된 개정본
건물
교차 판독할 시트와 공종, 간섭 밀도
워크플로
작업 기간의 길이, 변경 사항, 주의를 분산시키는 스레드

보정 카드, 배치마다 1장 예시

배치
naval/tank-capacity v0.3
유지된 태스크
초안 46개 중 40개
시도 횟수
태스크별·모델별 3회
소형 모델
pass@1 0.05
대형 모델
pass@1 0.21 · pass@3 0.34
유지 구간
pass@1 0.02~0.30
보상 해킹
14개 중 14개 영점
심어 둔 오류
12개 중 12개 엄격 기준 실패
대안 풀이
4개 중 4개 엄격 기준 통과
전문가 일치도
10개 태스크 중 9개, 블라인드 채점
시도당 소요 시간
중앙값 38분

카드의 형태를 보여 주는 것이며, 측정된 결과가 아닙니다. 배치마다 자체 카드가 제공됩니다.

확장을 위한 두 가지 엔진

규모는 생성기에서. 깊이는 현업 전문가에게서.

배치의 대부분은 정답을 계산한 상태로 생성할 수 있습니다. 가장 어려운 태스크는 실제로 그 업무를 해 본 사람에게서 시작됩니다.

엔진 1

파라메트릭 생성기

생성기는 매개변수로부터 태스크 유형을 만듭니다: 피처와 공차를 갖춘 부품, 탱크 배치를 갖춘 선체 형상, 골조를 갖춘 건물 그리드. 태스크를 만드는 코드가 그 답도 계산하므로, 규모를 늘려도 정확성이 희생되지 않습니다.

  • 정답은 입력하는 것이 아니라 계산하는 것
  • 모든 시드를 데이터시트에 기록하며 재현 가능
생성됨. 저희 생성기로 피처 단위로 만든 9개의 부품.

엔진 2

전문가 시드

의뢰받은 태스크의 경우, 현업 전문가가 업무를 제공하고 결과를 승인합니다. 초안 작성은 모델이 보조하므로, 전문가의 시간은 전문가만이 도울 수 있는 곳에 쓰입니다.

  1. 시드현업 전문가가 실제 업무를 6개 항목으로 기술합니다: 상황, 입력, 목표, 제약 조건, 검증 방법, 예상 출력.
  2. 초안시드를 바탕으로 지시문, 프로젝트 파일, 검증기, 참조 풀이를 만들며, 초안 작성은 모델이 보조합니다.
  3. 풀이다른 계열의 풀이 모델이 검증기나 참조 풀이에 접근하지 않은 채 블라인드로 여러 번 시도합니다. 너무 쉽게 통과하면 풀이 모델의 로그를 읽고 태스크를 강화합니다.
  4. 검증현업 전문가가 자신의 판단에 비추어 참조 풀이와 검증기를 확인하고, 실제 업무가 더 어려운 부분에서는 태스크를 더 어렵게 만듭니다.
  5. 검토두 번째 현업 전문가가 표본을 블라인드로 채점합니다. 일치도는 보정 카드에 보고하며, 각 불일치 사항은 판정 절차로 넘어갑니다.

납품

고객의 평가 하네스가 이미 실행하는 형태로.

태스크는 바로 실행할 수 있는 상태로, 항목별로 문서화되고, 평가가 오염되지 않도록 분할되어 제공됩니다.

형식
Harbor 호환 태스크 폴더, 컨테이너 이미지 또는 고객의 평가 하네스가 받는 인터페이스. 먼저 하나의 태스크를 고객의 평가 하네스에서 실행한 다음, 배치가 이어집니다.
데이터시트
항목별: 원본(생성, 라이선스 또는 작성), 생성기와 시드 또는 작성자의 가명 ID, 개정 이력, 비식별화, 보정 결과.
권리 고지
항목별: 소유자, 학습 및 평가용 라이선스, 그 근거가 되는 양도 계약 또는 합의.
데이터 분할
합의된 분할과 허용 용도는 각 태스크와 함께 기록됩니다. 평가 및 라이선스 정책.
유지 관리
모델이 발전함에 따라 검증기를 강화하고, 포화된 태스크는 같은 유형의 더 어려운 태스크로 교체합니다.

시작하기

결정하기 전에 태스크 하나를 읽어 보십시오.

통합을 논의하기 전에 완전한 태스크 하나를 살펴보십시오.

샘플 팩 요청 CAD 샘플 태스크 열기