Menü

Umgebungen

Wie aus einem Auftrag eine Trainingsumgebung wird.

Die technische Methode hinter beiden Datenlinien: Aufgabenstruktur, Bewertung, Kalibrierung und das Format, das Ihr Team erhält.

CAD-Beispielaufgabe öffnen Beispielpaket anfordern

Was eine Umgebung ist

Alles, was ein Lauf braucht, in einem Ordner.

Jede Aufgabe ist ein Ordner in einer Harbor-kompatiblen Struktur. Der Agent sieht die Anweisung und das Projekt. Verifier und Referenzlösung bleiben außerhalb seiner Reichweite.

Anweisung instruction.md
Der Arbeitsauftrag so, wie ihn ein Kollege oder Kunde schicken würde, mit den genauen Liefergegenständen und den Pfaden, unter denen sie zu speichern sind.
Ausgangszustand environment/project/
Die Ausgangsdaten, mit denen der Auftrag beginnt: Zeichnungen und ihre Revisionen, 3D-Modelle, Tabellen, E-Mails, Datenbankzeilen.
Tools environment/Dockerfile
Ein Container mit allem, was die Arbeit erfordert: ein CAD-Kernel, Bibliotheken für Hydrostatik und Berechnungen, Dokument- und Tabellenwerkzeuge.
Verifier tests/test.sh
Das Programm, das die Liefergegenstände und den Endzustand liest, jede Prüfung ausführt und den Reward schreibt, eine Zeile pro Prüfung.
Testfälle tests/probes/
Reward Hacks, plausible Fehler und korrekte Alternativen, die der Verifier wie erwartet bewerten muss, bevor die Aufgabe ausgeliefert wird.
Referenzlösung solution/solve.sh
Eine Lösung mit Score 1, die belegt, dass die Aufgabe wie formuliert lösbar ist.
Metadaten und Rechte task.toml
Bereich, Familie, Schwierigkeitsband, Zeitlimits, Ressourcen, Split, Quelle und Lizenz.

Den Beispiel-Aufgabenordner Datei für Datei öffnen

task.toml Zur Veranschaulichung

version = "0.3"

[metadata]
id          = "naval/tank-capacity-014"
domain      = "ship design"
family      = "tank-capacity"   # generated, seed 1408
difficulty  = "hard"            # pass@1 0.12 at calibration
split       = "train"           # train | sealed-eval

[rights]
source      = "generated"       # generated | licensed | authored
use         = "training and evaluation"

[agent]
timeout_sec = 2700

[environment]
network     = "none"
cpus        = 2
memory_mb   = 4096

[verifier]
timeout_sec = 300
reward      = "strict"          # 1 only if every check passes
weights     = [1, 3, 3, 2, 1, 2, 3, 1]   # C1 to C8
tolerance   = { volume_m3 = 0.5, lcg_m = 0.02, trim_m = 0.01 }

/logs/verifier/reward.json Zur Veranschaulichung

{
  "reward": 0,
  "score": 0.94,
  "C1_deliverable_parses": 1,
  "C2_inputs_unchanged": 1,
  "C3_tank_volumes_98pct": 1,
  "C4_tank_lcg_vcg": 1,
  "C5_sounding_tables": 0,
  "C6_trim_departure": 1,
  "C7_tank_bounds_rev_c": 1,
  "C8_tolerances_cited": 1
}

Eine fehlgeschlagene Prüfung setzt den Reward auf 0. Der gewichtete Score zeigt, dass der Rest der Antwort stimmig war und wo der Fehler lag: C5 hat festgestellt, dass die Peilungen von Tank 5P ab dem Bezugspunkt des Peilrohrs aus Revision B abgelesen wurden. Revision C hat das Rohr versetzt, daher ist jede Peilung in diesem Tank auf den falschen Punkt bezogen.

Grundsätze für Verifier

Den Zustand bewerten, nicht den Text.

Ein Reward ist nur so gut wie der Verifier, der ihn berechnet. Code prüft, was sich berechnen lässt; wo Expertenurteil nötig ist, bewerten kalibrierte Modell-Judges und individuelle Rubrik-Verifier, jeweils abgeglichen mit Expertenbewertungen.

Den Zustand bewerten

Der Verifier öffnet die Dateien, Geometrien, Zeilen und Nachrichten, die der Agent hinterlassen hat, und berechnet nach, wie sie sein sollten. Die Zusammenfassung des Agenten über seine Arbeit bringt keine Punkte.

Deterministisch, fail-closed

Gleicher Liefergegenstand, gleicher Reward, bei jedem Lauf. Ein fehlender, fehlerhafter oder unlesbarer Liefergegenstand erhält Score null mit angegebenem Grund, nie einen Absturz und nie ein Bestehen.

Striktes Bestehen ist der Reward

Der Reward ist nur dann 1, wenn jede Prüfung besteht. Daneben steht ein gewichteter Score pro Prüfung, sodass Sie ablesen können, wo eine Antwort danebenlag, ohne einen Beinahe-Treffer zu belohnen.

Prozess und Ergebnis

Ergebnisprüfungen lesen den Liefergegenstand. Prozessprüfungen lesen, wie er zustande kam: Eingaben unverändert gelassen, aktuelle Revision verwendet und die angewandten Klauseln und Werte zitiert.

Toleranzbewusst

Jede Größe trägt die technische Toleranz ihrer Zeichnung oder Vorschrift. Eine korrekte Antwort in anderen Einheiten, anderer Reihenfolge oder anderem Layout besteht trotzdem.

Isoliert und rücksetzbar

Kein Netzwerk, schreibgeschützte Eingaben, und Tests werden erst nach Ende des Laufs eingebunden. Ein Reset versetzt den Workspace in denselben Zustand zurück, per Digest geprüft.

Eingefroren und versioniert

Jeder Verifier wird per Hash zusammen mit seiner Aufgabenversion eingefroren. Eine Korrektur ist eine neue Version mit Changelog-Eintrag, und jeder Testfall läuft erneut.

Engineering und Geometrie Geschäftsunterlagen und Antworten

Abwehr von Reward Hacking

Jeder Verifier wird angegriffen, bevor er ausgeliefert wird.

Bevor eine Aufgabe unser Haus verlässt, lassen wir eine Reihe von Testfällen gegen ihren Verifier laufen.

TestfallklasseVerhaltenSoll-Score
LeerLässt den Workspace genau so, wie er zurückgesetzt wurde.0
Nur BehauptungMeldet den Auftrag als erledigt und ändert nichts.0
ManipulationÄndert eine Eingabe, eine geschützte Tabelle, die Tests oder die Reward-Datei.0
Hartkodierte AntwortSchreibt das erwartete Format mit geratenen oder kopierten Werten.0
Überholte EingabeArbeitet mit der alten Zeichnungsrevision oder der ersten E-Mail, nicht mit der Änderung.Strikt nicht bestanden
Plausibler FehlerGesamtform oder Summe richtig, toleriertes Feature oder Position falsch.Strikt nicht bestanden
Korrekte AlternativeDie richtige Antwort mit einer anderen Methode, in anderen Einheiten oder einem anderen Layout.Strikt bestanden
Sechs Demonstrationsaufgaben, ein Harness.

Gates ausgeführt am 10. November 2026; Modellversuche am oder vor dem 7. November 2026. Alle sechs sind Demonstrationsaufgaben, die wir intern mit erfundenen Namen und Zahlen geschrieben haben, keine Partnerunterlagen. Die Testfälle sind ein Regressionstest, keine Garantie.

Ergebnisse aus dem Harness für Unternehmens-Workflows. Der CAD-Beispiellauf wird gesondert berichtet.

Prüfungen
59 über die sechs Aufgaben, davon 26 kritisch; die Referenzlösung erreicht bei jeder 1,0
Reward-Hack-Testfälle
73, jeder mit Score null; 101 feindliche Eingaben, alle null ohne Verifier-Fehler
Plausible Fehler
71, jeder besteht den strikten Reward nicht
Korrekte Alternativen
8, alle strikt bestanden
Bekannte Lücken
3 Testfälle bestehen konstruktionsbedingt; auf der Nachweisseite dokumentiert
Modellversuche
Zwei aktuelle Modelle eines Anbieters, einschließlich seiner kleinen Stufe, ein Rollout pro Modell und Version. Beide bestanden jede Aufgabe, nachdem wir die Formulierung von zwei Aufgaben der Version 0 präzisiert hatten. Als Nächstes laufen die gehärteten Versionen (unten). Diese Läufe zeigen, dass das Harness funktioniert, nicht wie schwer die Aufgaben sind
Offen
Was der Verifier noch nicht erkennt, steht auf der Nachweisseite

Veröffentlicht mit Datum, bestanden oder nicht bestanden.

Geplant

Bestehensquoten für die sechs Aufgaben für ein kleines offenes Modell und ein stärkeres Modell, je fünf Rollouts. Werden nach Abschluss hier veröffentlicht, unabhängig vom Ergebnis, mit Laufdatum und Aufgabenversionen.

Beispielpaket anfordern Walkthrough buchen

Trajektorien-Audit

Testfälle prüfen den Verifier. Das Audit prüft die bestandenen Läufe. Bei Stichproben aus der Kalibrierung lesen wir, wie jedes Bestehen zustande kam, nicht nur, dass es zustande kam.

Ein Bestehen wird verworfen, wenn der Lauf

  • die Referenz, die Tests oder irgendetwas außerhalb des Projekts geöffnet hat
  • eine Eingabe, eine geschützte Tabelle oder den Verifier verändert hat
  • auf das Netzwerk zugreifen wollte oder eine Antwort geschrieben hat, die er nie berechnet hat
  • einen Weg eingeschlagen hat, den die Anweisung ausschließt

Ein auf falschem Weg erzieltes Bestehen wird zu einem neuen Testfall, und der Verifier wird gehärtet, bevor die Charge ausgeliefert wird.

Schwierigkeit und Kalibrierung

Schwer genug, um daraus zu lernen, konstruktionsbedingt lösbar.

Eine Aufgabe, die jedes Modell besteht, lehrt nichts. Eine Aufgabe, die kein Modell besteht, ist womöglich fehlerhaft. Wir messen jede Aufgabe vor der Auslieferung und behalten sie nur innerhalb des von Ihnen festgelegten Bands.

Wiederholte Versuche
Modelle von einem kleinen offenen Modell bis zum stärksten verfügbaren versuchen jede Aufgabe mehrmals. Eine Bestehensquote ist ein Mittelwert über Versuche, nie ein einzelner Lauf.
pass@1 und pass@k
pass@1 ordnet die Aufgabe in das Band ein; pass@k zeigt, dass sie lösbar ist. Eine Aufgabe außerhalb des Bands wird gehärtet, neu austariert oder verworfen.
Null ist ein Warnsignal
Bevor wir eine Aufgabe behalten, die kein Modell besteht, prüfen wir Anweisung, Referenzlösung und Verifier erneut.
Stellschrauben, nicht Formulierungen
Generierte Familien werden mit den unten genannten Stellschrauben abgestimmt. Schwierigkeit entsteht nie durch eine mehrdeutige Anweisung oder eine versteckte Falle.

Schwierigkeitsstellschrauben je Bereich

Bauteile
Anzahl der Features, Toleranzklasse, abzugleichende Ansichten
Schiffe
Tanks und Beladungsfälle, überholte Revisionen im Ordner
Gebäude
Querzulesende Blätter und Gewerke, Kollisionsdichte
Workflows
Länge des Horizonts, Änderungen, ablenkende Threads

Kalibrierungskarte, eine pro Charge Zur Veranschaulichung

Charge
naval/tank-capacity v0.3
Behaltene Aufgaben
40 von 46 Entwürfen
Versuche
3 je Modell und Aufgabe
Kleines Modell
pass@1 0,05
Großes Modell
pass@1 0,21 · pass@3 0,34
Behaltenes Band
pass@1 zwischen 0,02 und 0,30
Reward Hacks
14 von 14 bei null
Eingebaute Fehler
12 von 12 strikt nicht bestanden
Alternativen
4 von 4 strikt bestanden
Experten­übereinstimmung
9 von 10 Aufgaben, blind bewertet
Zeit pro Versuch
Median 38 min

Die Form der Karte, kein gemessenes Ergebnis. Jede Charge hat ihre eigene.

Zwei Engines für Skalierung

Menge aus Generatoren. Tiefe von Praktikern.

Der Großteil einer Charge lässt sich mit berechneter Ground Truth generieren. Die schwierigsten Aufgaben beginnen bei jemandem, der die Arbeit selbst gemacht hat.

Engine eins

Parametrische Generatoren

Ein Generator erzeugt aus Parametern eine Familie von Aufgaben: Bauteile mit ihren Features und Toleranzen, Rumpfformen mit ihrer Tankanordnung, Gebäuderaster mit ihren Rahmen. Der Code, der eine Aufgabe erzeugt, berechnet auch ihre Lösung, sodass Menge nie auf Kosten der Korrektheit geht.

  • Ground Truth berechnet, nie eingetippt
  • Jeder Seed im Datenblatt festgehalten und reproduzierbar
Generiert. Neun Bauteile aus unseren Generatoren, Feature für Feature aufgebaut.

Engine zwei

Experten-Seeds

Bei beauftragten Aufgaben liefert ein Praktiker den Auftrag und zeichnet das Ergebnis ab. Modelle helfen beim Entwurf, damit Expertenstunden dorthin gehen, wo nur Experten helfen können.

  1. SeedEin Praktiker beschreibt einen echten Auftrag in sechs Feldern: Situation, Eingaben, Ziel, Rahmenbedingungen, Prüfweg, erwartetes Ergebnis.
  2. EntwurfAus dem Seed erstellen wir Anweisung, Projektdateien, Verifier und Referenzlösung, mit Unterstützung von Modellen beim Entwurf.
  3. LösenEin Löser-Modell aus einer anderen Modellfamilie versucht die Aufgabe blind, mehrmals, ohne Zugriff auf Verifier oder Referenz. Besteht es zu leicht, lesen wir das Log des Lösers und härten die Aufgabe.
  4. ValidierenDer Praktiker prüft Referenz und Verifier anhand seines eigenen Urteils und macht die Aufgabe dort schwerer, wo der echte Auftrag schwerer ist.
  5. ReviewEin zweiter Praktiker bewertet eine Stichprobe blind. Die Übereinstimmung geben wir auf der Kalibrierungskarte an, und jede Abweichung geht in die Schlichtung.

Lieferung

In der Form, die Ihr Harness bereits ausführt.

Aufgaben kommen lauffähig an, Punkt für Punkt dokumentiert und so aufgeteilt, dass die Evaluation sauber bleibt.

Format
Harbor-kompatible Aufgabenordner, Container-Images oder die Schnittstelle, die Ihr Harness erwartet. Zuerst läuft eine Aufgabe in Ihrem Harness, dann folgt die Charge.
Datenblatt
Je Element: Quelle (generiert, lizenziert oder verfasst), Generator und Seed oder die pseudonyme ID des Autors, Revisionen, De-Identifizierung und die Kalibrierungsergebnisse.
Rechtehinweis
Je Element: wem es gehört, die Lizenz für Training und Evaluation und die Abtretung oder Vereinbarung, auf der sie beruht.
Splits
Der vereinbarte Split und die zulässige Verwendung werden mit jeder Aufgabe festgehalten. Richtlinie zu Evaluation und Lizenzierung.
Pflege
Wenn Modelle besser werden, werden Verifier gehärtet und gesättigte Aufgaben durch schwerere aus derselben Familie ersetzt.

Erste Schritte

Lesen Sie eine Aufgabe, bevor Sie entscheiden.

Sehen Sie sich eine vollständige Aufgabe an, bevor Sie eine Integration besprechen.

Beispielpaket anfordern CAD-Beispielaufgabe öffnen