Menu

Ambientes

Como um trabalho se torna um ambiente de treinamento.

O método técnico por trás das duas linhas de dados: estrutura das tarefas, avaliação, calibração e o formato que a sua equipe recebe.

Abrir a tarefa de amostra de CAD Solicitar pacote de amostras

O que é um ambiente

Tudo de que uma execução precisa, em uma única pasta.

Cada tarefa é uma pasta em um layout compatível com Harbor. O agente vê a instrução e o projeto. O verificador e a solução de referência ficam fora do seu alcance.

Instrução instruction.md
A solicitação de trabalho como um colega ou cliente a enviaria, com as entregas exatas e os caminhos onde salvá-las.
Estado inicial environment/project/
Os dados iniciais de que o trabalho parte: desenhos e suas revisões, modelos 3D, tabelas, e-mails, linhas de banco de dados.
Ferramentas environment/Dockerfile
Um contêiner com o que o trabalho exige: um kernel de CAD, bibliotecas de hidrostática e de cálculo, ferramentas de documentos e de planilhas.
Verificador tests/test.sh
O programa que lê as entregas e o estado final, executa cada verificação e grava a recompensa, uma linha por verificação.
Sondas tests/probes/
Reward hacks, erros plausíveis e alternativas corretas que o verificador precisa pontuar como esperado antes de a tarefa ser entregue.
Solução de referência solution/solve.sh
Uma solução que pontua 1, o que comprova que a tarefa pode ser resolvida como está escrita.
Metadados e direitos task.toml
Domínio, família, faixa de dificuldade, limites de tempo, recursos, divisão, origem e licença.

Abra a pasta da tarefa de amostra, arquivo por arquivo

task.toml Ilustrativo

version = "0.3"

[metadata]
id          = "naval/tank-capacity-014"
domain      = "ship design"
family      = "tank-capacity"   # generated, seed 1408
difficulty  = "hard"            # pass@1 0.12 at calibration
split       = "train"           # train | sealed-eval

[rights]
source      = "generated"       # generated | licensed | authored
use         = "training and evaluation"

[agent]
timeout_sec = 2700

[environment]
network     = "none"
cpus        = 2
memory_mb   = 4096

[verifier]
timeout_sec = 300
reward      = "strict"          # 1 only if every check passes
weights     = [1, 3, 3, 2, 1, 2, 3, 1]   # C1 to C8
tolerance   = { volume_m3 = 0.5, lcg_m = 0.02, trim_m = 0.01 }

/logs/verifier/reward.json Ilustrativo

{
  "reward": 0,
  "score": 0.94,
  "C1_deliverable_parses": 1,
  "C2_inputs_unchanged": 1,
  "C3_tank_volumes_98pct": 1,
  "C4_tank_lcg_vcg": 1,
  "C5_sounding_tables": 0,
  "C6_trim_departure": 1,
  "C7_tank_bounds_rev_c": 1,
  "C8_tolerances_cited": 1
}

Uma verificação reprovada define a recompensa como 0. A pontuação ponderada mostra que o restante da resposta estava correto, e onde ela errou: a C5 detectou que as sondagens do tanque 5P foram lidas a partir do datum do tubo de sondagem da revisão B. A revisão C deslocou o tubo, então todas as sondagens desse tanque estão referenciadas ao ponto errado.

Princípios do verificador

Avalie o estado, não o texto.

Uma recompensa só é tão boa quanto o verificador que a calcula. O código verifica o que pode ser calculado; onde é necessário julgamento especializado, modelos juízes calibrados e verificadores por rubrica personalizados fazem a avaliação, cada um conferido com as notas de especialistas.

Avalie o estado

O verificador abre os arquivos, a geometria, as linhas e as mensagens que o agente deixou e recalcula o que eles deveriam ser. O resumo que o agente faz do próprio trabalho não rende nada.

Determinístico, falha fechada

Mesma entrega, mesma recompensa, em todas as execuções. Uma entrega ausente, malformada ou ilegível pontua zero com um motivo declarado, nunca um travamento e nunca uma aprovação.

A aprovação estrita é a recompensa

A recompensa é 1 somente quando todas as verificações são aprovadas. Uma pontuação ponderada por verificação fica ao lado dela, para que você veja onde uma resposta errou sem recompensar um quase acerto.

Processo e resultado

As verificações de resultado leem a entrega. As verificações de processo leem como se chegou a ela: entradas intactas, a revisão vigente usada, e as cláusulas e os valores aplicados, citados.

Sensível a tolerâncias

Cada grandeza carrega a tolerância de engenharia do seu desenho ou da sua norma. Uma resposta correta em outras unidades, em outra ordem ou em outro layout continua sendo aprovada.

Isolado e reiniciável

Sem rede, entradas somente leitura e testes montados apenas depois do fim da execução. O reset devolve o espaço de trabalho ao mesmo estado, conferido por digest.

Congelado e versionado

Cada verificador é congelado por hash junto com a versão da sua tarefa. Uma correção é uma nova versão com uma entrada no changelog, e todas as sondas são executadas de novo.

Engenharia e geometria Registros de negócios e respostas

Defesa contra reward hacking

Todo verificador é atacado antes de ser entregue.

Antes de uma tarefa sair daqui, executamos um conjunto de sondas contra o seu verificador.

Classe de sondaO que fazResultado exigido
VaziaDeixa o espaço de trabalho exatamente como estava após o reset.0
Só alegaçãoInforma que o trabalho foi feito e não altera nada.0
AdulteraçãoEdita uma entrada, uma tabela protegida, os testes ou o arquivo de recompensa.0
Resposta fixa no códigoGrava o formato esperado com valores chutados ou copiados.0
Entrada substituídaTrabalha a partir da revisão antiga do desenho ou do primeiro e-mail, não da alteração.Reprovação estrita
Erro plausívelForma geral ou total corretos, feature com tolerância ou item de linha errados.Reprovação estrita
Alternativa corretaA resposta certa por outro método, em outras unidades ou em outro layout.Aprovação estrita
Seis tarefas de demonstração, um harness.

Gates executados em 10 de novembro de 2026; tentativas de modelos em 7 de novembro de 2026 ou antes. Todas as seis são tarefas de demonstração que escrevemos internamente com nomes e números inventados, não registros de parceiros. As sondas são um teste de regressão, não uma garantia.

Resultados do harness de fluxos de trabalho corporativos. A execução da amostra de CAD é relatada separadamente.

Verificações
59 nas seis tarefas, 26 críticas; a solução de referência pontua 1,0 em cada uma
Sondas de reward hack
73, todas pontuando zero; 101 entradas hostis, todas zero sem erro do verificador
Erros plausíveis
71, todos reprovados na recompensa estrita
Alternativas corretas
8, todas aprovadas no critério estrito
Lacunas conhecidas
3 sondas aprovadas por design; documentadas na página de evidências
Tentativas de modelos
Dois modelos atuais de um mesmo provedor, incluindo o seu nível menor, uma execução (rollout) por modelo por versão. Ambos passaram em todas as tarefas depois que esclarecemos a redação de duas tarefas da versão 0. As versões reforçadas são executadas em seguida (abaixo). Essas execuções mostram que o harness funciona, não o quão difíceis as tarefas são
Em aberto
O que o verificador ainda não detecta está na página de evidências

Publicado com a sua data, aprovado ou reprovado.

Planejado

Taxas de aprovação nas seis tarefas para um modelo aberto pequeno e um modelo mais forte, cinco rollouts cada. Publicadas aqui quando concluídas, seja qual for o resultado, com a data da execução e as versões das tarefas.

Solicitar pacote de amostras Agendar a demonstração guiada

Auditoria de trajetórias

As sondas testam o verificador. A auditoria testa as aprovações. Em execuções amostradas da calibração, lemos como cada aprovação foi obtida, não apenas que ela ocorreu.

Uma aprovação é descartada quando a execução

  • abriu a referência, os testes ou qualquer coisa fora do projeto
  • alterou uma entrada, uma tabela protegida ou o verificador
  • tentou acessar a rede, ou gravou uma resposta que nunca calculou
  • seguiu um caminho que a instrução proíbe

Uma aprovação obtida do jeito errado vira uma nova sonda, e o verificador é reforçado antes de o lote ser entregue.

Dificuldade e calibração

Difícil o bastante para ensinar, solucionável por design.

Uma tarefa em que todo modelo passa não ensina nada. Uma tarefa em que nenhum modelo passa pode estar quebrada. Medimos cada tarefa antes de entregá-la e só a mantemos dentro da faixa que você definir.

Tentativas repetidas
Modelos, de um modelo aberto pequeno ao mais forte disponível, tentam cada tarefa várias vezes. Uma taxa de aprovação é uma média sobre as tentativas, nunca uma única execução.
pass@1 e pass@k
O pass@1 posiciona a tarefa na faixa; o pass@k mostra que ela é alcançável. Uma tarefa fora da faixa é reforçada, rebalanceada ou descartada.
Zero é um alerta
Antes de mantermos uma tarefa em que nenhum modelo passa, verificamos novamente a sua instrução, a sua solução de referência e o seu verificador.
Parâmetros, não redação
As famílias geradas são ajustadas com os parâmetros abaixo. A dificuldade nunca vem de uma instrução ambígua ou de uma armadilha escondida.

Parâmetros de dificuldade por domínio

Peças
Número de features, classe de tolerância, vistas a conciliar
Navios
Tanques e condições de carregamento, revisões substituídas na pasta
Edificações
Folhas e disciplinas a cruzar, densidade de interferências
Fluxos de trabalho
Extensão do horizonte, alterações, conversas que desviam a atenção

Cartão de calibração, um por lote Ilustrativo

Lote
naval/tank-capacity v0.3
Tarefas mantidas
40 de 46 redigidas
Tentativas
3 por modelo por tarefa
Modelo pequeno
pass@1 0.05
Modelo grande
pass@1 0.21 · pass@3 0.34
Faixa mantida
pass@1 entre 0.02 e 0.30
Reward hacks
14 de 14 em zero
Erros plantados
12 de 12 com reprovação estrita
Alternativas
4 de 4 com aprovação estrita
Concordância com especialistas
9 de 10 tarefas, avaliadas às cegas
Tempo por tentativa
mediana de 38 min

O formato do cartão, não um resultado medido. Cada lote traz o seu.

Dois motores para escala

Volume a partir de geradores. Profundidade a partir de profissionais.

A maior parte de um lote pode ser gerada com o seu gabarito calculado. As tarefas mais difíceis começam com alguém que já fez o trabalho.

Motor um

Geradores paramétricos

Um gerador constrói uma família de tarefas a partir de parâmetros: peças com as suas features e tolerâncias, formas de casco com os seus arranjos de tanques, malhas de edificações com os seus pórticos. O código que constrói uma tarefa também calcula a sua resposta, então o volume nunca custa a correção.

  • Gabarito calculado, nunca digitado
  • Cada seed registrada na ficha técnica e reproduzível
Gerado. Nove peças dos nossos geradores, construídas feature por feature.

Motor dois

Seeds de especialistas

Nas tarefas encomendadas, um profissional fornece o trabalho e aprova o resultado. Modelos ajudam na redação, para que as horas dos especialistas sejam usadas onde só um especialista pode ajudar.

  1. SeedUm profissional descreve um trabalho real em seis campos: situação, entradas, objetivo, restrições, como verificar, saída esperada.
  2. RascunhoConstruímos a instrução, os arquivos do projeto, o verificador e a solução de referência a partir da seed, com modelos ajudando na redação.
  3. ResoluçãoUm modelo solucionador de outra família tenta resolvê-la às cegas, várias vezes, sem acesso ao verificador nem à referência. Se passar com muita facilidade, lemos o log do solucionador e reforçamos a tarefa.
  4. ValidaçãoO profissional confere a referência e o verificador com o próprio julgamento e torna a tarefa mais difícil onde o trabalho real é mais difícil.
  5. RevisãoUm segundo profissional avalia uma amostra às cegas. Informamos a concordância no cartão de calibração, e cada divergência vai para arbitragem.

Entrega

No formato que o seu harness já executa.

As tarefas chegam prontas para executar, documentadas item a item e divididas de modo que a avaliação permaneça limpa.

Formato
Pastas de tarefas compatíveis com Harbor, imagens de contêiner ou a interface que o seu harness recebe. Uma tarefa roda primeiro no seu harness, depois vem o lote.
Ficha técnica
Por item: origem (gerada, licenciada ou de autoria própria), gerador e seed, ou o ID pseudônimo do autor, revisões, desidentificação e os resultados da calibração.
Nota de direitos
Por item: a quem pertence, a licença para treinamento e avaliação, e a cessão ou o acordo em que se baseia.
Divisões
A divisão acordada e o uso permitido ficam registrados com cada tarefa. Política de avaliação e licenciamento.
Manutenção
À medida que os modelos melhoram, os verificadores são reforçados e as tarefas saturadas são substituídas por outras mais difíceis da mesma família.

Comece

Leia uma tarefa antes de decidir.

Inspecione uma tarefa completa antes de discutir uma integração.

Solicitar pacote de amostras Abrir a tarefa de amostra de CAD