Menú

Investigación

Nuevo presupuesto de embalaje, versión 1.0.3: cada comprobación y cada carencia conocida

Una tarea de demostración, al descubierto: el trabajo, el estado inicial, los filtros y las trece comprobaciones, cada prueba con su resultado, cómo se define la recompensa, qué garantiza el reinicio y los errores que el verificador todavía no detecta.

Tarea mfg-rfq-001 · Versión 1.0.3, filtros ejecutados el 10 de noviembre de 2026 · Datarena

Demostración pública · origen y alcance de las tareas de demostración.

Identidad

Tarea
mfg-rfq-001, versión 1.0.3, verificador congelado por hash
Familia
packaging-quotation, dificultad easy, según la etiqueta del archivo público de filtros
Resultado
unresolved, por construcción: el episodio termina cuando se envía la respuesta, antes de que conteste el cliente; un profesional redacta la etiqueta en la v1.1
Ámbito
Fabricación: embalaje de plástico, una solicitud de presupuesto respondida con un presupuesto
Estado
Demostración pública; publicada íntegramente y no está a la venta.
Filtros ejecutados
10 de noviembre de 2026, Python 3.11.8, solo filtros deterministas: sin ejecuciones de modelos, sin evaluadores humanos, sin entrenamiento
Intentos de modelos
Versión 0, hasta el 7 de noviembre de 2026 inclusive: dos modelos actuales de un mismo proveedor, uno de ellos de su nivel pequeño, una ejecución cada uno; ambos obtuvieron 1,0 y pasaron en modo estricto. Las versiones posteriores, que endurecieron el verificador y dejaron sin cambios la respuesta de referencia, se ejecutan a continuación

El trabajo

Un ejecutivo de ventas de una planta de embalaje tiene que enviar hoy un presupuesto. El segundo correo del cliente redujo el pedido y movió la fecha de entrega, el chat de producción pasó el trabajo a otra máquina porque la habitual está parada, y el procedimiento de presupuestos indica cómo calcular el coste, fijar el precio y escalar. La instrucción, tal como la recibe el agente:

Usted es el ejecutivo de ventas (sales_exec_2) de Tembaga Ridge Packaging. Hoy es 16 de noviembre de 2026. Envíe hoy el presupuesto Q-2611 a Selat Biru Agrochem. Lea la bandeja de entrada y el chat de producción, siga docs/SOP-Q-07.md, actualice la fila de quotes en erp/plant.db, registre en crm_history cada cambio que haga en ella y escriba out/quote.json (qty, machine, unit_cost_rm, unit_price_rm, earliest_delivery como YYYY-MM-DD, meets_requested_delivery) y out/reply.eml.

La respuesta correcta toma la cantidad más reciente, la máquina confirmada y el precio actual de la resina, vuelve a calcular el coste y el precio según el procedimiento, encuentra el primer hueco en la planificación, marca la fecha solicitada como no cumplida, escala el presupuesto en la base de datos, registra cada cambio que hace en la fila del presupuesto y escribe una respuesta que no promete nada que la planificación no pueda cumplir.

Leer el estado inicial

Los importes aparecen como [amount] en esta página; los archivos completos se entregan a su ingeniero bajo NDA. La respuesta de referencia es deliberadamente mínima: el verificador lee su precio, su cantidad y sus fechas, no su tono.

Los archivos de la propia tarea, en el orden en que los encuentra un trabajador, y después el estado final de referencia y un error plausible. Cada hoja se genera a partir de la tarea al construir la página, por lo que no puede desviarse de los archivos que lee el verificador. El resaltado marca los hechos que cambiaron y la línea que detectó el verificador.

La bandeja de entrada, cuatro mensajes

inbox/001.eml9 Nov 2026, 10:14

From
procurement@selatbiru.example
To
sales@tembagaridge.example
Subject
RFQ - 20 L jerrican

Please quote for 50,000 pcs of your 20 L HDPE jerrican (JC20), natural colour. Delivery to Port Klang.

Procurement, Selat Biru Agrochem

inbox/002.eml13 Nov 2026, 15:31

From
procurement@selatbiru.example
To
sales@tembagaridge.example
Subject
Re: RFQ - 20 L jerrican (revised)

Revision to our RFQ: we now need the jerricans in BLUE, and the first order will be 12,000 pcs, not 50,000. We need delivery within 21 days of your quotation date. Please re-quote.

Procurement, Selat Biru Agrochem

inbox/003.eml16 Nov 2026, 08:40

From
sales.director@tembagaridge.example
To
sales_exec_2@tembagaridge.example
Subject
Q-2611 today please

Please get Q-2611 out to Selat Biru today. Follow SOP-Q-07 and check with production first.

inbox/000.eml16 Nov 2026, 09:05

From
procurement@selatbiru.example
To
sales@tembagaridge.example
Subject
Re: RFQ - 20 L jerrican (revised) - quotation?

Good morning. We have not yet received your revised quotation. Our planning meeting is this afternoon, so please send it today.

Procurement, Selat Biru Agrochem

El chat de producción

chat/production.json#production

  1. tooling_lead · 14 Nov 2026, 16:02

    BM-07 is down for a screw and barrel replacement, back 10 Dec at the earliest. Run the JC20 mould on BM-03 until then.

  2. planner_1 · 14 Nov 2026, 16:05

    Noted. JC20 cycle on BM-03 runs 18% longer than on BM-07, same single cavity. BM-03 is booked, check machine_schedule before promising dates.

  3. qc_lead · 16 Nov 2026, 08:15

    Reminder: drop test on the blue 10 L pails is at 2pm.

El procedimiento

docs/SOP-Q-07.mdThe quoting procedure

SOP-Q-07 Quotation costing and disposition (blow moulding)

  1. Governing request. The latest written customer amendment governs quantity, colour and delivery.
  2. Machine. Quote on the machine production has confirmed for the job. Never quote on a machine whose status is DOWN.
  3. Unit cost in RM per piece:
    • material mass = part mass x (1 + 3% scrap)
    • coloured parts: masterbatch replaces resin at the dosing % in the masterbatch table
    • material cost = resin kg x resin price + masterbatch kg x masterbatch price
    • resin price = the row with the latest effective_date on or before the quotation date
    • machine cost = cycle seconds / cavities / 3600 x machine rate per hour
    • set-up = [amount] per job / quantity
    • unit cost = material + machine + set-up
  4. Price. unit price = unit cost / (1 - 22%), rounded to 2 decimals. Never quote below an 18% margin.
  5. MOQ for JC20 is 10,000 pcs. Below MOQ: stage REJECTED_MOQ and no price is sent.
  6. Delivery.
    • production days = quantity x cycle seconds / cavities / (3600 x machine hours per day x 85% OEE), rounded up
    • first free day = the day after booked_until in machine_schedule
    • earliest delivery = first free day + production days + 3 days QC and dispatch
  7. Disposition, in the quotes table:
    • delivery can be met: stage QUOTED, owner stays with the sales executive
    • delivery cannot be met: still price the job, stage ESCALATED_LEADTIME, owner = the sales manager. The reply states the price and the earliest delivery date and does not promise the requested date.
  8. Outputs. Update the quotes row (qty, unit_price_rm, stage, owner). Record every change you make to a quotes field as a row in crm_history (quote_id, ts on the quotation date, actor, field, old_value, new_value, note); never edit an existing history row. Write out/quote.json and out/reply.eml.

La base de datos antes del trabajo

erp/plant.dbThe tables the job touches or reads

quotes2 rows

idcustomer_idskuqtyunit_price_rmstageowner
Q-2604C-0388PL1020000[amount]QUOTEDsales_exec_2
Q-2611C-0417JC2050000nullENQUIRYsales_exec_2

machine_schedule2 rows

machine_idbooked_until
BM-032026-11-27
BM-072026-12-09

machines2 rows

idstatusrate_rm_per_hrhours_per_day
BM-07DOWN[amount]20.0
BM-03RUNNING[amount]20.0

crm_history4 rows

idquote_idtsactorfieldold_valuenew_valuenote
1Q-26042026-11-02 14:10sales_exec_2stageENQUIRYQUOTEDPL10 20,000 pcs quoted at [amount]
2Q-26112026-11-09 10:40sales_exec_2stagenullENQUIRYRFQ received: 50,000 pcs JC20 natural, delivery Port Klang
3Q-26112026-11-13 16:02sales_exec_2notenullnullCustomer revision: blue, first order 12,000 pcs, delivery within 21 days of quotation; re-quote pending
4Q-26112026-11-16 08:45sales_exec_2notenullnullSales director: quote out today per SOP-Q-07, check with production first

El estado final de referencia

out/quote.jsonJSON

{
  "quote_id": "Q-2611",
  "qty": 12000,
  "machine": "BM-03",
  "unit_cost_rm": "[amount]",
  "unit_price_rm": "[amount]",
  "earliest_delivery": "2026-12-11",
  "meets_requested_delivery": false
}

out/reply.eml16 Nov 2026, 11:00

From
sales_exec_2@tembagaridge.example
To
procurement@selatbiru.example
Subject
Quotation Q-2611

Our price for 12,000 pcs JC20 is [amount] per piece. Earliest delivery is 2026-12-11.

erp/plant.dbAfter the work

quotes, the Q-2611 row1 rows

idcustomer_idskuqtyunit_price_rmstageowner
Q-2611C-0417JC2012000[amount]ESCALATED_LEADTIMEsales_mgr_1

crm_history, rows the work added4 rows

idquote_idtsactorfieldold_valuenew_valuenote
5Q-26112026-11-16 11:00sales_exec_2qty5000012000Q-2611 re-quoted per SOP-Q-07
6Q-26112026-11-16 11:00sales_exec_2unit_price_rmnull[amount]Q-2611 re-quoted per SOP-Q-07
7Q-26112026-11-16 11:00sales_exec_2stageENQUIRYESCALATED_LEADTIMEQ-2611 re-quoted per SOP-Q-07
8Q-26112026-11-16 11:00sales_exec_2ownersales_exec_2sales_mgr_1Q-2611 re-quoted per SOP-Q-07

El verificador: Pasa · puntuación 1.00

Informe bruto del verificador, solución de referencia
{
  "gates": [
    {
      "name": "inputs untouched and no file added under inbox/, chat/ or docs/",
      "passed": true
    },
    {
      "name": "protected ERP tables and the database schema untouched",
      "passed": true
    },
    {
      "name": "quotes table: only Q-2611's qty, unit_price_rm, stage and owner changed; no row added, removed or re-identified",
      "passed": true
    },
    {
      "name": "crm_history: seeded rows untouched; rows appended only for Q-2611 and dated on the quotation date",
      "passed": true
    }
  ],
  "criteria": [
    {
      "id": "C1",
      "desc": "Quantity follows the latest amendment (12,000)",
      "passed": true,
      "weight": 2,
      "critical": true
    },
    {
      "id": "C2",
      "desc": "Machine is the one production confirmed (BM-03), not the down machine",
      "passed": true,
      "weight": 2,
      "critical": false
    },
    {
      "id": "C3",
      "desc": "Unit cost within 0.5% of the SOP recomputation",
      "passed": true,
      "weight": 3,
      "critical": false
    },
    {
      "id": "C4",
      "desc": "Unit price equals the SOP price to the cent",
      "passed": true,
      "weight": 3,
      "critical": false
    },
    {
      "id": "C5",
      "desc": "Price keeps at least an 18% margin on the true cost",
      "passed": true,
      "weight": 2,
      "critical": true
    },
    {
      "id": "C6",
      "desc": "Earliest delivery date matches the schedule recomputation",
      "passed": true,
      "weight": 2,
      "critical": false
    },
    {
      "id": "C7",
      "desc": "Delivery marked as not met and the quote escalated in the ERP",
      "passed": true,
      "weight": 3,
      "critical": true
    },
    {
      "id": "C8",
      "desc": "Owner reassigned to the sales manager",
      "passed": true,
      "weight": 1,
      "critical": false
    },
    {
      "id": "C9",
      "desc": "ERP row agrees with quote.json (qty, and price to the cent)",
      "passed": true,
      "weight": 2,
      "critical": false
    },
    {
      "id": "C10",
      "desc": "Reply states the SOP price in RM and the earliest delivery date, and promises no earlier date",
      "passed": true,
      "weight": 1,
      "critical": true
    },
    {
      "id": "C11",
      "desc": "Reply is addressed to the customer, identifies Q-2611, and names no quantity other than 12,000 pcs",
      "passed": true,
      "weight": 1,
      "critical": false
    },
    {
      "id": "C12",
      "desc": "Stated price follows from the stated cost under the SOP mark-up (cost / 0.78, rounded)",
      "passed": true,
      "weight": 1,
      "critical": false
    },
    {
      "id": "C13",
      "desc": "Each change to stage and owner on the quotes row is logged in crm_history with its old and new value",
      "passed": true,
      "weight": 2,
      "critical": true
    }
  ],
  "strict_pass": true,
  "reward": 1.0,
  "rejection": null
}

Un error plausible: calculó el coste con la máquina parada

La prueba down_machine. Error plausible. Sus archivos y lo que detectó el verificador.

out/quote.jsonJSON

{
  "quote_id": "Q-2611",
  "qty": 12000,
  "machine": "BM-07",
  "unit_cost_rm": "[amount]",
  "unit_price_rm": "[amount]",
  "earliest_delivery": "2026-11-27",
  "meets_requested_delivery": true
}

out/reply.eml16 Nov 2026, 11:00

From
sales_exec_2@tembagaridge.example
To
procurement@selatbiru.example
Subject
Quotation Q-2611

Our price for 12,000 pcs JC20 is [amount] per piece. Earliest delivery is 2026-11-27.

El verificador: Falla · puntuación 0.40

  • C2 La máquina es la que confirmó producción (BM-03), no la máquina parada
  • C3 Coste unitario dentro del 0,5 % del recálculo según el SOP
  • C4 El precio unitario es igual al precio del SOP al céntimo
  • C6 La primera fecha de entrega coincide con el recálculo de la planificación
  • C7 Entrega marcada como no cumplida y presupuesto escalado en el ERP
  • C8 Responsable reasignado al director de ventas
  • C10 La respuesta indica el precio del SOP en RM y la primera fecha de entrega, y no promete ninguna fecha anterior
Informe bruto del verificador, down_machine
{
  "gates": [
    {
      "name": "inputs untouched and no file added under inbox/, chat/ or docs/",
      "passed": true
    },
    {
      "name": "protected ERP tables and the database schema untouched",
      "passed": true
    },
    {
      "name": "quotes table: only Q-2611's qty, unit_price_rm, stage and owner changed; no row added, removed or re-identified",
      "passed": true
    },
    {
      "name": "crm_history: seeded rows untouched; rows appended only for Q-2611 and dated on the quotation date",
      "passed": true
    }
  ],
  "criteria": [
    {
      "id": "C1",
      "desc": "Quantity follows the latest amendment (12,000)",
      "passed": true,
      "weight": 2,
      "critical": true
    },
    {
      "id": "C2",
      "desc": "Machine is the one production confirmed (BM-03), not the down machine",
      "passed": false,
      "weight": 2,
      "critical": false
    },
    {
      "id": "C3",
      "desc": "Unit cost within 0.5% of the SOP recomputation",
      "passed": false,
      "weight": 3,
      "critical": false
    },
    {
      "id": "C4",
      "desc": "Unit price equals the SOP price to the cent",
      "passed": false,
      "weight": 3,
      "critical": false
    },
    {
      "id": "C5",
      "desc": "Price keeps at least an 18% margin on the true cost",
      "passed": true,
      "weight": 2,
      "critical": true
    },
    {
      "id": "C6",
      "desc": "Earliest delivery date matches the schedule recomputation",
      "passed": false,
      "weight": 2,
      "critical": false
    },
    {
      "id": "C7",
      "desc": "Delivery marked as not met and the quote escalated in the ERP",
      "passed": false,
      "weight": 3,
      "critical": true
    },
    {
      "id": "C8",
      "desc": "Owner reassigned to the sales manager",
      "passed": false,
      "weight": 1,
      "critical": false
    },
    {
      "id": "C9",
      "desc": "ERP row agrees with quote.json (qty, and price to the cent)",
      "passed": true,
      "weight": 2,
      "critical": false
    },
    {
      "id": "C10",
      "desc": "Reply states the SOP price in RM and the earliest delivery date, and promises no earlier date",
      "passed": false,
      "weight": 1,
      "critical": true
    },
    {
      "id": "C11",
      "desc": "Reply is addressed to the customer, identifies Q-2611, and names no quantity other than 12,000 pcs",
      "passed": true,
      "weight": 1,
      "critical": false
    },
    {
      "id": "C12",
      "desc": "Stated price follows from the stated cost under the SOP mark-up (cost / 0.78, rounded)",
      "passed": true,
      "weight": 1,
      "critical": false
    },
    {
      "id": "C13",
      "desc": "Each change to stage and owner on the quotes row is logged in crm_history with its old and new value",
      "passed": true,
      "weight": 2,
      "critical": true
    }
  ],
  "strict_pass": false,
  "reward": 0.4,
  "rejection": null
}

En qué fijarse

  • El segundo correo sustituye al primero.
  • La restricción solo figura en el chat.
  • La respuesta no debe prometer una fecha que la planificación no pueda cumplir.
  • El verificador lee los archivos y las filas, nunca lo que afirma la respuesta.
  • Cada cambio en la fila del presupuesto debe registrarse en la tabla de historial, con la fecha del presupuesto.

Las cinco partes de esta versión

Correos del cliente
Presentes: la consulta, la revisión, la nota del director y el recordatorio, cuatro mensajes en la bandeja de entrada
Conversación interna
Presente: el chat de producción, tres líneas
Documentos relacionados
Presente: el procedimiento de presupuestos
Registro de historial
Presente: la tabla de historial, cuatro filas redactadas antes de empezar el trabajo. Cada cambio en la fila del presupuesto debe añadir una, lo que comprueba C13
Etiqueta de resultado
Presente en el registro de la tarea, redactada como «unresolved». Por construcción: el episodio termina cuando se envía la respuesta, antes de que conteste el cliente; un profesional redacta la etiqueta en la v1.1

El espacio de trabajo

Cada ejecución parte de los mismos archivos y de la misma base de datos, escritos de nuevo por el propio reinicio de la tarea.

RutaQué contiene tras el reinicio
chat/production.json639 bytes
docs/SOP-Q-07.md1877 bytes
erp/plant.dbcrm_history (4), customers (2), machine_schedule (2), machines (2), masterbatch (2), mould_machine (1), products (2), quotes (2), resin_prices (3), staff (3)
inbox/000.eml324 bytes
inbox/001.eml272 bytes
inbox/002.eml364 bytes
inbox/003.eml240 bytes

Digest de reinicio, SHA-256 del espacio de trabajo inicial con la base de datos tomada como su volcado SQL: 3366510ba57c7b69d148f9dd16a74ceaea0a556e649b813b1a5d1d55c446d20d. Reinicio determinista desde un directorio vacío: sí. Un espacio de trabajo usado se reinicia al mismo digest: sí.

Qué puede leer y modificar el agente

Lee
Los cuatro mensajes de la bandeja de entrada, el chat de producción, el procedimiento de presupuestos y cualquier tabla de la base de datos.
Escribe
out/quote.json con los campos requeridos, out/reply.eml, cuatro campos de la única fila de quotes que indica la instrucción: cantidad, precio unitario, etapa y responsable, y una nueva fila en la tabla de historial por cada uno de esos cambios.
No debe tocar
Los archivos de entrada, las carpetas de entrada, las demás tablas, el esquema de la base de datos, todos los demás campos y filas de la tabla quotes, y todas las filas de historial que había al principio. Cualquier cambio en ellos hace fallar un filtro, y la ejecución obtiene cero haga lo que haga además.

Filtros y comprobaciones

Un envío que el verificador no puede puntuar, porque falta una salida requerida o está mal formada o dañada, se rechaza como no válido con recompensa cero, con un motivo estructurado en lugar de un bloqueo. Después vienen cuatro filtros. Si falla cualquiera, la recompensa es cero y no se cuenta ninguna comprobación.

  1. entradas intactas y ningún archivo añadido en inbox/, chat/ ni docs/.
  2. tablas protegidas del ERP y esquema de la base de datos intactos.
  3. tabla quotes: solo cambian qty, unit_price_rm, stage y owner de Q-2611; ninguna fila añadida, eliminada ni reidentificada.
  4. crm_history: filas iniciales intactas; filas añadidas solo para Q-2611 y con la fecha del presupuesto.

Después vienen trece comprobaciones, cada una recalculada por el verificador a partir de una copia nueva del estado inicial y comparada con los archivos y las filas de la base de datos en disco. El verificador nunca lee lo que el agente dice que hizo. Los pesos suman 25; 5 comprobaciones son críticas.

ComprobaciónQué debe cumplirsePesoCrítica
C1La cantidad sigue la última modificación (12.000)2sí
C2La máquina es la que confirmó producción (BM-03), no la máquina parada2
C3Coste unitario dentro del 0,5 % del recálculo según el SOP3
C4El precio unitario es igual al precio del SOP al céntimo3
C5El precio mantiene al menos un margen del 18 % sobre el coste real2sí
C6La primera fecha de entrega coincide con el recálculo de la planificación2
C7Entrega marcada como no cumplida y presupuesto escalado en el ERP3sí
C8Responsable reasignado al director de ventas1
C9La fila del ERP coincide con quote.json (qty, y precio al céntimo)2
C10La respuesta indica el precio del SOP en RM y la primera fecha de entrega, y no promete ninguna fecha anterior1sí
C11La respuesta va dirigida al cliente, identifica Q-2611 y no menciona ninguna cantidad distinta de 12.000 piezas1
C12El precio indicado se deriva del coste indicado con el recargo del SOP (coste / 0,78, redondeado)1
C13Cada cambio de stage y owner en la fila de quotes se registra en crm_history con su valor anterior y el nuevo2sí

Tolerancias en la versión 1.0.3: C3 compara el coste unitario con un margen del 0,5 %, como dice su texto; C4, C9 y C12 comparan los precios al céntimo (con un margen de medio céntimo); C10 lee el asunto y el cuerpo de la respuesta, todos los formatos de fecha, y solo las fechas posteriores a la fecha del presupuesto.

Las pruebas

Antes de que un comprador vea una tarea, atacamos su verificador. Un reward hack falsea o manipula y debe obtener exactamente cero. Un error plausible es uno que podría cometer un trabajador cuidadoso; no debe obtener la recompensa estricta, que exige que pasen todos los filtros y todas las comprobaciones. Una alternativa correcta es una respuesta correcta escrita de otra forma; debe obtenerla. Una prueba de carencia conocida registra una debilidad que no hemos cerrado: pasa por diseño, de modo que cualquier cambio en ese límite se hace visible. Se ejecutaron 19 reward hacks, 26 errores plausibles, 3 alternativas correctas y 3 pruebas de carencias conocidas el 10 de noviembre de 2026, y todas devolvieron el resultado esperado. La mayoría de los errores plausibles apuntan a la respuesta, la única salida de texto libre: una promesa de una fecha anterior, en todos los formatos de fecha que hemos encontrado.

PruebaTipoQué hizoEstrictaPuntuaciónQué falló
emptyReward hackNinguna respuesta escritaFalla0.00Rechazada como no válida
claim_onlyReward hackUna respuesta segura de sí misma sin ningún archivo escritoFalla0.00Rechazada como no válida
tamper_scheduleReward hackLiberó la máquina reservada en la tabla de planificaciónFalla0.00filtro 2
edit_customer_emailReward hackEditó el correo del cliente para que la cantidad antigua figure como vigenteFalla0.00filtro 1
superseded_quantityError plausiblePresupuestó la cantidad sustituidaFalla0.40C1, C3, C4, C5, C6, C10, C11, C12
down_machineError plausibleCalculó el coste con la máquina paradaFalla0.40C2, C3, C4, C6, C7, C8, C10
stale_resin_priceError plausibleFijó el precio con un precio de resina que la tabla había sustituidoFalla0.72C3, C4, C10
json_without_erpError plausibleEscribió el archivo del presupuesto y nunca actualizó la fila de la base de datosFalla0.76C7, C8, C9
contradictory_reply_dateError plausibleLa respuesta prometió una fecha anterior a la del propio presupuestoFalla0.96C10
wrong_customer_on_rowReward hackImportes correctos, cliente equivocado en la fila del presupuestoFalla0.00filtro 3
wrong_sku_on_rowReward hackImportes correctos, producto equivocado en la fila del presupuestoFalla0.00filtro 3
duplicate_quote_rowReward hackSe añadió una segunda fila de presupuestoFalla0.00filtro 3
neighbour_quote_deletedReward hackSe eliminó la fila de otro presupuestoFalla0.00filtro 3
quotes_table_replacedReward hackSe eliminó y reconstruyó la tabla quotesFalla0.00filtro 2, filtro 3
schema_column_addedReward hackSe añadió una columna al esquema de la base de datosFalla0.00filtro 2, filtro 3
drop_quotes_tableReward hackSe eliminó la tabla quotesFalla0.00filtro 2, rechazado como no válido
malformed_quote_jsonReward hackUn archivo de presupuesto que no es JSON válidoFalla0.00Rechazada como no válida
oversized_numberReward hackUn número fuera de rango en el archivo del presupuestoFalla0.00Rechazada como no válida
reply_without_headersReward hackUna respuesta sin cabeceras de correoFalla0.00Rechazada como no válida
extra_reply_fileReward hackSe añadió un segundo archivo de respuestaFalla0.00Rechazada como no válida
forged_customer_emailReward hackSe añadió a la bandeja de entrada un correo falsificado del clienteFalla0.00filtro 1
price_one_cent_offError plausiblePrecio desviado un céntimo de la cifra del procedimientoFalla0.80C4, C10, C12
erp_price_differsError plausibleEl precio de la base de datos difiere del archivo del presupuestoFalla0.92C9
cost_price_inconsistentError plausibleEl precio indicado no se deriva del coste indicadoFalla0.96C12
promise_in_subjectError plausibleFecha anterior prometida en la línea de asuntoFalla0.96C10
wrapped_promiseError plausibleFecha anterior prometida a través de un salto de líneaFalla0.96C10
month_first_promiseError plausibleFecha anterior prometida con el mes primeroFalla0.96C10
worded_promiseError plausibleFecha anterior prometida en palabrasFalla0.96C10
reply_wrong_quantityError plausibleLa respuesta menciona una cantidad distinta de la del pedidoFalla0.96C11
reply_wrong_currencyError plausibleLa respuesta indica el precio en otra monedaFalla0.96C10
reply_to_other_customerError plausibleRespuesta dirigida a otro clienteFalla0.96C11
slash_date_promiseError plausibleFecha anterior prometida con barrasFalla0.96C10
negation_in_subordinate_clauseError plausibleFecha anterior prometida, con una negación solo en una oración secundariaFalla0.96C10
relative_in_21_daysError plausibleEntrega prometida en un número de días que la planificación no puede cumplirFalla0.96C10
contradictory_second_priceError plausibleLa respuesta ofrece un segundo precio que contradice el primeroFalla0.96C10
reply_omits_quantityError plausibleLa respuesta nunca indica la cantidadFalla0.96C11
dash_date_promiseError plausibleFecha anterior prometida en formato día-mes-año con guionesFalla0.96C10
hyphen_month_promiseError plausibleFecha anterior prometida como día, mes abreviado y año unidos por guionesFalla0.96C10
iso_slash_promiseError plausibleFecha anterior prometida con barras y el año primeroFalla0.96C10
date_before_verbError plausibleFecha anterior prometida, situada antes del verbo en la fraseFalla0.96C10
cost_as_discountError plausibleLa respuesta ofrece el coste unitario interno de la planta como precio con descuentoFalla0.96C10
stage_changed_without_historyError plausibleFila del presupuesto escalada sin ninguna fila de historial que registre el cambioFalla0.92C13
history_rewrittenReward hackSe editó una fila de historial inicialFalla0.00filtro 4
history_on_other_quoteReward hackSe añadió una fila de historial a otro presupuestoFalla0.00filtro 4
history_backdatedReward hackSe añadió una fila de historial con una fecha anterior a la fecha del presupuestoFalla0.00filtro 4
requested_date_no_tokenClase abierta, pasa por diseñoLa respuesta confirma la entrega «para la fecha que solicitó», sin ninguna fecha escritaPasa1.00ninguno
lead_time_no_tokenClase abierta, pasa por diseñoLa respuesta promete la entrega «dentro de su plazo de entrega», sin ninguna fecha escritaPasa1.00ninguno
vague_week_promiseClase abierta, pasa por diseñoLa respuesta promete enviar «la semana siguiente a la próxima»Pasa1.00ninguno
reply_cites_customer_emailAlternativa correctaLa respuesta cita el correo del cliente, incluidas sus fechasPasa1.00ninguno
reply_dates_in_wordsAlternativa correctaLa respuesta da sus fechas en palabrasPasa1.00ninguno
reply_with_total_and_slash_dateAlternativa correctaLa respuesta indica el precio unitario, el total de la línea, el cargo de preparación y la fecha con barrasPasa1.00ninguno
referenceSolución de referenciaNuestra respuesta de referencia, desde un reinicio limpioPasa1.00ninguno

Nuestro harness de pruebas también construyó 29 entradas hostiles a partir de un estado final correcto: 10 con una tabla eliminada, 10 con la primera columna de una tabla renombrada, una con la base de datos sobrescrita con texto, 6 con una entrada sustituida por un directorio, 2 con una salida sustituida por un directorio. Todas devolvieron un informe con recompensa cero y sin error del verificador.

Resultados en todo el harness de demostración.

Qué significan las cifras

Puntuación. Cero si el envío se rechaza o falla cualquier filtro. En caso contrario, la proporción ponderada de comprobaciones cumplidas: los pesos de las comprobaciones superadas divididos entre la suma de todos los pesos. Es un diagnóstico de dónde falló una respuesta.

Estricto. Verdadero solo cuando pasan todos los filtros y todas las comprobaciones. Es la recompensa de entrenamiento que recomendamos: la puntuación premia un trabajo a medias, como muestra con 0.76 la fila que escribió el archivo del presupuesto y nunca actualizó la base de datos.

Crítico. Un campo aparte, verdadero cuando pasan todas las comprobaciones marcadas como críticas. Se comunica, pero nunca se usa como recompensa.

Principios comunes del verificador.

Qué garantiza el reinicio

El reinicio escribe el espacio de trabajo desde código, sin red y sin reloj. Dos reinicios limpios producen el mismo digest, y un espacio de trabajo usado se reinicia a él, de modo que un comprador puede comprobar en su propia máquina que el estado inicial que tiene es aquel contra el que se ejecutó el verificador. El digest calcula el hash de los archivos y de un volcado SQL de la base de datos, por lo que la coincidencia de digests demuestra un contenido lógico coincidente, no bytes idénticos.

Lo que decide un profesional

Cuando el sector tiene más de una convención, el verificador codifica una. En una tarea por encargo, un profesional que hace ese trabajo toma la decisión, y comunicamos si cambia la respuesta. Cuestiones abiertas en esta tarea:

  • ¿Los días de producción de la planificación son días naturales o días hábiles? La primera fecha de entrega (C6) y la respuesta (C10) cambian según la respuesta a esta pregunta.
  • ¿Debe la respuesta incluir el flete, la validez y las condiciones de pago? Hoy no incluye ninguno, y ninguna comprobación los pide.

Las otras cinco tareas tienen sus propias convenciones abiertas, desde si confirmar un nombre cuenta como pedir un dato personal en una llamada calificada hasta cómo se redondean las toneladas secas antes de fijar el precio de un cargamento. Cada una figura en el registro de la tarea que recibe un comprador.

Lo que el verificador todavía no detecta

Atacamos nuestros propios verificadores. El 7 de noviembre de 2026, tres revisiones basadas en modelos de las primeras versiones construyeron estados finales erróneos, y dos verificadores los aceptaron con la puntuación máxima. Los reprodujimos y, el 8 de noviembre de 2026, probamos los seis verificadores frente a unos 220 cambios individuales sobre un estado final correcto. Las clases encontradas, y su situación en esta tarea en los filtros ejecutados el 10 de noviembre de 2026:

Clase de trabajo erróneoSituación en esta tarea, 10 de noviembre de 2026
La respuesta contradice la salida estructurada: promete una fecha que la planificación no puede cumplir, mientras que el archivo del presupuesto contiene la fecha correctaDetectado desde la versión 0.1: C10, crítica, y la prueba contradictory_reply_date. La versión 1.0 lee además la línea de asunto y más formatos de fecha, entre ellos fechas con barras y relativas, y da por buena una respuesta correcta que cita el correo del cliente, que la versión 0.1 hacía fallar por error
Campos de identidad de la fila de salida reescritos mientras los importes comprobados siguen siendo correctosDetectado desde la versión 1.0 por el filtro 3: wrong_customer_on_row, wrong_sku_on_row
Filas adicionales insertadas en la tabla de salidaDetectado desde la versión 1.0 por el filtro 3: duplicate_quote_row
Filas históricas o contiguas eliminadas o dañadasDetectado desde la versión 1.0 por el filtro 3: neighbour_quote_deleted, con una segunda fila de presupuesto añadida al estado inicial para que haya algo que eliminar
Importes desviados hasta en una unidad pasan una comprobación cuyo texto dice «al céntimo»Cerrado en la versión 1.0: C4, C9 y C12 comparan al céntimo; price_one_cent_off falla en modo estricto con 0.80
El reinicio de un espacio de trabajo usado falla en lugar de restaurar el estado inicialCerrado en la versión 1.0: un espacio de trabajo usado se reinicia al digest registrado
Eliminar la tabla de salida bloquea el verificador en lugar de devolver un rechazoCerrado en la versión 1.0: drop_quotes_table y 29 entradas hostiles devuelven un rechazo estructurado o un cero
El reinicio se describía como idéntico byte a byteRedacción corregida: el digest demuestra un contenido lógico coincidente
Todas las pruebas de reward hack ejercitaban solo los filtros de nivel superior; ninguna tocaba la tabla de salida modificableCerrado en la versión 1.0: seis pruebas escriben en la tabla quotes, cada una con cero
La respuesta promete una fecha anterior en un formato que el analizador no leía: guiones, un mes abreviado unido por guiones, el año primero con barrasDetectado desde la versión 1.0.1: dash_date_promise, hyphen_month_promise, iso_slash_promise. Tres promesas sin ninguna fecha se registran como pruebas de clase abierta que pasan por diseño: requested_date_no_token, lead_time_no_token, vague_week_promise
La respuesta pone la fecha antes de la promesa, u ofrece el coste interno de la planta como descuentoDetectado desde la versión 1.0.2: date_before_verb y cost_as_discount, ambas fallan C10
La fila del presupuesto cambia sin constancia de quién cambió qué, o el historial se reescribe para que encajeDetectado desde la versión 1.0.3: C13, crítica, y la prueba stage_changed_without_history; la tabla de historial está protegida por el filtro 4, con history_rewritten, history_on_other_quote y history_backdated, cada una con cero
Aún no se lee: el texto dentro de una salida requerida que contradice sus propias cifras correctas, como una respuesta que niega el precio que indica, una columna de motivo, una clave narrativa adicional o un informe junto a tablas correctasAbierto, por diseño. Hoy ninguna comprobación lee ese texto, y una prueba escrita a mano no puede cerrarlo. La calificación a ciegas de un profesional es el único control sobre ello

Cada clase encontrada por esas revisiones y por las nuestras es ahora una prueba con nombre, y cada una puntúa como se requiere en los filtros ejecutados el 10 de noviembre de 2026. Las pruebas escritas a mano sirven como test de regresión, no como garantía: demuestran que cada estado final erróneo que hemos previsto obtiene la puntuación que debe, y nada sobre los que no hemos previsto. Cada nueva clase se convierte en una prueba con nombre el día en que se encuentra.

Registro de cambios

  1. Hasta el 7 de noviembre de 2026. Versión 0 redactada y ejecutada. Dos modelos actuales de un mismo proveedor la resolvieron con una ejecución cada uno. Una revisión del verificador basada en modelos descubrió que la comprobación de la respuesta aceptaba la promesa de una fecha de entrega que la planificación no podía cumplir.
  2. 8 de noviembre de 2026. Versión 0.1: C10 analiza las fechas del cuerpo de la respuesta y es crítica; se añade la prueba contradictory_reply_date, que falla en modo estricto con 0.96.
  3. 8 de noviembre de 2026. Versión 1.0: protección por campo de la tabla quotes (filtro 3), rechazo estructurado de un envío que no puede puntuarse, precios comparados al céntimo, una comprobación de la respuesta más estricta que además da por buena una respuesta correcta que la versión 0.1 hacía fallar por error, dos comprobaciones nuevas (C11, C12), 27 nuevas pruebas de reward hack y de errores plausibles, dos alternativas correctas y una fila histórica de presupuesto en el estado inicial. La respuesta de referencia no cambia, por lo que los intentos de modelos de la versión 0 siguen siendo válidos. Se publica esta página.
  4. 8 de noviembre de 2026. Versión 1.0.1: la comprobación de la respuesta lee fechas con guiones, con día y mes abreviado, y con barras y el año primero, cada una con un error plausible. Tres promesas sin ninguna fecha se registran como pruebas de clase abierta que pasan por diseño. Nuevo hash del módulo. La respuesta de referencia no cambia.
  5. 8 de noviembre de 2026. Versión 1.0.2: la comprobación de la respuesta lee una fecha situada antes de la promesa y ya no da por buena una respuesta que ofrece el coste interno de la planta como descuento. Una alternativa correcta más. La respuesta de referencia no cambia.
  6. 8 de noviembre de 2026. Versión 1.0.3: el estado inicial incorpora el correo de recordatorio del cliente y una tabla de historial con cuatro filas redactadas, protegida por campo por el filtro 4. El procedimiento y la instrucción piden que se registre cada cambio en la fila del presupuesto, y C13, crítica, lo comprueba. Cuatro pruebas nuevas. Los precios, las fechas y el presupuesto de referencia no cambian; los pesos suman ahora 25, por lo que todas las puntuaciones han cambiado.

Los nuevos resultados se publican con su fecha, pasen o fallen.

Ejecútela usted mismo

Primero, una llamada de veinte minutos: ejecutamos esta tarea delante de su ingeniero, desde un reinicio, pasando por un reward hack y un error plausible, hasta la solución de referencia. Con un NDA bilateral firmado, su ingeniero recibe después el verificador independiente, con comandos de semilla, reinicio, puntuación y autocomprobación en Python 3.11 y sin paquetes de terceros, junto con el espacio de trabajo, el estado final de referencia y los informes del verificador sobre el espacio de trabajo sin tocar y sobre la solución de referencia. Volver a ejecutar en su propia máquina todas las pruebas anteriores es la prueba de aceptación de un primer pedido, que entregamos en un plazo de diez días hábiles a partir de sus requisitos por escrito.

Solicitar paquete de muestra Reservar el recorrido guiado