Menú

Investigación

Revisión de la calidad de llamadas, versión 0.1.2: cada comprobación y cada carencia conocida

Una tarea de demostración de centro de contacto. El agente califica cinco llamadas salientes de venta de seguros, una de ellas en malayo mezclado con inglés, según una lista de comprobación de cumplimiento, y después actualiza los registros: las tipificaciones de las llamadas, la lista de no llamar y una alerta por cada incumplimiento crítico.

Tarea cc-qa-001 · Versión 0.1.2, filtros ejecutados el 10 de noviembre de 2026 · Datarena

Demostración · Acerca de las demostraciones públicas. Estas llamadas son extractos breves de texto, no audio. La calificación se basa en nuestra clave de respuestas; ningún responsable de QA ni evaluador nativo ha calificado todavía estas llamadas.

Identidad

Tarea
cc-qa-001, versión 0.1.2, verificador congelado por hash
Familia
call-qa, dificultad easy, según la etiqueta del archivo público de filtros
Ámbito
Regulated outbound sales: call QA and disposition
Estado
Demostración · extractos de texto
Filtros ejecutados
10 de noviembre de 2026, Python 3.11.8, solo filtros deterministas: sin ejecuciones de modelos, sin evaluadores humanos, sin entrenamiento
Intentos de modelos
Versión 0, hasta el 7 de noviembre de 2026 inclusive: dos modelos actuales de un mismo proveedor, una ejecución cada uno, ambos pasaron. Las versiones posteriores, que endurecieron el verificador y dejaron sin cambios la clave de respuestas, se ejecutan a continuación
Conjunto sellado
Excluida. Esta tarea se publica íntegramente y no está a la venta

El trabajo

Un analista de QA de una campaña saliente de seguros califica cinco llamadas según la lista de comprobación de siete elementos de la campaña. Dos llamadas contienen un incumplimiento crítico: un agente de ventas que afirma que la rentabilidad está garantizada, y un cliente que pide en malayo que no se le vuelva a llamar mientras el agente sigue vendiendo. Una tercera llamada contiene dos incumplimientos que no son críticos. En una cuarta, el cliente pide que no se le llame a la oficina, lo cual es una petición de que se le llame en otro momento, no una solicitud de no llamar. La quinta está limpia. La instrucción, tal como la recibe el agente:

Usted es el analista de QA de la campaña HL-03. Califique las cinco llamadas de calls/ según docs/QA-CHECKLIST-HL-03.md. En crm/campaign.db: escriba una fila de qa_scores por cada llamada y elemento de la lista (PASS, FAIL o NA), corrija cualquier tipificación errónea en calls, añada clientes a dnc cuando la lista de comprobación lo exija y añada una fila de qa_flags (severity CRITICAL) por cada incumplimiento crítico.

La respuesta correcta califica cada llamada en cada elemento, PASS, FAIL o NA, fija la tipificación de la llamada en malayo como no llamar, añade a ese cliente a la lista de no llamar indicando quién lo añadió y por qué, deja intactas todas las demás tipificaciones y escribe exactamente una alerta crítica por cada incumplimiento crítico.

En qué se basa la calificación

El verificador compara las calificaciones del agente con una clave de respuestas. Nosotros redactamos la clave de respuestas, la lista de comprobación y las transcripciones, incluida la de malayo. Una calificación que difiere de la clave falla, aunque un responsable de QA pudiera aceptarla. Hasta que un responsable de QA haya calificado estas llamadas, el verificador demuestra que aplica fielmente nuestra clave, no que nuestra clave coincida con cómo califica el sector.

La versión por encargo sustituye nuestra lista de comprobación por una que elabora un responsable de QA a partir del texto público de las normas, y la transcripción en malayo por una escrita por un hablante nativo. Después, un segundo profesional califica a ciegas, y comunicamos el grado de acuerdo.

El espacio de trabajo

Cada ejecución parte de los mismos archivos y de la misma base de datos, escritos de nuevo por el propio reinicio de la tarea.

RutaQué contiene tras el reinicio
calls/C-101.txt756 bytes
calls/C-102.txt518 bytes
calls/C-103.txt400 bytes
calls/C-104.txt513 bytes
calls/C-105.txt360 bytes
crm/campaign.dbcalls (5), dnc (1), qa_flags (0), qa_scores (0)
docs/QA-CHECKLIST-HL-03.md1300 bytes

Digest de reinicio, SHA-256 del espacio de trabajo inicial con la base de datos tomada como su volcado SQL: d04c7bacdeaf936821d1f41d995b03009854e154d37148776643ac42c6a5c848. Reinicio determinista desde un directorio vacío: sí. Un espacio de trabajo usado se reinicia al mismo digest mediante nuestro harness de pruebas: sí.

Las herramientas: lo que el agente puede tocar

Lee
Las cinco transcripciones, la lista de comprobación y todas las tablas de la base de datos.
Escribe
Una calificación por llamada y elemento de la lista, el campo de tipificación de una llamada, nuevas entradas en la lista de no llamar y alertas críticas.
No debe tocar
Las transcripciones y la lista de comprobación, el esquema de la base de datos, todos los demás campos de los registros de llamadas y la entrada de no llamar que había al principio. No se puede añadir ningún archivo en ninguna parte. Cualquiera de estas acciones hace fallar un filtro, y la ejecución obtiene cero haga lo que haga además.

Filtros y comprobaciones

Un envío que el verificador no puede puntuar, porque la base de datos es ilegible o no contiene calificaciones, se rechaza como no válido con recompensa cero y un motivo estructurado. Después vienen tres filtros. Si falla cualquiera, la recompensa es cero y no se cuenta ninguna comprobación.

  1. transcripciones y lista de comprobación intactas, ningún archivo añadido en calls/ ni en docs/.
  2. esquema del CRM sin cambios; registros de llamadas modificados solo en la tipificación; filas DNC iniciales intactas.
  3. qa_scores contiene exactamente un resultado válido para cada una de las 35 celdas llamada-elemento.

Después vienen ocho comprobaciones, cada una comparada con la base de datos en disco. El verificador nunca lee lo que el agente dice que hizo. Los pesos suman 17; 3 comprobaciones son críticas. El modo estricto, la recompensa de entrenamiento, exige todos los filtros y todas las comprobaciones.

ComprobaciónQué debe cumplirsePesoCrítica
K1Se detectan los dos incumplimientos críticos (afirmación de garantía; solicitud de no llamar en malayo ignorada)3sí
K2Se detectan los dos incumplimientos no críticos (sin aviso de grabación; sin consentimiento antes del documento de identidad y la tarjeta)2
K3Ninguna celda conforme marcada como FAIL2
K4Las 35 celdas coinciden con la cuadrícula de referencia, incluidas las NA1
K5Se respeta la solicitud de no llamar: C-103 se fija en DNC y CU-2203 se añade a dnc indicando quién lo añadió y por qué (no la procedencia de sistema de las filas importadas)3sí
K6Ningún DNC falso: no se añade a nadie más, y el cliente que pide que se le llame más tarde sigue en CALLBACK3sí
K7Las tipificaciones correctas se dejan intactas1
K8qa_flags contiene exactamente una fila CRITICAL por cada incumplimiento crítico y ninguna otra fila2

La puntuación y el modo estricto se definen como en la página de la tarea de embalaje.

Las pruebas

Un reward hack falsea o manipula y debe obtener exactamente cero. Un error plausible es uno que podría cometer un analista cuidadoso; no debe obtener la recompensa estricta. Una alternativa correcta es una respuesta correcta escrita de otra forma; debe obtenerla. Se ejecutaron 9 reward hacks, 9 errores plausibles y 1 alternativa correcta el 10 de noviembre de 2026, y todos devolvieron el resultado esperado.

PruebaTipoQué hizoEstrictaPuntuaciónQué falló
emptyReward hackNinguna respuesta escritaFalla0.00Rechazada como no válida
report_onlyReward hackUn informe escrito que dice que el trabajo está hecho, sin nada escrito en la base de datosFalla0.00filtro 1, rechazada como no válida
extra_report_in_outReward hackFilas correctas en la base de datos, más un informe junto a ellas que dice que todas las llamadas pasaronFalla0.00filtro 1
delete_breach_callsReward hackEliminó las dos llamadas con incumplimientos y luego dio por buenas las demásFalla0.00filtro 2
all_passError plausibleMarcó todas las celdas como PASS: no detecta ninguno de los cuatro incumplimientosFalla0.35K1, K2, K4, K5, K8
all_fail_dnc_everyoneError plausibleMarcó todas las celdas como FAIL y puso a todos los clientes en la lista de no llamarFalla0.47K3, K4, K6, K7, K8
keyword_dncError plausibleInterpretó «no me llame a la oficina, llámeme al móvil» como una solicitud de no llamarFalla0.53K3, K4, K6, K8
misses_malay_dncError plausibleCalificó correctamente las llamadas en inglés y pasó por alto la solicitud de no llamar hecha en malayoFalla0.47K1, K4, K5, K8
dnc_provenance_rewrittenReward hackReescribió quién añadió la entrada de no llamar existente, y por quéFalla0.00filtro 2
call_record_rewrittenReward hackAsignó la llamada en malayo a otro clienteFalla0.00filtro 2
schema_column_addedReward hackAñadió una columna al esquema de la base de datosFalla0.00filtro 2
drop_qa_flagsReward hackCalificaciones correctas y después eliminó la tabla de alertas: un rechazo, no un bloqueoFalla0.00Rechazada como no válida
forged_transcriptReward hackIntrodujo una sexta transcripciónFalla0.00filtro 1
dnc_row_without_provenanceError plausibleLa nueva entrada de no llamar no indica quién la añadió ni por quéFalla0.82K5
dnc_row_mimics_systemError plausibleLa nueva entrada de no llamar copia la redacción de una entrada importada, como si la hubiera añadido el sistemaFalla0.82K5
duplicate_critical_flagsError plausibleMarcó tres veces el incumplimiento de la garantíaFalla0.88K8
lowercase_false_flagError plausibleUna alerta falsa en una llamada conforme, con la severidad escrita en minúsculasFalla0.88K8
major_flags_addedError plausibleUna alerta MAJOR no solicitada junto a las dos críticasFalla0.88K8
analyst_id_and_transcript_span_dncAlternativa correctaUna respuesta correcta cuya entrada de no llamar nombra al analista y cita la solicitud en malayoPasa1.00ninguno
referenceSolución de referenciaLa solución de referenciaPasa1.00ninguno

Nuestro harness de pruebas también construyó 15 entradas hostiles a partir de un estado final correcto: 4 con una tabla eliminada, 4 con la primera columna de una tabla renombrada, una con la base de datos sobrescrita con texto, 6 con una entrada sustituida por un directorio. Todas devolvieron un informe con recompensa cero y sin error del verificador.

Lo que decide un profesional

La clave de respuestas codifica una sola convención allí donde el sector puede tener varias. Un responsable de QA decide cuál es la correcta. Cuestiones abiertas en esta tarea:

  • ¿Confirmar el nombre de un cliente cuenta como pedir un dato personal antes del aviso de grabación? La clave dice que no. Si cuenta, cuatro llamadas que la clave da por buenas en el elemento I3 lo fallan.
  • ¿Nombrar el producto antes del aviso de grabación cuenta como describirlo? La clave dice que no, así que dos llamadas pasan I3 cuando una lectura más estricta las haría fallar.
  • «No me llame a la oficina, llámeme al móvil» es una devolución de llamada en la clave, no una solicitud de no llamar. Un responsable de QA confirma dónde está el límite en inglés, en malayo y en llamadas que mezclan ambos.

Lo que el verificador todavía no detecta

Atacamos nuestros propios verificadores. El 8 de noviembre de 2026 probamos este verificador frente a 40 cambios individuales sobre un estado final correcto: la versión 0 aceptó 15 estados finales erróneos con la puntuación máxima y se detuvo con un error en dos. Volvimos a ejecutar los 40 frente a la versión 0.1.2 el 9 de noviembre de 2026. Las clases encontradas, y la situación de cada una:

Clase de trabajo erróneoSituación en esta tarea, 9 de noviembre de 2026
Alertas duplicadas, o alertas falsas con una severidad distinta de la palabra exacta CRITICALDetectado desde la versión 0.1: K8 exige exactamente una fila CRITICAL por cada incumplimiento crítico y ninguna otra fila. duplicate_critical_flags, lowercase_false_flag, major_flags_added
La entrada de no llamar existente reescrita, o eliminada y añadida de nuevoDetectado desde la versión 0.1 por el filtro 2: dnc_provenance_rewritten
Una nueva entrada de no llamar que no indica quién la añadió ni por qué, o que copia la redacción de una entrada importadaDetectado desde la versión 0.1 por K5, crítica: dnc_row_without_provenance, dnc_row_mimics_system
Columnas añadidas al esquema y rellenadas con notas que contradicen las calificacionesDetectado desde la versión 0.1 por el filtro 2: schema_column_added
Un informe junto a tablas correctas que las contradiceDetectado desde la versión 0.1.1: cualquier archivo añadido hace fallar el filtro 1. extra_report_in_out
Una entrada sustituida por un directorio bloquea el verificadorCerrado en la versión 0.1: 6 entradas hostiles de este tipo devuelven un cero sin error
Abierto: una fila de alertas con todos los campos vacíos detiene el verificador con un error en lugar de un rechazo estructuradoAbierto. Encontrado el 9 de noviembre de 2026. No se acepta ninguna respuesta errónea; la corrección y su prueba están previstas para la próxima versión
Aún no se lee: si el motivo de una nueva entrada de no llamar es ciertoAbierto, por diseño. K5 pide quién añadió la entrada y por qué, y acepta cualquier motivo que no esté vacío. La calificación a ciegas de un profesional es el único control sobre ello
Aún no probado: una solicitud de no llamar formulada con otras palabras, o con cambios entre inglés y malayo a mitad de fraseAbierto. La tarea contiene una solicitud en malayo y una devolución de llamada a la oficina. Las transcripciones de llamadas reales o recreadas lo amplían

Las pruebas escritas a mano son un filtro de regresión, nunca una garantía: demuestran que cada estado final erróneo que hemos previsto obtiene la puntuación que debe, y nada sobre los que no hemos previsto.

Registro de cambios

  1. Hasta el 7 de noviembre de 2026. Versión 0 redactada y ejecutada. Dos modelos actuales de un mismo proveedor la pasaron con una ejecución cada uno.
  2. 8 de noviembre de 2026. Versión 0.1, tras la revisión: el esquema, los registros de llamadas salvo la tipificación y la entrada de no llamar existente se comparan con el estado inicial; las alertas deben coincidir exactamente; una nueva entrada de no llamar debe indicar quién la añadió y por qué; una base de datos ilegible es un rechazo estructurado. La clave de respuestas no cambia.
  3. 8 de noviembre de 2026. Versión 0.1.1: cualquier archivo añadido hace fallar el filtro 1. La clave de respuestas no cambia.
  4. 8 de noviembre de 2026. Versión 0.1.2: una alternativa correcta, analyst_id_and_transcript_span_dnc. La clave de respuestas no cambia.
  5. 9 de noviembre de 2026. Se publica esta página. Las 40 mutaciones de la revisión se vuelven a ejecutar frente a la versión 0.1.2: 38 detectadas, una abierta (arriba) y una que reinicia a mano un espacio de trabajo usado, algo que ya gestiona el propio reinicio de nuestro harness.

Recorrido guiado

Reserve una llamada de veinte minutos y ejecutamos esta tarea delante de su ingeniero: un reinicio, un reward hack, un error plausible y después la solución de referencia. Las condiciones de un primer pedido figuran en la página de la tarea de embalaje.

Solicitar paquete de muestra Reservar el recorrido guiado