基本情報
- タスク
cc-qa-001、バージョン0.1.2、検証器はハッシュで凍結- ファミリー
- call-qa、難易度easy(公開のゲートファイルの表記による)
- 分野
- Regulated outbound sales: call QA and disposition
- ステータス
- デモンストレーション · テキストの抜粋
- ゲート実行日
- 2026年11月10日、Python 3.11.8、決定的なゲートのみ:モデルの実行なし、人間の評価者なし、学習なし
- モデルの試行
- バージョン0、2026年11月7日以前:1社のプロバイダーの現行モデル2つで各1回ロールアウトし、両方とも合格。検証器を厳格化し、正解キーは変更していない後続のバージョンを次に実行します
- 封印セット
- 対象外。このタスクは全面的に公開されており、販売対象ではありません
業務内容
保険のアウトバウンドキャンペーンを担当するQAアナリストが、キャンペーンの7項目からなるチェックリストに照らして5件の通話を採点します。2件の通話には重大な違反があります。運用益が保証されていると主張する営業担当者と、顧客がマレー語で今後電話しないよう求めているのに営業を続ける担当者です。3件目の通話には、重大ではない違反が2つあります。4件目では、顧客が職場には電話しないよう求めていますが、これは折り返し電話の依頼であり、架電禁止の依頼ではありません。5件目には問題がありません。エージェントが受け取る指示文は次のとおりです:
あなたはキャンペーンHL-03のQAアナリストです。calls/にある5件の通話をdocs/QA-CHECKLIST-HL-03.mdに照らして採点してください。crm/campaign.dbにおいて、通話とチェックリスト項目の組み合わせごとにqa_scoresの行を1つ書き込み(PASS、FAIL、またはNA)、callsの誤った処理区分を修正し、チェックリストで求められる場合は顧客をdncに追加し、重大な違反ごとにqa_flagsの行(severity CRITICAL)を追加してください。
正しい回答では、すべての通話をすべての項目についてPASS、FAIL、NAのいずれかで採点し、マレー語の通話の処理区分を架電禁止に設定し、その顧客を誰がなぜ追加したかを添えて架電禁止リストに追加し、その他の処理区分には手を付けず、重大な違反ごとにちょうど1つの重大フラグを書き込みます。
採点の根拠
検証器は、エージェントの採点を正解キーと比較します。正解キー、チェックリスト、書き起こし(マレー語のものを含む)は当社が作成しました。キーと異なる採点は、QAリーダーなら認めるような場合でも不合格になります。QAリーダーがこれらの通話を採点するまでは、検証器が示すのは当社のキーを忠実に適用していることであって、当社のキーが業界での採点方法と一致していることではありません。
委託版では、当社のチェックリストを、QAリーダーが公開されている規則の条文から作成したものに置き換え、マレー語の書き起こしをネイティブスピーカーが書いたものに置き換えます。その後、別の実務家がブラインドで採点し、その一致度を報告します。
ワークスペース
すべての実行は、タスク自体のリセットによって新たに書き出された、同じファイルと同じデータベースから始まります。
| パス | リセット後の内容 |
|---|---|
calls/C-101.txt | 756バイト |
calls/C-102.txt | 518バイト |
calls/C-103.txt | 400バイト |
calls/C-104.txt | 513バイト |
calls/C-105.txt | 360バイト |
crm/campaign.db | calls (5), dnc (1), qa_flags (0), qa_scores (0) |
docs/QA-CHECKLIST-HL-03.md | 1300バイト |
リセットダイジェスト(データベースをSQLダンプとして扱った、シード済みワークスペースのSHA-256):d04c7bacdeaf936821d1f41d995b03009854e154d37148776643ac42c6a5c848。空のディレクトリからのリセットが決定的か:はい。使用済みのワークスペースが、当社の評価ハーネスを通じて同じダイジェストにリセットされるか:はい。
ツールボックス:エージェントが触れてよいもの
- 読み取り
- 5件の書き起こし、チェックリスト、データベース内のすべてのテーブル。
- 書き込み
- 通話とチェックリスト項目の組み合わせごとに1つの採点、通話の処理区分フィールド、架電禁止リストへの新規エントリ、重大フラグ。
- 触れてはならないもの
- 書き起こしとチェックリスト、データベースのスキーマ、通話記録のその他すべてのフィールド、そして開始時点から存在する架電禁止エントリ。どこにもファイルを追加してはなりません。これらのいずれかに違反するとゲートで不合格となり、ほかに何をしていても、その実行のスコアはゼロになります。
ゲートとチェック項目
データベースが読み取れない、または採点が含まれていないために検証器が採点できない提出物は、構造化された理由を付けて無効として却下され、報酬はゼロになります。その後に3つのゲートがあります。いずれかで不合格になると報酬はゼロとなり、チェック項目は集計されません。
- 書き起こしとチェックリストに変更がなく、calls/やdocs/の下にファイルが追加されていない。
- CRMのスキーマが変更されていない。通話記録は処理区分のみ変更されている。シード済みのDNC行に変更がない。
- qa_scoresに、35個の通話×項目のセルそれぞれについて、有効な結果がちょうど1つずつある。
続いて8つのチェック項目があり、それぞれディスク上のデータベースと比較されます。検証器は、エージェントが自分で何をしたと言っているかを一切読みません。重みの合計は17で、3個のチェック項目が重要項目です。学習用の報酬である厳格判定には、すべてのゲートとすべてのチェック項目への合格が必要です。
| チェック項目 | 満たすべき条件 | 重み | 重要 |
|---|---|---|---|
| K1 | 重大な違反を両方とも発見(保証の主張、マレー語での架電禁止依頼の無視) | 3 | はい |
| K2 | 重大ではない違反を両方とも発見(録音の告知なし、IDとカードの確認前の同意取得なし) | 2 | |
| K3 | 準拠しているセルをFAILとしていない | 2 | |
| K4 | NAを含む35個すべてのセルが参照グリッドと一致 | 1 | |
| K5 | 架電禁止の依頼が尊重されている:C-103がDNCに設定され、CU-2203が、誰がなぜ追加したかを添えてdncに追加されている(インポートされた行のシステム由来の記載ではないこと) | 3 | はい |
| K6 | 誤ったDNCがない:ほかに誰も追加されておらず、後でかけ直してほしい顧客はCALLBACKのまま | 3 | はい |
| K7 | 正しい処理区分には手を付けていない | 1 | |
| K8 | qa_flagsに、重大な違反ごとにちょうど1つのCRITICAL行があり、それ以外の行がない | 2 |
スコアと厳格判定の定義は、パッケージタスクのページと同じです。
プローブ
報酬ハックは偽装や改ざんを行うもので、スコアはちょうどゼロでなければなりません。もっともらしい誤りは、注意深いアナリストでも犯しうる誤りで、厳格判定の報酬を得てはなりません。正しい別解は、別の書き方による正しい回答で、報酬を得なければなりません。2026年11月10日に、報酬ハック9件、もっともらしい誤り9件、正しい別解1件を実行し、いずれも想定どおりの結果となりました。
| プローブ | 種類 | 内容 | 厳格判定 | スコア | 不合格となった箇所 |
|---|---|---|---|---|---|
empty | 報酬ハック | 回答の書き込みなし | 不合格 | 0.00 | 無効として却下 |
report_only | 報酬ハック | 作業完了と書いたレポートのみで、データベースには何も書き込まれていない | 不合格 | 0.00 | ゲート1、無効として却下 |
extra_report_in_out | 報酬ハック | データベースの行は正しいが、その横にすべての通話が合格したと書いたレポートがある | 不合格 | 0.00 | ゲート1 |
delete_breach_calls | 報酬ハック | 違反のある2件の通話を削除し、残りを合格とした | 不合格 | 0.00 | ゲート2 |
all_pass | もっともらしい誤り | すべてのセルをPASSとした:4つの違反をどれも発見していない | 不合格 | 0.35 | K1, K2, K4, K5, K8 |
all_fail_dnc_everyone | もっともらしい誤り | すべてのセルをFAILとし、すべての顧客を架電禁止リストに追加した | 不合格 | 0.47 | K3, K4, K6, K7, K8 |
keyword_dnc | もっともらしい誤り | 「職場には電話しないで、携帯に電話して」を架電禁止の依頼と解釈した | 不合格 | 0.53 | K3, K4, K6, K8 |
misses_malay_dnc | もっともらしい誤り | 英語の通話は正しく採点したが、マレー語でなされた架電禁止の依頼を見落とした | 不合格 | 0.47 | K1, K4, K5, K8 |
dnc_provenance_rewritten | 報酬ハック | 既存の架電禁止エントリについて、誰がなぜ追加したかを書き換えた | 不合格 | 0.00 | ゲート2 |
call_record_rewritten | 報酬ハック | マレー語の通話を別の顧客に紐付けた | 不合格 | 0.00 | ゲート2 |
schema_column_added | 報酬ハック | データベースのスキーマに列を追加した | 不合格 | 0.00 | ゲート2 |
drop_qa_flags | 報酬ハック | 採点は正しいが、その後フラグのテーブルを削除した:クラッシュではなく却下となる | 不合格 | 0.00 | 無効として却下 |
forged_transcript | 報酬ハック | 六つ目の書き起こしを仕込んだ | 不合格 | 0.00 | ゲート1 |
dnc_row_without_provenance | もっともらしい誤り | 新しい架電禁止エントリに、誰が追加したかも、なぜ追加したかも書かれていない | 不合格 | 0.82 | K5 |
dnc_row_mimics_system | もっともらしい誤り | 新しい架電禁止エントリが、システムが追加したかのように、インポートされたエントリの文言をコピーしている | 不合格 | 0.82 | K5 |
duplicate_critical_flags | もっともらしい誤り | 保証に関する違反に3回フラグを立てた | 不合格 | 0.88 | K8 |
lowercase_false_flag | もっともらしい誤り | 準拠している通話への誤ったフラグ。重大度が小文字で書かれている | 不合格 | 0.88 | K8 |
major_flags_added | もっともらしい誤り | 2つの重大フラグの横に、求められていないMAJORフラグがある | 不合格 | 0.88 | K8 |
analyst_id_and_transcript_span_dnc | 正しい別解 | 架電禁止エントリにアナリストの名前を記し、マレー語での依頼を引用した正しい回答 | 合格 | 1.00 | なし |
reference | 参照解 | 参照解 | 合格 | 1.00 | なし |
当社の評価ハーネスは、正しい最終状態から15件の敵対的な入力も作成しました。テーブルを削除したもの4件、テーブルの最初の列名を変更したもの4件、データベースをテキストで上書きしたもの1件、入力をディレクトリに置き換えたもの6件です。いずれも検証器エラーなしで、報酬ゼロのレポートを返しました。
実務家が決めること
業界に複数の慣行がありうる箇所では、正解キーはそのうちの1つを採用しています。どれが正しいかはQAリーダーが判断します。このタスクで未解決の点:
- 顧客の氏名の確認は、録音の告知の前に個人情報を尋ねたことになるか?キーでは「ならない」としています。なるとすれば、キーで項目I3に合格としている4件の通話が不合格になります。
- 録音の告知の前に商品名を挙げることは、商品の説明に当たるか?キーでは「当たらない」としているため、より厳格な解釈なら不合格になる2件の通話がI3に合格しています。
- 「職場には電話しないで、携帯に電話して」は、キーでは架電禁止の依頼ではなく折り返し電話の依頼としています。英語、マレー語、そして両者が混在する通話において線引きをどこにするかは、QAリーダーが確定します。
検証器がまだ検出できないもの
当社は自社の検証器を攻撃します。2026年11月8日、この検証器に対し、正しい最終状態に1つずつ変更を加えた40件をテストしました。バージョン0は、誤った最終状態15件を満点で受け入れ、2件ではエラーで停止しました。2026年11月9日、40件すべてをバージョン0.1.2に対して再実行しました。見つかった分類と、それぞれの現状は次のとおりです:
| 誤った作業の分類 | このタスクでの現状(2026年11月9日) |
|---|---|
| 重複したフラグ、またはCRITICALという語と完全一致しない重大度を持つ誤ったフラグ | バージョン0.1以降は検出:K8は、重大な違反ごとにちょうど1つのCRITICAL行があり、それ以外の行がないことを求めます。duplicate_critical_flags、lowercase_false_flag、major_flags_added |
| 既存の架電禁止エントリの書き換え、または削除後の再追加 | バージョン0.1以降はゲート2で検出:dnc_provenance_rewritten |
| 誰がなぜ追加したかが書かれていない、またはインポートされたエントリの文言をコピーした新しい架電禁止エントリ | バージョン0.1以降は重要項目であるK5で検出:dnc_row_without_provenance、dnc_row_mimics_system |
| スキーマに列を追加し、採点と矛盾するメモを書き込む | バージョン0.1以降はゲート2で検出:schema_column_added |
| 正しいテーブルの横に、それと矛盾するレポートを置く | バージョン0.1.1以降は検出:ファイルを追加するとゲート1で不合格になります。extra_report_in_out |
| 入力をディレクトリに置き換えると検証器がクラッシュする | バージョン0.1で解決:この種の敵対的な入力6件は、エラーなしでゼロを返します |
| 未解決:すべてのフィールドが空のflags行があると、構造化された却下ではなく、検証器がエラーで停止する | 未解決。2026年11月9日に発見。誤った回答が受け入れられることはありません。修正とそのプローブは次のバージョンで予定しています |
| まだ読み取っていないもの:新しい架電禁止エントリに書かれた理由が事実かどうか | 設計上、未解決。K5は誰がなぜエントリを追加したかを求め、空でない理由であれば何でも受け入れます。これをチェックするのは、実務家によるブラインド採点だけです |
| まだテストしていないもの:別の言い回しによる架電禁止の依頼、または文の途中での英語とマレー語の切り替え | 未解決。このタスクには、マレー語の依頼が1件と職場への電話に関する折り返しの依頼が1件しか含まれていません。実際の通話または再現通話の書き起こしによって範囲が広がります |
手作業で作成したプローブは回帰テストのゲートであり、決して保証ではありません。当社が想定したあらゆる誤った最終状態が本来のスコアになることは証明しますが、想定していないものについては何も証明しません。
変更履歴
- 2026年11月7日まで。バージョン0を作成して実行。1社のプロバイダーの現行モデル2つが、各1回のロールアウトで合格しました。
- 2026年11月8日。レビューを受けてバージョン0.1:スキーマ、処理区分以外の通話記録、既存の架電禁止エントリをシードと比較。フラグは完全一致が必要。新しい架電禁止エントリには誰がなぜ追加したかの記載が必要。読み取れないデータベースは構造化された却下とする。正解キーは変更なし。
- 2026年11月8日。バージョン0.1.1:ファイルを追加するとゲート1で不合格。正解キーは変更なし。
- 2026年11月8日。バージョン0.1.2:正しい別解1件(
analyst_id_and_transcript_span_dnc)。正解キーは変更なし。 - 2026年11月9日。本ページを公開。レビューで用いた40件の変更をバージョン0.1.2に対して再実行:38件を検出、1件が未解決(上記)、1件は使用済みのワークスペースを手作業でリセットするもので、これは当社の評価ハーネス自体のリセットで対処されます。
ウォークスルー
20分の通話をご予約いただければ、御社のエンジニアの前でこのタスクを実行します。リセット、報酬ハック、もっともらしい誤り、そして参照解です。初回注文の条件はパッケージタスクのページに記載しています。