Excel・データ技術・エンジニア系(IT・Web)機械学習データ品質担当

学習データのラベル不一致を情報源・判定者・クラス別に分解する

複数のラベル付け結果を項目・判定者・情報源・クラス別に分解し、裁定優先度と曖昧な規則を可視化します。

目安時間:35分難易度:上級アプリ:指定なし
プロンプトの内容を確認 ↓

PURPOSE

このプロンプトでできること

複数のラベル付け結果を項目・判定者・情報源・クラス別に分解し、裁定優先度と曖昧な規則を可視化します。

PREPARE

用意する情報

匿名化データID、ラベル値、判定者ID、判定時刻、情報源・版、クラス定義、複数ラベルの対応関係、裁定済み状態。

WORKFLOW

使い方

判定者名を匿名IDに置き換え、同じ版のクラス定義とラベル結果を入力してください。モデル学習へ使う前に、データ責任者に裁定ルールを確認してもらってください。

AI INSTRUCTION

AIへの指示文

コピー用

入力欄を埋めてから利用してください。

学習データのラベル不一致を分解してください。項目単位の不一致、判定者別の偏り、情報源・クラス別の集中を示し、裁定済みと未裁定を分けてください。多数決を自動的に正解とせず、クラス定義の曖昧さ、情報源の版差、判定者の訓練差という可能性を区別してください。
【匿名化ラベル記録・クラス定義】
[入力]
出力は「クラス|件数|一致度|主な不一致|情報源・判定者の偏り|裁定優先ID|ルール確認案」の表にしてください。
コピー操作はこのブラウザー内で行います

EXAMPLE

入力例と出力例

入力例(説明用)

項目X1: A/A/B、X2: A/B/B。判定者1=A,A、判定者2=A,B、判定者3=B,B。クラス定義v1。

出力例(説明用)

X1: 2対1で不一致、裁定対象。X2: 2対1で不一致、裁定対象。
判定者3はA/B境界例に対してBを選択、追加レビュー候補。ただし2項目だけでは判定者偏りと結論できません。
確認: 定義v1の境界例と判定者別サンプル数を追加してください。

TIPS

使うときのコツ

判定者・情報源・ラベル定義の版を保持し、異なる版のデータを混ぜないでください。

使う前に確認してください

不一致の多数決で正解ラベルを自動生成しないでください。機微情報や個人が特定できる学習データを貼り付けないでください。