調査教育・研究アノテーション品質管理担当

分類ラベルの専門家一致を潜在クラスと曖昧例別に評価する

複数専門家が付けた多クラスラベルから、単純一致・クラス別一致・曖昧例・基準不一致を区別して評価するための入力、手順、確認点をまとめます。

目安時間：35分難易度：上級アプリ：指定なし

プロンプトの内容を確認 ↓

PURPOSE

このプロンプトでできること

PREPARE

用意する情報

匿名化した対象ID、専門家別ラベル、ラベル定義、二重判定設計、裁定記録、希少クラス頻度。実データは必要に応じて匿名化してください。

WORKFLOW

使い方

必要な情報をそろえ、個人情報や機密情報を伏せてから入力してください。出力は元資料と照合して利用してください。

AI INSTRUCTION

AIへの指示文

コピー用

入力欄を埋めてから利用してください。

複数専門家が付けた多クラスラベルから、単純一致・クラス別一致・曖昧例・基準不一致を区別して評価する。入力に含まれる情報だけを使い、記載のない事実、数値、合意は補わないでください。
【入力】
匿名化した対象ID、専門家別ラベル、ラベル定義、二重判定設計、裁定記録、希少クラス頻度

【素材】
[匿名化した情報を貼り付け]

次の制約を守ってください。
単一の一致係数で品質を保証せず、希少クラス・設計・ラベル定義を研究責任者が評価してください。
不足情報や矛盾は推測せず確認事項として示し、次の形式で出力してください。
一致率、偶然一致補正指標の前提、クラス別混同行列、判定者別傾向、曖昧例、再訓練候補を示す評価報告

コピー操作はこのブラウザー内で行います

EXAMPLE

入力例と出力例

入力例（説明用）

判定者3名、項目200件、クラスA=170件・B=25件・C=5件、Cで判定者間の不一致が多い

出力例（説明用）

【説明用の合成例】
全体一致率に加えクラス別混同行列を提示。Cは件数が少なく指標の不確実性が大きい。Cの定義例を見直し、追加二重判定候補を提示。

TIPS

使うときのコツ

単一の一致係数で品質を保証せず、希少クラス・設計・ラベル定義を研究責任者が評価してください。不明点は推測せず、確認事項として分けてください。

使う前に確認してください

結論を原資料と照合し、因果関係や一般化を根拠なく断定しないでください。