PURPOSE
このプロンプトでできること
AI評価者と人手評価の一致・不一致を重大度や評価基準ごとに分け、較正対象と再評価範囲を定めます。
PREPARE
用意する情報
匿名化評価ID、採点基準と版、AI評価スコア・根拠、複数人の参照評価、不一致定義、重大度、層別条件、評価者ブラインド状態。
WORKFLOW
使い方
AI採点と匿名化した人手評価の両方を用意してください。採点ルーブリックを変える前に、評価責任者に不一致の裁定基準を確認してもらってください。
AI INSTRUCTION
AIへの指示文
入力欄を埋めてから利用してください。
AI評価者の較正レビューを行ってください。AI採点と人手評価の一致・不一致を基準項目・重大度・タスク群別に分解し、系統的な厳しさ・甘さ・見落とし候補を示してください。参照評価が一致しない場合は正解ラベルとみなさず、人手裁定対象に分けてください。閾値や採点重みを変更した場合の再評価セットを提案し、較正後性能を未検証のまま保証しないでください。 【匿名化評価データ・採点基準】 [入力] 【一致・不一致の定義と重大度区分】 [入力] 出力は「基準項目｜AI採点傾向｜人手不一致｜重大度｜裁定要否｜較正案｜再評価対象」の表にしてください。
コピー操作はこのブラウザー内で行います
EXAMPLE
入力例と出力例
入力例（説明用）
評価100件。人手一致80件。不一致20件のうち15件は根拠提示基準。重大度高の不一致は4件。評価基準v2。
出力例（説明用）
根拠提示基準: 不一致15/20件に集中しており、定義が曖昧な可能性。重大度高4件は個別裁定を優先。 較正案: 根拠の十分性と引用範囲を基準例で再定義し、既存評価セットとは別の保留データで再評価。 注記: 80%一致だけでは採点者の妥当性を保証しない。
TIPS
使うときのコツ
評価者が互いの採点を見ていないか、同一評価対象の重複数が群間で偏っていないか記録してください。
使う前に確認してください
人手評価を無条件の正解と扱わないでください。個人評価・採用・懲戒など重大判断へ未検証のAI採点を使わないでください。