調査技術・エンジニア系（IT・Web）生成AI品質評価担当

大規模言語モデル評価の選好比較を評価者差・順序効果・再現性で監査する

対比較評価のモデル差を評価者・提示順・プロンプト・反復試行に分解し、順位と不確実性の再現性を検査するための入力、手順、確認点をまとめます。

目安時間：35分難易度：上級アプリ：指定なし

プロンプトの内容を確認 ↓

PURPOSE

このプロンプトでできること

PREPARE

用意する情報

匿名モデル出力、同一タスク・プロンプト版、評価者ID、提示順、評価基準、反復試行、盲検状態、欠測。実データは必要に応じて匿名化してください。

WORKFLOW

使い方

必要な情報をそろえ、個人情報や機密情報を伏せてから入力してください。出力は元資料と照合して利用してください。

AI INSTRUCTION

AIへの指示文

コピー用

入力欄を埋めてから利用してください。

対比較評価のモデル差を評価者・提示順・プロンプト・反復試行に分解し、順位と不確実性の再現性を検査する。入力に含まれる情報だけを使い、記載のない事実、数値、合意は補わないでください。
【入力】
匿名モデル出力、同一タスク・プロンプト版、評価者ID、提示順、評価基準、反復試行、盲検状態、欠測

【素材】
[匿名化した情報を貼り付け]

次の制約を守ってください。
実ユーザー入力・個人情報を評価データに含めず、モデル名・版・設定を固定して比較してください。
不足情報や矛盾は推測せず確認事項として示し、次の形式で出力してください。
比較対象／選好率／評価者差／順序効果／プロンプト別結果／信頼区間／再現性

コピー操作はこのブラウザー内で行います

EXAMPLE

入力例と出力例

入力例（説明用）

出力A/Bを40人が評価／A優位=55%／提示順が無作為でない／一部評価者は複数回参加

出力例（説明用）

【説明用の合成例】
提示順・評価者の反復が交絡しています。単純選好率をモデル能力の確定差と表現しない。

TIPS

使うときのコツ

実ユーザー入力・個人情報を評価データに含めず、モデル名・版・設定を固定して比較してください。不明点は推測せず、確認事項として分けてください。

使う前に確認してください

結論を原資料と照合し、因果関係や一般化を根拠なく断定しないでください。