Excel・データデータサイエンティストモデルリスク管理

分類モデルの群別予測確率と実績率を比較する

事前に定めた群ごとに予測確率帯と観測率を比べ、標本数と不確実性を確認します。

目安時間:35分難易度:上級アプリ:Copilot in Excel
プロンプトの内容を確認 ↓

PURPOSE

このプロンプトでできること

事前に定めた群ごとに予測確率帯と観測率を比べ、標本数と不確実性を確認します。

PREPARE

用意する情報

予測確率、結果ラベル、承認済み群定義、予測確率帯、最低標本数、評価期間を用意してください。

WORKFLOW

使い方

予測時点と結果確定時点を揃え、群の定義と基準を事前に固定してください。

AI INSTRUCTION

AIへの指示文

コピー用

入力欄を埋めてから利用してください。

群・確率帯ごとに平均予測確率と実績率を計算し、その差、件数、指定された方法による信頼区間を示してください。信頼区間の方法が未指定なら算出を保留し、最低件数未満の群は判定保留にしてください。群定義を結果を見て変更しないでください。公平性や許容差の基準がなければ合否を断定しないでください。
【評価基準(最低件数・信頼区間の方法を含む)】
【確率・結果データ】
コピー操作はこのブラウザー内で行います

EXAMPLE

入力例と出力例

入力例(説明用)

群A: 平均予測0.80、実績72/100。群B: 平均予測0.80、実績3/4。最低件数30。信頼区間: 群別実績率のWilson 95%区間。

出力例(説明用)

群A: 実績率72%、Wilson 95%区間は約62.5〜79.9%、平均予測80%、n=100。群B: 実績率75%、n=4で最低件数未満のため保留。合否基準は未提示。

TIPS

使うときのコツ

同じ確率帯の作り方と小標本の統合ルールを記録してください。

使う前に確認してください

校正差だけで個人への判断を変更せず、統計的不確実性・業務影響・公平性基準を専門家が確認してください。