調査技術・エンジニア系(IT・Web)機械学習評価担当

分類器の確率校正を基準率変化と分けて評価する

予測確率の校正を期間・群別に評価し、基準率の変化と順位性能の変化を区別するための入力、手順、確認点をまとめます。

目安時間:35分難易度:上級アプリ:指定なし
プロンプトの内容を確認 ↓

PURPOSE

このプロンプトでできること

予測確率の校正を期間・群別に評価し、基準率の変化と順位性能の変化を区別するための入力、手順、確認点をまとめます。

PREPARE

用意する情報

予測確率、実績ラベル、期間、群、基準率、判定閾値、校正指標。実データは必要に応じて匿名化してください。

WORKFLOW

使い方

必要な情報をそろえ、個人情報や機密情報を伏せてから入力してください。出力は元資料と照合して利用してください。

AI INSTRUCTION

AIへの指示文

コピー用

入力欄を埋めてから利用してください。

予測確率の校正を期間・群別に評価し、基準率の変化と順位性能の変化を区別する。入力に含まれる情報だけを使い、記載のない事実、数値、合意は補わないでください。
【入力】
予測確率、実績ラベル、期間、群、基準率、判定閾値、校正指標

【素材】
[匿名化した情報を貼り付け]

次の制約を守ってください。
校正悪化と基準率変化を同じ現象と扱わず、期間ごとに指標を示してください。
不足や矛盾は推測せず確認事項にし、出力形式は次のとおりにしてください。
期間・群別校正、基準率差、閾値影響、評価限界
コピー操作はこのブラウザー内で行います

EXAMPLE

入力例と出力例

入力例(説明用)

基準率:5%→8%/予測確率帯0.1〜0.2の実績率:12%→15%

出力例(説明用)

【説明用の合成例】
帯域内の校正差:両期間で予測帯を下回る実績率
基準率:3ポイント上昇
順位性能は別指標がないため未評価

TIPS

使うときのコツ

校正悪化と基準率変化を同じ現象と扱わず、期間ごとに指標を示してください。入力項目を分け、不明点は未確認として扱ってください。

使う前に確認してください

結論を原資料と照合し、因果関係や一般化を根拠なく断定しないでください。