調査技術・エンジニア系(IT・Web)機械学習評価担当

希少事象モデルを基準率と予測用途別の指標で評価する

希少クラスの割合が変化する状況で、PR曲線・適合率・再現率・校正を対象集団の基準率に照らして評価するための入力、手順、確認点をまとめます。

目安時間:35分難易度:上級アプリ:指定なし
プロンプトの内容を確認 ↓

PURPOSE

このプロンプトでできること

希少クラスの割合が変化する状況で、PR曲線・適合率・再現率・校正を対象集団の基準率に照らして評価するための入力、手順、確認点をまとめます。

PREPARE

用意する情報

匿名化した予測スコア・正解ラベル、評価標本の抽出率、対象集団の基準率、判定閾値、誤りコスト。実データは必要に応じて匿名化してください。

WORKFLOW

使い方

必要な情報をそろえ、個人情報や機密情報を伏せてから入力してください。出力は元資料と照合して利用してください。

AI INSTRUCTION

AIへの指示文

コピー用

入力欄を埋めてから利用してください。

希少クラスの割合が変化する状況で、PR曲線・適合率・再現率・校正を対象集団の基準率に照らして評価する。入力に含まれる情報だけを使い、記載のない事実、数値、合意は補わないでください。
【入力】
匿名化した予測スコア・正解ラベル、評価標本の抽出率、対象集団の基準率、判定閾値、誤りコスト

【素材】
[匿名化した情報を貼り付け]

次の制約を守ってください。
ROC-AUCだけで運用時の適合率を保証せず、評価標本と対象集団の基準率差を示してください。
不足情報や矛盾は推測せず確認事項として示し、次の形式で出力してください。
基準率別の適合率・再現率、PR指標、校正、標本抽出補正の仮定
コピー操作はこのブラウザー内で行います

EXAMPLE

入力例と出力例

入力例(説明用)

評価標本で陽性率10%、本番対象では1%/抽出方法の重みは不明

出力例(説明用)

【説明用の合成例】
評価標本の適合率は本番基準率へ直接転用できない
対象集団の重みがないため本番PR性能は算出保留

TIPS

使うときのコツ

ROC-AUCだけで運用時の適合率を保証せず、評価標本と対象集団の基準率差を示してください。 不明点は推測せず、確認事項として分けてください。

使う前に確認してください

結論を原資料と照合し、因果関係や一般化を根拠なく断定しないでください。