AIF / ドメイン1 AIとMLの基礎
重要な内容
モデル評価指標とビジネス指標
モデルの良し悪しは1つの数字では決まりません。 AIF-C01では、要件に合った評価指標を選べること、そしてモデルの指標と業務の指標を区別できることが問われます。
概要
評価指標は2階層で考えます。
モデルの指標はモデルの性能そのもの、ビジネスの指標は導入の価値を測ります。 試験では「モデルの精度は上がったが売上が変わらない」という状況で、ビジネス指標を基準に判断させる問題が出ます。
主要技術
①混同行列と分類の指標 ⚠️ 頻出
の結果は、実際と予測の組み合わせで4つに分かれます。
| 予測: 陽性 | 予測: 陰性 | |
|---|---|---|
| 実際: 陽性 | 真陽性 (TP) | 偽陰性 (FN) |
| 実際: 陰性 | 偽陽性 (FP) | 真陰性 (TN) |
ここから主要な指標を求めます。
| 指標 | 求め方 | 意味 | 重視する場面 |
|---|---|---|---|
| (accuracy) | (TP+TN) / 全件 | 全体で当たった割合です。 | 陽性と陰性の件数が釣り合っている場面 |
| (precision) | TP / (TP+FP) | 陽性と判定したものの正しさです。 | 誤検知の対応コストが高い場面 |
| (recall) | TP / (TP+FN) | 実際の陽性を取りこぼさない度合いです。 | 見逃しが致命的な場面 |
| 適合率と再現率の調和平均 | 両者の釣り合いです。 | 不均衡データで総合的に見る場面 |
⚠️ 頻出: 陽性が全体の1パーセントしかないデータでは、すべて陰性と答えるだけで正解率99パーセントになります。不均衡データでは正解率を主指標にしません。
Point
- precision = 適合率 は「選んだものが当たっていたか」、recall = 再現率 は「当てるべきものを拾えたか」です。
- 覚え方
- 見逃し (取りこぼし) を嫌う → recall
- 誤検知 (空振り) を嫌う → precision
- 和訳
- recall: 思い出す、呼び戻す
- Weblio英和辞書「recall」
②AUCとROC曲線
は、陽性と判定するしきい値を動かせます。 しきい値を変えながら真陽性率と偽陽性率の関係を描いた曲線がで、その下の面積がAUCです。
| AUCの値 | 意味 |
|---|---|
| 0.5 | でたらめと同じです。 |
| 0.7から0.8 | ある程度の識別力があります。 |
| 0.9以上 | 高い識別力があります。 |
AUCはしきい値に依存しないため、モデル同士の比較に向きます。
⚠️ 頻出: 「しきい値を決める前にモデルの識別力を比べたい」ならAUCを使います。
③回帰の指標
| 指標 | 内容 | 特徴 |
|---|---|---|
| 誤差の絶対値の平均です。 | 単位が元の値と同じで解釈しやすいです。 | |
| MSE | 誤差の二乗の平均です。 | 大きな外れを強く罰します。 |
| MSEの平方根です。 | 単位が元に戻り、に敏感です。 | |
| MAPE | 誤差の割合の平均です。 | 規模の異なる対象を比べやすいです。 |
⚠️ 頻出: 大きな外れを特に避けたいならRMSE、外れ値の影響を抑えたいならMAEを選びます。
④生成AIの評価指標
は正解が1つに定まらないため、分類やとは別の指標を使います。
| 指標 | 対象 | 内容 |
|---|---|---|
| 要約 | 参照要約とどれだけ語句が重なるかを測ります。 | |
| 翻訳 | 参照訳との一致度を測ります。 | |
| 文章全般 | を使って意味の近さを測ります。 | |
| 文章全般 | 有用性、正確性、安全性を人が採点します。 |
⚠️ 頻出: 要約ならROUGE、翻訳ならBLEU、意味の近さならBERTScoreと結び付けます。
⑤ビジネス指標
導入の判断は最終的に業務の数字で行います。
| 指標 | 内容 |
|---|---|
| 利用者あたりのコスト | 費用を利用量で割った値です。 |
| 開発コスト | 実験、学習、統合にかかった費用です。 |
| 投資収益率 | 得られた効果を投資額で割った値です。 |
| コンバージョン率 | 提案が成果へつながった割合です。 |
| 利用者あたりの平均収益 | 収益を利用者数で割った値です。 |
| 顧客生涯価値 | 1人の顧客から得られる長期の収益です。 |
| 顧客満足度 | 問い合わせ評価などの主観指標です。 |
| 効率 | 処理時間や人手の削減量です。 |
では、複数の業務領域でどれだけ通用するかを見る領域横断の性能も判断材料になります。
試験対策
①判断マトリクス
| 問題文のキーワード | 選ぶ指標 | 理由 |
|---|---|---|
| 不正取引の見逃しを避けたい | 取りこぼしを最小にします。 | |
| 誤検知による確認作業を減らしたい | 空振りを減らします。 | |
| 陽性がごく少ない不均衡データ | 、 | は当てになりません。 |
| しきい値に依らずモデルを比較 | AUC | しきい値非依存の指標です。 |
| 売上金額の予測誤差 | 、 | の指標です。 |
| 要約の品質 | 要約向けの指標です。 | |
| 翻訳の品質 | 翻訳向けの指標です。 | |
| 導入の価値を経営へ説明 | 投資収益率などの業務指標 | モデルの指標では価値を示せません。 |
②よくある誤答
- 不均衡データでを主指標にすること。
- の品質を正解率で測ること。生成タスクには専用の指標と人間評価を使います。
- モデル指標の改善をそのまま導入効果として報告すること。業務指標で裏を取ります。