AIF / ドメイン3 基盤モデルの応用
重要な内容
基盤モデルの評価
の出力には唯一の正解がないため、評価の方法も分類やとは変わります。 AIF-C01では、評価の指標と手法、そして業務目標との結び付けが問われます。
概要
の評価は、機械的な指標とを組み合わせます。
自動評価は速く安く繰り返せますが、意味の妥当性や安全性は測りきれません。 人間による評価は精度が高い一方で、費用と時間がかかります。
主要技術
①自動評価の指標 ⚠️ 頻出
| 指標 | 主な対象 | 内容 |
|---|---|---|
| 要約 | 参照要約と生成文の語句の重なりを測ります。 | |
| 翻訳 | 参照訳との一致度を測ります。 | |
| 文章全般 | を使って意味の近さを測ります。 | |
| パープレキシティ | 言語モデル | 次の語をどれだけ迷わず予測できるかを表します。 |
| 文章全般 | 審査役のモデルが、決めた観点で出力を採点します。意味の正しさや有用性を大量に測れます。 |
⚠️ 頻出: 要約ならROUGE、翻訳ならBLEU、語句が違っても意味が近ければ高く評価したいならBERTScoreです。正解の文章がなくても、正確さや有用性を観点に採点したいならLLM-as-a-judgeです。
ROUGE、BLEU、BERTScoreは、どれも入力ごとに参照の文章 (模範の要約や訳) と比べる指標です。 ROUGEは参照側の語句をどれだけ取りこぼさずに含めたか (寄り)、BLEUは生成側の語句がどれだけ参照にもあるか (寄り) を見ます。 パープレキシティは参照の文章を使わず、分野の文章にモデルがどれだけ慣れているかを見るときに使います。 に分類をさせる場合は、正解のラベルと比べるなどの分類の指標で評価します。
Point
- ROUGE = Recall-Oriented Understudy for Gisting Evaluation の略で、要約 (gist) の評価に使います。
- BLEU = Bilingual Evaluation Understudy の略で、bilingual (2言語) つまり翻訳の評価に使います。
- 覚え方: ROUGE は要約、BLEU は翻訳 (Bilingual) です。
②ベンチマークデータセット
公開された共通の課題集で複数モデルを比べます。 一般的な能力の比較には有効ですが、自社の業務での性能を保証するものではありません。
| 観点 | 内容 |
|---|---|
| 利点 | 同じ条件で複数モデルを比べられます。 |
| 限界 | 自社の入力の傾向とは異なります。 |
| 使い方 | 候補を絞る一次選抜に使い、最終判断は自社データで行います。 |
自社の評価用データセットは、本番で想定される入力 (よくある質問と、難しい例外) を代表させ、の調整や学習に使ったデータとは分けておきます。
③人間による評価 ⚠️ 頻出
| 観点 | 内容 |
|---|---|
| 評価する項目 | 有用性、正確性、網羅性、文体、安全性、指示への追従 |
| 方法 | 単独採点、2つの出力の比較、複数評価者の一致度の確認 |
| 注意点 | 評価基準 (観点と尺度) を明文化し、評価者間のばらつきを抑えます。どのモデルの出力かは評価者に伏せます。 |
| 費用 | 自動評価より高くなります。 |
⚠️ 頻出: 安全性、文体の適切さ、微妙な事実性の判断は自動指標だけでは測れないため、が必要です。
④Amazon Bedrockのモデル評価
には評価の機能が組み込まれています。
| 種類 | 内容 |
|---|---|
| 自動評価 | 用意したデータセットで指標を計算します。 |
| 自社の評価者や提供される作業者で採点します。 | |
| 判定モデルによる評価 () | 別のモデルを審査役として使い、正確さや有用性などの観点で出力を採点します。 |
| の評価 | 検索の妥当性と回答の根拠性を確認します。 |
- 自動評価は、タスクの種類 (一般的な文章生成、要約、質問応答、分類) ごとに、正確さ、頑健性、有害性の観点で指標を計算します。頑健性は、表記ゆれや誤字のような小さな変化を入力に加えても、出力がどれだけ変わらずに済むかを表します。データセットは組み込みのものか、自社で用意したものを使います。
- 人間による評価では、自社の評価者で作業チームを作り、モデルの回答を採点したり、2つのモデルの回答を比べたりします。
- 判定モデルによる評価には、正確さ、網羅性、忠実性、有用性、論理の一貫性、指示への追従、文体、有害性、固定観念、回答の拒否などの組み込みの指標があります。自社の基準を採点させる独自の指標も定義できます。
- Bedrockの外で動かしたモデルの回答をデータセットに入れて持ち込み、同じ方法で評価することもできます。
⚠️ 頻出: 「複数のモデルを同じ条件で比較したい」ならBedrockのモデル評価を使います。
⑤業務目標との結び付け ⚠️ 頻出
モデルの指標が改善しても、業務が改善しなければ意味がありません。
| 業務の観点 | 測る指標の例 |
|---|---|
| 生産性 | 1件あたりの処理時間、担当者が扱える件数 |
| 利用者の関与 | 利用回数、継続率、満足度 |
| タスクの達成 | 自動で完了できた割合、人手の介入率 |
| コスト | 1件あたりの費用、削減できた工数 |
| 品質 | 誤りの発生率、修正の回数 |
⚠️ 頻出: 指標が良いのに業務が改善しない場合は、評価に使った条件が実際の利用と違う可能性を疑います。
試験対策
①判断マトリクス
| 問題文のキーワード | 選ぶ評価方法 |
|---|---|
| 要約の品質を数値で測りたい | |
| 翻訳の品質を数値で測りたい | |
| 言い換えを許して意味の近さを測りたい | |
| 安全性や適切さを判断したい | |
| 複数モデルを同条件で比べたい | のモデル評価 |
| 導入の価値を経営へ説明したい | 業務指標 |
| の回答が根拠に基づくか確かめたい | RAGの評価 |
| 正確さや有用性を審査役のモデルに採点させたい |
②よくある誤答
- 生成タスクの評価にを使うこと。生成には専用の指標を使います。
- の結果を自社での性能保証と考えること。自社データでの評価が必要です。
- 自動評価だけで安全性を確認したと考えること。が必要です。