AIF / ドメイン3 基盤モデルの応用
重要な内容
基盤モデルの選定基準
のアプリを作るときは、どのを使うかを決める必要があります。 AIF-C01では、要件からモデル選定の判断軸を選ぶ問題が出ます。
概要
モデル選定は、精度だけでは決まりません。 次の観点を要件と照らして絞り込みます。
| 観点 | 見るポイント |
|---|---|
| テキストのみか、画像や音声も扱うか。 | |
| 遅延 | 応答までの許容時間。会話型は短い応答が必要です。 |
| コスト | トークン単価と想定利用量。 |
| モデルの大きさと複雑さ | 精度と速度、費用の釣り合い。 |
| 入出力の長さ | と最大出力。 |
| 多言語対応 | 日本語などの対応品質。 |
| カスタマイズ | やに対応するか。 |
| 制約と | 提供、利用条件、ライセンス。 |
主要技術
①モダリティと入出力の長さ ⚠️ 頻出
| 要件 | 選ぶモデル |
|---|---|
| 文章の生成と要約 | テキスト |
| 画像を入力して質問する | モデル |
| 画像を作る | 画像生成モデル |
| のための化 | |
| 数百ページの文書をまとめて渡す | の大きなモデル |
⚠️ 頻出: 長い文書をそのまま扱う要件では、コンテキストウィンドウの大きさが選定の決め手になります。分割して検索する構成 () と併せて検討します。
②遅延とコストのトレードオフ ⚠️ 頻出
| 要件 | 判断 |
|---|---|
| 対話型で即時の応答が必要 | 小さめのモデルを選び、出力長を制限します。 |
| 夜間の一括処理 | 大きなモデルとを選べます。 |
| 大量の分類処理 | 小さなモデルで単価を抑えます。 |
| 複雑なが必要な少数の依頼 | 大きなモデルを選びます。 |
用途によってモデルを使い分ける設計 (ルーティング) が、品質とコストの両立に有効です。
| 遅延とコストを下げる機能 | 内容 |
|---|---|
| 長い指示や文書など、毎回同じ前半部分を再利用します。対応しているモデルかどうかが選定の観点になります。 | |
| 大きなモデルの精度を、特定の用途で小さなモデルへ移します。 |
③カスタマイズの可否と方法
モデルによって、やに対応しているかが異なります。 自社データで調整する予定があるなら、選定の段階で対応状況を確認します。
| 目的 | 必要な対応 |
|---|---|
| 出力の様式を安定させたい | ファインチューニング対応のモデル |
| 専門用語を根本から寄せたい | 継続的事前学習に対応するモデル |
| 社内情報を反映したい | 特別な対応は不要 (で足ります) |
④性能の確かめ方
公開されているだけで決めず、自社の代表的な入力で比べます。
| 方法 | 内容 |
|---|---|
| 自動評価 | 用意した正解付きデータで指標を計算します。 |
| 有用性、正確性、安全性を採点します。 | |
| 業務指標での検証 | 実際の業務でどれだけ効果が出たかを測ります。 |
のモデル評価機能では、自動評価と人間による評価の両方を実行できます。
⚠️ 頻出: 「複数モデルを同じ条件で比べたい」ならBedrockのモデル評価を使います。
⑤運用面の制約
| 観点 | 内容 |
|---|---|
| 提供 | 必要なリージョンで使えるかを確認します。 |
| 割り当てと制限 | 1分あたりの呼び出し数やの上限があります。 |
| 可用性 | 複数リージョン構成にするかを決めます。 |
| 利用条件 | 出力の利用範囲やライセンスを確認します。 |
| 環境への負荷 | 要件を満たす最小のモデルを選ぶと、計算資源と電力の消費を抑えられます。 |
試験対策
①判断マトリクス
| 問題文のキーワード | 重視する観点 |
|---|---|
| 会話型で待たせたくない | 遅延 (小さいモデル) |
| 大量処理で費用を抑えたい | コスト (小さいモデル、バッチ) |
| 画像も入力したい | () |
| 長大な契約書を丸ごと渡したい | |
| 日本語の品質が重要 | 多言語対応 |
| 出力の書式を毎回揃えたい | カスタマイズ対応 () |
| 複数モデルを公平に比べたい | のモデル評価 |
| 同じ長い文書へ繰り返し質問する | への対応 |
| 環境への配慮と持続可能性を重視したい | 要件を満たす小さなモデル、 |
②よくある誤答
- 最も大きなモデルを常に選ぶこと。遅延とコストの要件に反します。
- の数値だけで決めること。自社データでの評価が必要です。
- 社内知識の反映を理由にカスタマイズ対応モデルを必須と考えること。で足ります。