AIF / ドメイン2 生成AIの基礎
重要な内容
基盤モデルとトランスフォーマー
はの中心にある部品です。 AIF-C01では、基盤モデルが従来のモデルとどう違うか、どういう手順で作られ使われるかを問われます。
概要
(FM) は、大量の多様なデータでされた大規模で汎用的なモデルです。 1つのモデルで要約、分類、翻訳、質問応答、生成など多くのタスクに対応できます。
従来は、タスクごとにを集めて専用モデルを学習させていました。 基盤モデルでは、1つの汎用モデルをや少量のデータで目的へ寄せます。
| 観点 | タスク専用モデル | 基盤モデル |
|---|---|---|
| 用意するデータ | タスクごとのラベル付きデータ | 既製モデルをそのまま使えます。 |
| 対応できるタスク | 学習した1つのタスク | 多数のタスク |
| 立ち上がりの速さ | 学習が必要で遅くなります。 | プロンプトを書けばすぐ試せます。 |
| 出力の安定性 | 決まった形の出力です。 | 揺れがあり、制御の工夫が必要です。 |
主要技術
①トランスフォーマーと自己注意
現在のの多くは、という構造を使っています。 文の中でどの語がどの語に関係するかを重み付けするの仕組みにより、長い文脈の関係を捉えられます。
| 要素 | 役割 |
|---|---|
| 入力を扱える単位へ刻みます。 | |
| トークンを意味を持つへ変換します。 | |
| 自己注意 | どの語に注目するかを重みで決めます。 |
| 次トークンの予測 | 次に来る単位を確率的に選びます。 |
生成が確率的である理由はこの最後の段にあります。 同じでも毎回同じ出力になるとは限りません。
Point
- transformer は「変換するもの」という意味の語で、入力の並びを別の並びへ変換する構造を指します。
- LLM = Large Language Model（大規模言語モデル） はトランスフォーマーを用いた大規模モデルの代表例です。
- 和訳
- transform: 変形させる、変換する
- Weblio英和辞書「transform」
②基盤モデルのライフサイクル ⚠️ 頻出
を業務で使うまでには次の流れをたどります。 試験では、この各段階の名前と目的が問われます。
| 段階 | 内容 | 誰が行うか |
|---|---|---|
| データの選定 | 学習に使うデータを決めます。 | はモデル提供者が行います。 |
| モデルの選定 | 用途、コスト、性能から使うモデルを選びます。 | 利用者が行います。 |
| 事前学習 | 大量データから汎用的な言語や画像の性質を学びます。 | 非常に高コストで、通常は提供者が行います。 |
| 少量の自社データで目的へ寄せます。 | 利用者が必要に応じて行います。 | |
| 評価 | 指標と人間の判断で品質を確かめます。 | 利用者が行います。 |
| デプロイ | アプリケーションから呼べる形にします。 | 利用者が行います。 |
| フィードバック | 利用実績を集め、改善へ回します。 | 利用者が行います。 |
データの選定では、量だけでなく、品質、重複、権利 (著作権や利用許諾)、の有無を確かめて、学習に使うデータを選び分けます。 評価はデプロイの前に行う関門で、基準を満たさないモデルは調整へ戻します。 デプロイ後は、利用者の評価や誤答の記録をフィードバックとして集め、次の調整や評価のデータに使います。
⚠️ 頻出: 事前学習を自分で行う選択肢は、コストと必要データの規模から現実的ではありません。特別な理由が明示されない限り、既存モデルの利用か調整を選びます。
③モデルの規模と特性
| 観点 | 大きなモデル | 小さなモデル |
|---|---|---|
| 精度と汎用性 | 高くなります。 | 限定的です。 |
| 応答の速さ | 遅くなります。 | 速くなります。 |
| コスト | 高くなります。 | 安くなります。 |
| 向く用途 | 複雑な、長文の理解 | 定型的な分類、短い応答、大量処理 |
⚠️ 頻出: 「低遅延で大量のリクエストを安く処理したい」なら小さなモデル、「複雑な指示を正確にこなしたい」なら大きなモデルという判断になります。
④主なモデルの種類
| 種類 | 扱うもの | 用途の例 |
|---|---|---|
| テキスト | 文章 | 要約、質問応答、下書き作成 |
| 文章や画像の化 | 、 | |
| 画像生成モデル | 画像 | 素材生成、意匠の検討 |
| モデル | 文章と画像などの組み合わせ | 画像の説明、図表を含む文書の理解 |
では、これらのモデルを複数の提供者から選んで同じで利用できます。
試験対策
①判断マトリクス
| 問題文のキーワード | 判断 |
|---|---|
| 1つのモデルで複数の業務に対応したい | を使います。 |
| 大量の未ラベルデータから汎用の言語能力を得る | の説明です。 |
| 少量の自社データで専門用途へ寄せる | です。 |
| 応答が毎回少し違う | を確率的に選ぶためです。 |
| 低コストで高速な応答が必要 | 小さなモデルを選びます。 |
| のための化 | を選びます。 |
②よくある誤答
- を使うには必ず学習が必要と考えること。多くの場合は利用で足ります。
- との混同。規模とコストが大きく違います。
- 大きなモデルを常に最適と考えること。遅延とコストの要件で小さなモデルが勝つ場面があります。