AIF / ドメイン2 生成AIの基礎
マルチモーダルモデルと拡散モデル
は文章だけを扱うわけではありません。 AIF-C01では、複数の形式を扱うモデルと、画像生成に使われるの性質が問われます。
概要
モデルが扱えるデータの種類をと呼びます。 1種類だけを扱うモデルを単一モダリティ、複数を扱うモデルをと言います。
| モデルの種類 | 入力 | 出力 | 用途の例 |
|---|---|---|---|
| テキスト生成 | テキスト | テキスト | 要約、質問応答 |
| 画像生成 | テキスト | 画像 | 素材作成、意匠の検討 |
| マルチモーダル | テキストと画像など | テキストや画像 | 画像の説明、図表を含む文書の読み取り |
| テキストや画像 | 、 |
主要技術
①マルチモーダルモデル ⚠️ 頻出
テキストと画像を同時に理解できるため、次のような使い方ができます。
- 画像の内容を説明する文章を作る。
- 図表を含む書類を読み取って質問に答える。
- 商品写真から説明文を生成する。
⚠️ 頻出: 「画像を渡して内容について質問したい」という要件はモデルです。は既定のラベルを返す解析であり、自由な質問応答はできません。
②拡散モデル
は、画像生成で広く使われる方式です。 学習時にはノイズを段階的に加えていき、生成時にはその逆にノイズから徐々に画像を復元します。
| 特徴 | 内容 |
|---|---|
| 段階的な生成 | 複数の工程を経るため、生成に時間がかかります。 |
| による制御 | 文章で内容や画風を指定します。 |
| 追加の制御 | 元画像や領域指定を与えて部分的に描き替えられます。 |
⚠️ 頻出: テキスト生成より画像生成のほうが1回の生成にかかる時間と費用が大きくなりやすい点が判断材料になります。
③画像生成の主な使い方
| 機能 | 内容 |
|---|---|
| テキストからの生成 | 説明文から新しい画像を作ります。 |
| 画像からの生成 | 元画像を参考に別の画像を作ります。 |
| 部分的な描き替え | 指定した領域だけを差し替えます。 |
| 背景の除去や拡張 | 背景を消す、画像の外側を描き足します。 |
生成した画像には、AI生成であることを示す透かしを埋め込む仕組みが提供されている場合があります。 出所の明示は、の観点で重要です。
④モダリティ選択の注意点
| 要件 | 選ぶもの | 理由 |
|---|---|---|
| 画像から定型のラベルを得たい | 安価で応答が速く、結果が安定します。 | |
| 画像について自由に質問したい | の | 柔軟な応答が必要です。 |
| 帳票の項目を抽出したい | 構造を保った抽出に特化しています。 | |
| 新しい画像を作りたい | 画像 | 生成が必要です。 |
試験対策
①判断マトリクス
| 問題文のキーワード | 選ぶもの |
|---|---|
| 画像と文章を同時に入力したい | モデル |
| 文章から画像を作りたい | 画像 () |
| 画像の一部だけ差し替えたい | 画像生成モデルの描き替え機能 |
| 決まった分類ラベルだけ欲しい | |
| 生成物がAI由来だと示したい | 透かしなどの出所表示 |
②よくある誤答
- モデルを常に最適と考えること。定型の解析は専用サービスのほうが安く速いです。
- をテキスト生成の方式と考えること。主に画像生成で使われます。