AIF / ドメイン3 基盤モデルの応用
埋め込みとベクトル表現
は、意味を数値で表す仕組みです。 (RAG) やの土台になるため、AIF-C01のドメイン3で繰り返し登場します。
概要
は、文章や画像を固定長の (数値の並び) へ変換します。 意味が近い内容は、ベクトル空間でも近い位置に置かれます。
キーワード検索では「解約」と「退会」は一致しませんが、では意味が近いため見つけられます。
主要技術
①生成モデルと埋め込みモデルの違い ⚠️ 頻出
| 観点 | ||
|---|---|---|
| 出力 | 文章や画像 | 数値の |
| 用途 | 生成、要約、質問応答 | 、分類、、 |
| 費用 | も課金されます。 | 入力量に応じた課金です。 |
⚠️ 頻出: 検索用のベクトルを作る場面で生成モデルを選ぶのは誤りです。専用のモデルを使います。
②類似度の測り方
同士の近さは距離や角度で測ります。
| 方法 | 内容 |
|---|---|
| コサイン類似度 | ベクトルの向きの近さを測ります。文章のでよく使われます。 |
| ユークリッド距離 | 空間上の直線距離を測ります。 |
| 内積 | 向きと大きさを合わせて評価します。 |
③埋め込みを使う流れ
| 工程 | 注意点 |
|---|---|
| 分割 | 大きすぎると焦点がぼやけ、小さすぎると文脈が切れます。 |
| 変換 | 検索側と保存側で同じを使います。 |
| 保存 | へ格納します。 |
| 検索 | 類似度の高い上位いくつかを取り出します。 |
⚠️ 頻出: 文書側と質問側で違う埋め込みモデルを使うと検索が成り立ちません。モデルを変えたら再度埋め込みを作り直します。
④埋め込みの他の使い道
| 用途 | 内容 |
|---|---|
| 言い換えを含めて関連文書を探します。 | |
| 分類 | をとして分類器へ入れます。 |
| 似た文書をまとめます。 | |
| 重複検出 | ほぼ同じ内容の文書を見つけます。 |
| 似た項目を提示します。 |
試験対策
①判断マトリクス
| 問題文のキーワード | 判断 |
|---|---|
| 言い方が違っても意味で探したい | による |
| 検索用にテキストを数値化したい | |
| を保存して高速に探したい | |
| 文書を入れ替えた | 埋め込みの再作成が必要です。 |
| 完全一致の語句で探したい | キーワード検索で足ります。 |
②よくある誤答
- で文章を生成できると考えること。
- を作れば検索精度が自動的に上がると考えること。設計が効きます。
- 埋め込みモデルの変更を無害と考えること。既存のとの互換性が失われます。