AIF / ドメイン2 生成AIの基礎
コンテキストエンジニアリング
は、に渡す情報 (コンテキスト) を、必要なものだけ、必要なときに、適切な形でそろえる設計の考え方です。
AIF-C01では、基盤モデルを使うアプリケーションでのコンテキストエンジニアリングの役割が問われます。
概要
は、呼び出しのときに渡された情報だけを手がかりに答えます。
渡す情報が足りなければ推測で埋め ()、多すぎれば費用と遅延が増え、肝心の情報が埋もれます。
| 考え方 | 扱う範囲 |
|---|
| 1回の依頼の書き方 (指示、例、出力形式) を工夫します。 |
| 指示、検索結果、記憶、ツールの結果まで含めて、モデルへ何を渡すかを仕組みとして設計します。 |
試験では、「回答の質、費用、遅延をそろえて改善したい」ときに、渡す情報の選び方と量を見直す判断が問われます。
Point
- context は「文脈」です。モデルが答えるときに参照できる情報のすべてを指します。
- コンテキストウィンドウ は、モデルが1回の呼び出しで扱える入力と出力の量 (トークン数) の上限です。
- 和訳
主要技術
①コンテキストを構成する要素 ⚠️ 頻出
| 要素 | 内容 | 設計の判断ポイント |
|---|
| 指示 | 役割、方針、出力の形式です。 | 毎回同じ内容なので、短く明確にします。 |
| 検索した文書 | で取り出した社内文書の断片です。 | 関連の高い断片だけを渡します。 |
| 会話の履歴 | 直前までのやり取りです。 | 長くなったら要約します。 |
| 長期の記憶 | 利用者の好みや過去の事実です。 | 依頼に関係するものだけを取り出します。 |
| ツールの定義 | 使える機能の説明と引数です。 | ツールが多いときは、依頼に合うものだけを渡します。 |
| ツールの結果 | や検索の戻り値です。 | 必要な項目だけに絞ってから渡します。 |
⚠️ 頻出: 「とりあえず全部渡す」はコストと遅延を増やし、精度も下げることがあります。関連の高い情報を選んで渡すことが基本です。
②よく使う手法
| 手法 | 内容 | 効果 |
|---|
| (RAG) | 依頼に関係する文書だけを検索して渡します。 | 最新の社内知識を根拠にでき、を減らします。 |
| と | 文書を適切な大きさに分け、関連の高い順に並べ直します。 | 渡す量を抑えつつ、必要な情報を残します。 |
| 要約 | 長い会話や文書を要約してから渡します。 | を減らします。 |
| メモリーの選択的な取り出し | 長期の記憶から、依頼に関係する事実だけを取り出します。 | 個人に合った応答と量の抑制を両立します。 |
| ツールの絞り込み | 依頼に合うツールだけをモデルへ見せます。 | ツールの選び間違いと入力量を減らします。 |
| 毎回同じ前半部分 (指示や長い文書) を再利用します。 | 対応するモデルで、遅延と入力の費用を抑えます。 |
③コンテキストが不適切なときの症状
| 症状 | 主な原因 | 見直す点 |
|---|
| 事実と違う回答 | 根拠となる情報が渡っていません。 | の検索結果、データの鮮度 |
| 指示を無視する | 指示が大量の文書に埋もれています。 | 渡す文書の量、指示の位置と簡潔さ |
| 毎回同じ質問を聞き返す | 会話の履歴や記憶が渡っていません。 | メモリーの設計 |
| 費用と遅延が大きい | 不要な情報まで渡しています。 | 要約、絞り込み、 |
| 別の利用者の情報が出る | 記憶や検索の範囲が分かれていません。 | 利用者ごとの分離とアクセス制御 |
④トークンと費用への影響
の料金は、多くの場合、入力と出力ので決まります。
コンテキストを増やすほど入力トークンが増え、費用と応答時間が伸びます。
| 対策 | 効果 |
|---|
| 渡す文書を絞る | 入力トークンを減らします。 |
| 履歴を要約する | 会話が長くなっても入力量を一定に保ちます。 |
| 共通部分をする | 同じ前半部分の処理を省きます。 |
| 出力の長さを指定する | 出力トークンを抑えます。 |
⑤AWSの関連機能
| 目的 | 関連する機能 |
|---|
| 社内文書を根拠に渡す | |
| 会話と長期の記憶を管理する | |
| 多数のツールから依頼に合うものを探す | のによるツール選択 |
| 共通部分の再処理を省く | の |
| 指示の版を管理する | |
試験対策
①判断マトリクス
| 問題文のキーワード | 優先して考えること |
|---|
| 回答が社内の最新情報を反映しない | で根拠となる文書を渡します。 |
| 会話が長くなると費用と遅延が増える | 履歴の要約、渡す量の削減 |
| 同じ長い指示や文書を毎回送っている | |
| ツールが多く、選び間違える | 依頼に合うツールだけを渡します。 |
| 前回の会話を覚えていない | 短期・長期のメモリー |
| の書き方を工夫しても改善しない | 渡している情報そのもの (コンテキスト) を見直します。 |
②よくある誤答
- が大きいモデルなら、何でも渡せばよいと考えること。費用と遅延が増え、重要な情報が埋もれます。
- をモデルのと考えること。モデルの重みは変えず、渡す情報を設計します。
- 記憶や検索の範囲を利用者ごとに分けないこと。情報漏えいの原因になります。
参考文献
- ※1出題比率: AWS 公式の試験ガイドに記載された、採点対象の設問のうちその分野が占める割合です。