生成AIの利点と限界

は万能ではありません。 AIF-C01では、業務課題に対して生成AIの利点が効くのか、限界が問題になるのかを判断させる問題が出ます。

概要

の利点と限界は表裏です。自由に応答できる柔軟さは、同時に出力が揺れて誤りが混ざる原因にもなります。

利点	内容
適応性	1つのモデルで多くのタスクに対応できます。
応答性	依頼にその場で応答し、学習を待たずを変えるだけで挙動を変えられます。
単純さ	専用モデルの開発と運用が不要になります。
立ち上がりの速さ	を呼ぶだけで試作できます。
会話能力	言い回しの違う自由な質問を理解し、前のやり取りを踏まえて追加の質問にも答えられます。
コンテンツ生成能力	文章、画像、コードなどの新しい内容を短時間で大量に作れます。
創造性	新しい表現や案を作り出せます。

主要技術

①ハルシネーション ⚠️ 頻出

は、モデルが事実でない内容を自信のある書き方で出力することです。モデルは次に来る言葉の確率を選んでいるだけで、事実の照合はしていないため起こります。

対策	効果
で根拠文書を渡す	回答を手元の文書に基づかせます。
出典の提示を求める	検証できる形にします。
を下げる	出力の揺れを抑えます。
を設ける	望まない出力を遮ります。
人間による確認を挟む	影響の大きい判断で誤りを止めます。

⚠️ 頻出: 「事実と異なる回答が返る」という記述はハルシネーションです。第一の対策はRAGによる根拠付けです。

検出の方法 (、、) は、「ハルシネーションの検出と」の章で扱います。

Point

hallucination = 幻覚 です。hallucinate は「幻を見る」 という動詞です。
モデルは知らないことを「知らない」と言わずに埋めてしまう性質があると覚えます。
和訳
- hallucination: 幻覚、幻想
- Weblio英和辞書「hallucination」

②非決定性

同じでも出力が毎回変わります。これは次のトークンを確率的に選ぶ仕組みによるものです。

影響	対応
検証が難しい	評価用のデータセットを用意し、複数回の出力で判断します。
業務手順に組み込みにくい	出力形式を指定し、後段で検証します。
再現性がない	を下げ、必要なら決定的な処理へ切り替えます。

⚠️ 頻出: 「毎回同じ結果でなければならない」という要件はに向きません。

③解釈性の低さ

なぜその出力になったのかを内部から説明することが困難です。規制上の説明責任が必要な判断では、この点が障害になります。

観点	対応
根拠の提示	で参照文書を示し、出典を回答へ含めます。
文書化	用途、制約、評価結果をとして残します。
説明可能な代替	判断の理由が必須なら、説明しやすいモデルや規則ベースを検討します。

④知識の鮮度と範囲

モデルは学習した時点までの知識しか持ちません。最新情報や社内固有の情報は、外部から与える必要があります。

与え方	特徴
へ直接書く	少量の情報に向きます。
	大量の文書を検索して渡します。更新が容易です。
	文体や様式を寄せるのに向きます。頻繁な更新には不向きです。

⚠️ 頻出: 頻繁に更新される情報を反映する手段はRAGです。ファインチューニングでは更新のたびに学習が必要になります。

⑤不正確さ (計算と正確な値)

は言葉の並びを確率で予測しており、計算機やデータベースのように値を正確に扱う仕組みではありません。そのため、合計金額の計算の誤り、桁や単位の取り違え、在庫数や料金を推測で答える、といった不正確さが起こります。

場面	対応
金額や数量の計算	計算はプログラムなどの決定的な処理で行い、モデルには結果の説明を書かせます。
在庫や料金など、日々変わる正確な値	モデルに推測させず、エージェントのツールとしてやデータベースを呼び出して正しい値を取得します。
出力の値の確認	規則や情報源と照合して検証します (「の検出と」の章)。

⚠️ 頻出: 「正確な値が必要」な部分は、に作らせず、決定的な処理や情報源から取ってきます。

⑥その他の限界と留意点

限界	内容
コスト	で課金され、利用量に比例して増えます。
遅延	大きなモデルや長い出力では応答が遅くなります。
	の偏りが出力へ現れます。
安全性	有害な内容や機密情報の混入を防ぐ仕組みが必要です。
著作権と	生成物の権利や学習データの扱いに注意が必要です。
入力の保護	機密情報をへ入れる範囲を運用で決めます。

⑦生成AIを使わない判断 ⚠️ 頻出

利点が効かず、限界がそのまま業務の障害になる場面では、を使わない (または補助に限る) のが正しい判断です。

業務の要件	問題になる限界	選ぶもの
同じ入力に毎回同じ結果を返すことが必須 (監査、再計算)		規則やプログラムによる決定的な処理
判断の理由を本人や規制当局へ説明する義務がある (融資の可否など)	解釈可能性の低さ	説明しやすいモデルや規則ベースで判定し、生成AIは通知文の下書きなどに限ります
金額や数量を1円の誤りもなく計算する	不正確さ	決定的な計算処理
ミリ秒単位で動作を決める制御 (設備の非常停止など)	遅延と非決定性	規則に基づく制御
定型の分析を大量に安く行う (感情分析、文字起こし)	コスト	用途に特化したAIサービス (、など)

生成AIを使う場合でも、影響の大きい判断は人間が確認してから確定します。

試験対策

①判断マトリクス

問題文のキーワード	判断	対策
事実でない回答が混ざる		、出典提示、人間の確認
毎回異なる出力になる		を下げる、出力形式を固定する
判断の根拠を示す必要がある	解釈性の低さ	根拠文書の提示、説明可能な代替
最新の社内情報を反映したい	知識の鮮度	RAG
計算や在庫数などの値を誤る	不正確さ	決定的な処理、やデータベースから値を取得
説明責任があり、毎回同じ判定が必要	解釈可能性、非決定性	を使わず規則や説明しやすいモデル
出力が特定の属性に偏る		データの見直し、評価と監視
有害な出力を止めたい	安全性

②よくある誤答

の対策としてを第一に選ぶこと。根拠を与えるが基本です。
を0に近づければ誤りがなくなると考えること。揺れは減りますが誤りの内容は消えません。
の限界を運用で補えないと考えること。人間の確認とで扱える範囲を作るのが実務です。