ハルシネーションの検出とグラウンディング

AIF / ドメイン5 AIソリューションのセキュリティ、コンプライアンス、ガバナンス

は、が事実と異なる内容や根拠のない内容を、もっともらしく出力してしまう現象です。 AIF-C01では、出力の正確さを高めるための検出の方法と、根拠に基づかせる手法 (による、出力の検証、) が問われます。

概要

は、モデルの仕組み上、完全にはなくせません。そのため、「根拠を与えて起きにくくする」「出力を検査して見つける」「確信の低いものは人へ回す」を重ねて対策します。

試験では、要件に合わせて「どの段階の対策を選ぶか」を判断します。

Point

モデルの学習済みの知識だけに頼らず、検索した社内文書を根拠として渡して答えさせます。

⚠️ 頻出: 「社内の正しい情報に基づいて答えさせ、根拠も示したい」ならです。は回答に出典を付けられます。

には、参照の情報と質問を使って、回答のを検出して除外する機能があります。

観点	確かめること	低いスコアになる例
	回答が参照の情報に基づいていて、事実として正しいか	参照の情報にない内容を付け加えた回答
関連性	回答が利用者の質問に答えているか	参照の情報には合っているが、質問と関係のない回答

設定	内容
	回答ごとに、グラウンディングと関連性のスコアが計算されます。
しきい値	スコアがしきい値を下回る回答をハルシネーションとして遮ります。しきい値を上げるほど厳しくなります。
必要なもの	参照の情報、質問、検査する回答の3つです。
向く用途	要約、言い換え、質問応答です。

⚠️ 頻出: しきい値を上げすぎると、正しい回答まで遮ります。誤りを通すリスクと、正しい回答を遮るリスクのバランスで決めます。

規則が複雑で、誤りが法令や契約の問題になる業務 (人事、金融、保険の適格性など) では、より厳密な検証が必要です。は、社内規程などの文書から論理の規則を作り、回答が規則と矛盾しないかを数学的な手法で検証します。

観点		自動推論による確認
照らし合わせる相手	呼び出しのときに渡した参照の情報	事前に文書から作った規則 (ポリシー)
結果	スコアとしきい値で遮ります。	正しい、誤っている、前提が足りない、などの判定と理由を返します。
向く場面	や要約の回答の確認	規程に沿った判断の説明が必要な業務

自動推論による確認は、内容を遮るのではなく、判定と理由を返します。対応する言語は、現在は英語 (米国) だけです。日本語の規程と回答には使えないことに注意します。アプリケーションは、その結果を見て、回答を返すか、直させるか、利用者に確認するかを決めます。

仕組み	内容
	回答がどれだけ確かかを数値で表し、しきい値で扱いを分けます。
低い信頼度の扱い	自動で使わず、人の確認へ回します。または「分かりません」と答えさせます。
人の確認の流れ	確度の低い出力を担当者の確認待ちに回し、確認後に使います。 (A2I) はこの流れを作るサービスですが、新規の利用者は受け付けていません。
利用者の評価	誤りの報告を集め、改善に使います。

⚠️ 頻出: 誤りの影響が大きい業務では、信頼度の低い出力を人の確認へ回す設計が正解になります。

方法	効果
を下げる	出力のばらつきを抑えます。ただし、根拠がなければ誤りは残ります。
明確な指示	「文書にない場合は分からないと答える」と指示します。
用途に合うモデル	用途で評価したモデルを選びます。
評価の継続	本番の回答を継続して評価し、誤りの傾向を見つけます。