学習データの準備とRLHF

モデルをカスタマイズするときは、の作り方が結果を左右します。 AIF-C01では、データの、、、そしての位置づけが問われます。

概要

の準備は、集めるだけでは終わりません。何を入れて何を除くかを決め、品質と偏りを確認し、扱いの規則を定めます。

観点	内容
量	少なすぎると学習できず、偏った大量データは偏りを強めます。
	実際に扱う場面の分布を写している必要があります。
多様性	想定される利用者層や条件を幅広く含めます。
均衡	クラスごとの件数の偏りが大きいと、少数側の精度が落ちます。

⚠️ 頻出: 特定の属性で精度が落ちる問題の原因は、その属性のデータが不足していることです。量を増やすだけでなく、不足している側を増やします。

観点	内容
基準の明文化	判断基準を文書化し、作業者間のばらつきを抑えます。
複数人での確認	同じデータを複数人が判定し、一致度を測ります。
監査	抜き取りで品質を確認します。
道具	Ground Truthで作業と品質を管理できます。ただし、Ground Truthは2026年7月30日に新規の利用者の受付を終えたため、新しく始めるなら担当者や委託先 (の事業者など) に注釈を任せ、上の基準と一致度で品質を管理します。

観点	内容
権利の確認	使用してよいデータかを確認します。著作権や契約の制約を見ます。
来歴 (データリネージ)	どこから来たデータかを記録します。
保管場所	法令上の所在地の要件を満たす場所へ置きます。
保持期間	いつまで保持し、いつ削除するかを決めます。
アクセス制御	誰が読める、書けるかをで制御します。
記録	追加や変更の履歴を残します。

⚠️ 頻出: の出所を記録することは、との両面で必要です。

人間のフィードバックによる () は、人が出力を評価し、その評価を報酬としてモデルを人の好みへ寄せる手法です。

観点	内容
目的	有用性、無害性、指示への追従を高めます。
データ	出力の良し悪しに関する人間の判断です。
報酬モデル	人が複数の応答を比べて付けた順位から、応答の良さを点数で予測するモデルを作ります。これで大量の応答を自動で採点し、モデルを更新します。
位置づけ	を提供者が調整する段階で広く使われます。
関連する仕組み	人間の確認を業務へ組み込む仕組みとして (A2I) があります。ただし、A2Iは新規の利用者の受付を終えています。

⚠️ 頻出: 「人間の評価をモデルの改善へ反映する」仕組みはRLHFです。による通常の学習とは区別します。