大規模言語モデル (LLM) をデータ処理に組み込む

概要

は、複数の提供元の ( など) をで呼べるフルマネージドのサービスです。データパイプラインでは、自由記述の問い合わせの分類、文書からの項目の抽出、長い文章の要約、表記の正規化など、ルールでは書きにくい変換を LLM に任せられます。DEA では、パイプラインのどこで、どの呼び出し方で LLM を使うかが問われます。

主要技術

① パイプラインでの使いどころ

用途	例
分類	問い合わせ文を「請求」「障害」「解約」に分ける
抽出	請求書や契約書の文章から日付・金額・会社名をで取り出す
要約	通話記録やレビューを短くまとめ、分析用の列にする
正規化	表記の揺れ (住所、商品名) をそろえる

出力は JSON の形を指定 (構造化された出力) すると後段で扱いやすくなります。

② 呼び出し方

方法	向くケース
から InvokeModel / Converse を呼ぶ	ファイルの到着やストリームのレコードごとに少量を処理
の統合	ワークフローの1ステップとして呼び、Map で並列化・Retry で再試行
	大量のを JSONL でに置き、ジョブで非同期に処理し、結果を S3 に受け取る。対象のモデルではより 50% 低い料金。完了はで通知できる。プロビジョンドのモデルでは使えない

③ 運用の注意

モデルの呼び出しにも () があるため、大量の処理はにするか、バックオフ付きで再試行します。を含むデータを送る場合は、必要な項目だけを渡し、で呼べるモデルを制限します。

試験対策

問題文のキーワード	選ぶ方法
数百万件の文章を夜間に分類、リアルタイム不要、コスト重視	の
届いた文書ごとにすぐ項目を抽出	から Bedrock を呼ぶ
前処理 → → 保存を再試行付きで	の Bedrock 統合
ルールで書けない表記揺れの正規化	LLM による変換