AIF / ドメイン1 AIとMLの基礎
SageMakerのデータ準備機能 (Ground Truth・Data Wrangler・Feature Store)
の精度はデータ準備で決まります。 には、、前処理、の共有を担当する3つの機能があり、AIF-C01では役割の使い分けが問われます。
なお、SageMaker Ground Truthは2026年7月30日に新規の利用者の受け付けを終えました。既存の利用者は引き続き使えますが、新しい機能は追加されない予定です。作業者としてAmazon Mechanical Turkを使う連携も同じ日に受け付けを終え、専門の作業者が代行するGround Truth Plusも提供を終えています。 新しくラベル付けを始める場合は、社内の担当者や委託先 (のラベル付けの事業者など) に注釈を任せ、複数人の判定を集約して品質を確かめるという考え方で押さえます。
概要
3つの機能は、データがモデルへ届くまでの別々の段階を担当します。
| 機能 | 担当する段階 | 一言で言うと |
|---|---|---|
| Ground Truth | を人手で付ける作業を管理します (新規の受け付けは終了) 。 | |
| SageMaker Data Wrangler | 前処理 | データの変換と作成をGUIで行います。 |
| SageMaker Feature Store | 特徴量管理 | 作った特徴量を保存し、学習とで共有します。 |
主要技術
①SageMaker Ground Truth ⚠️ 頻出
を作るための機能です。 の作業者、作業手順、品質管理をまとめて扱えます。 新規の受け付けを終えているため、既存の利用者が使い続ける場面の機能として読みます。下の表の作業者の選び方や品質管理の方法は、Ground Truthを使わずにラベル付けを進める場合にもそのまま当てはまる考え方です。
| 項目 | 内容 |
|---|---|
| 作業者の選択 | 自社の担当者、Amazon Mechanical Turkの作業者 (新規の受け付けは終了) 、または外部ベンダーを使えます。 |
| 対応するタスク | 画像分類、、テキスト分類、固有表現抽出などです。 |
| 自動ラベル付け | 一部を人手で付け、残りをモデルで補って作業量を減らします。 |
| 品質管理 | 複数人の判定を集約し、ラベルの一致度を確認します。 |
⚠️ 頻出: 「大量の画像へを付ける」という要件は、前処理やモデル学習ではなくラベル付けの工程です。新しく始めるなら、担当者や委託先に注釈を任せ、複数人の判定の一致度で品質を確かめます。
②SageMaker Data Wrangler
データの取り込み、確認、変換をGUI中心で行う機能です。 欠損値の補完、型の変換、結合、集計、の処理などを画面で組み立て、処理の流れをそのまま学習パイプラインへ渡せます。 現在は Canvasに統合されており、画面操作に加えて自然な文章でもデータの確認と変換を指示できます。
| できること | 内容 |
|---|---|
| データの取り込み | 、、などから読み込みます。 |
| データの可視化 | 分布や相関を確認します () 。 |
| 変換 | 組み込みの変換処理を選んで適用します。 |
| 出力 | 加工済みデータやFeature Storeへ書き出します。 |
⚠️ 頻出: 「コードをあまり書かずに前処理を組み立てたい」ならData Wranglerです。
③SageMaker Feature Store
を保存し、学習とで同じ定義を使えるようにする機能です。 学習時と推論時で特徴量の作り方がずれると精度が落ちるため、その不一致を防ぐ役割を持ちます。
| ストアの種類 | 用途 | 特徴 |
|---|---|---|
| オンラインストア | 推論時の低遅延な読み出し | 最新の値を高速に取得します。 |
| オフラインストア | 学習用のまとめ読み | 履歴を含む大量データをに保持します。 |
| 利点 | 内容 |
|---|---|
| 再利用 | 一度作った特徴量を複数のモデルで使えます。 |
| 一貫性 | 学習と推論で同じ特徴量定義を使えます。 |
| 履歴 | 時点を指定した過去の特徴量を取り出せます。 |
⚠️ 頻出: 「学習時と推論時で特徴量の計算がずれる問題を防ぎたい」ならFeature Storeです。
④関連するデータ基盤サービスとの違い
| サービス | 主な役割 | 判断ポイント |
|---|---|---|
| Data Wrangler | 向けの前処理をGUIで組む | 機械学習の実験と地続きで前処理したい場合 |
| 大規模な処理を行う | 継続的なデータ統合の基盤が必要な場合 | |
| ノーコードでデータをクレンジングする | 機械学習に限らないデータ整備の場合 | |
| のデータへで問い合わせる | 集計や抽出をSQLで行いたい場合 |
試験対策
①判断マトリクス
| 問題文のキーワード | 選ぶ機能 |
|---|---|
| を人手で付けたい | 社内の担当者による注釈と、複数人の判定の集約 |
| 外部の作業者にを依頼したい | ラベル付けの委託先 (の事業者など) |
| ラベルの品質を確かめたい | 同じデータを複数人で判定し、一致度を測る |
| 前処理と変換を画面操作で組み立てたい | Data Wrangler |
| 学習とでの定義を揃えたい | SageMaker Feature Store |
| 推論時に低遅延で特徴量を取り出したい | Feature Storeのオンラインストア |
| 学習用に履歴を含む特徴量をまとめ読みしたい | Feature Storeのオフラインストア |
②よくある誤答
- Ground Truthを前処理の機能と考えること。担当するのはです。
- 新しく作る構成でGround Truthを選ぶこと。新規の受け付けを終えているため、既存の利用者が使い続ける場面に限ります。
- Feature Storeをの代替と考えること。の保存と共有に特化した機能です。
- 時の人間による確認とラベル付けを混同すること。運用中の推論結果を人が確かめるのはヒューマンインザループで、学習前のラベル付けとは段階が違います (この仕組みを担った (A2I) も新規の受け付けを終えています) 。