AIF / ドメイン3 基盤モデルの応用
AIのためのデータ基盤サービス
AIの土台はデータです。 AIF-C01では、データの保管、変換、分析を担当するAWSサービスの役割を問われます。
概要
AIで使うデータは、集める、整える、分析する、という流れで扱います。
| 役割 | サービス |
|---|---|
| 保管 () | |
| 変換とカタログ | 、 |
| 権限の一元管理 | |
| 大規模処理 | |
| での問い合わせ | |
| 可視化 | （旧 Amazon QuickSight） |
| 外部データの入手 | |
| 検索 |
主要技術
①データレイクとしてのAmazon S3 ⚠️ 頻出
は、構造化から非構造化まで種類を問わずデータを置ける保管先です。 の、の元文書、モデルの成果物の置き場所として繰り返し登場します。
| 特徴 | 内容 |
|---|---|
| 容量 | 事前の見積もりなく大量のデータを置けます。 |
| 暗号化 | に対応し、のキーを使えます。 |
| アクセス制御 | とポリシーで制御します。 |
| ライフサイクル | 保持期間に応じて安価なクラスへ移すか削除します。 |
⚠️ 頻出: 学習データや生成AIの元文書の保管先はAmazon S3が基本です。
②変換と品質
| サービス | 役割 | 判断ポイント |
|---|---|---|
| のとデータカタログ | 継続的なデータ統合の基盤が必要な場合 | |
| ノーコードのデータクレンジング | コードを書かずに整形したい場合 | |
| などによる大規模処理 | 既存のビッグデータ処理を移行する場合 | |
| Data Wrangler | 向けの前処理 | 機械学習の実験と地続きで進める場合 |
AWS Glueのデータカタログは、どこに何のデータがあるかを登録する仕組みで、データの発見と来歴の管理に役立ちます。
③権限とガバナンス
| サービス | 役割 |
|---|---|
| の権限を表や列の単位で一元管理します。 | |
| Data Catalog | データの所在と構造を登録します。 |
| 上の機密データを検出します。 |
⚠️ 頻出: データレイクの権限を細かく一元管理したいならAWS Lake Formationです。
④分析と可視化
| サービス | 役割 |
|---|---|
| のデータへで直接問い合わせます。サーバーの用意が不要です。 | |
| 大量データの集計に向くです。 | |
| ダッシュボードで可視化します。の機能の1つで、自然な文章での分析もできます。 | |
| 全文検索とを提供します。 |
⑤外部データの調達
では、第三者が提供するデータセットを購読して利用できます。 が社内に足りない場合の選択肢になります。
試験対策
①判断マトリクス
| 問題文のキーワード | 選ぶサービス |
|---|---|
| 種類を問わず大量のデータを置きたい | |
| 継続的なとカタログが必要 | |
| コードを書かずにデータを整えたい | |
| の権限を一元管理したい | |
| S3のデータへで問い合わせたい | |
| 大量データの集計基盤が必要 | |
| ダッシュボードで見せたい | |
| 外部のデータセットを使いたい | |
| S3の機密データを見つけたい |
②よくある誤答
- の保管先にデータベースを第一選択とすること。を含むならです。
- とを同じものと考えること。S3へ直接問い合わせるのがAthenaです。
- のカタログを可視化ツールと考えること。データの所在を登録する仕組みです。