AIF / ドメイン1 AIとMLの基礎
Amazon SageMaker Pipelines
Pipelinesは、の処理をつないで自動実行するワークフロー機能です。 を実現する中心の仕組みとして、AIF-C01では自動化の担当サービスとして問われます。
概要
パイプラインは、前処理、学習、評価、登録、デプロイといった処理 (ステップ) を有向グラフとして定義します。 定義を保存して繰り返し実行できるため、学習の再現性が得られます。
試験では、「学習からデプロイまでの手順を毎回同じ形で回したい」という要件で選びます。
主要技術
①ステップの種類
| ステップ | 内容 |
|---|---|
| 処理ステップ | 前処理やデータ検証を実行します。 |
| 学習ステップ | 学習ジョブを実行します。 |
| チューニングステップ | を探索します。 |
| 評価ステップ | 指標を計算します。 |
| 条件ステップ | 指標が基準を満たすかで分岐します。 |
| モデル登録ステップ | モデルレジストリへ登録します。 |
| 変換ステップ | バッチ変換を実行します。 |
②再現性と追跡
パイプラインの実行ごとに、入力データ、パラメーター、成果物が記録されます。 どのデータでどのモデルが作られたかを後から追えるため、監査やの判断に使えます。
③モデルレジストリとの連携
評価に合格したモデルはモデルレジストリへ登録し、承認された版だけをデプロイする運用にできます。 承認の手順を挟むことで、意図しないモデルが本番へ出ることを防げます。
④他サービスとの使い分け
| サービス | 役割 | 判断ポイント |
|---|---|---|
| Pipelines | に特化したワークフロー | 学習と評価とデプロイを一続きで回す場合 |
| 汎用のワークフロー | 機械学習以外の処理も含む業務全体を組む場合 | |
| イベントによる起動 | 定期実行や他サービスのイベントで起動する場合 |
試験対策
①選択基準
| 問題文のキーワード | 選ぶもの |
|---|---|
| 学習からデプロイまでを自動化したい | Pipelines |
| 学習の再現性を確保したい | SageMaker Pipelines |
| 指標が基準未達なら本番へ出したくない | 条件ステップとモデルレジストリの承認 |
| 業務システム全体のワークフローを組みたい |
②よくある誤答
- Pipelinesを監視の仕組みと考えること。本番の監視は別の仕組み (新しく作るならAWSが案内する監視ソリューションと、既存の利用者は Model Monitor) で行います。
- 自動化すれば評価が不要になると考えること。評価ステップを含めることが前提です。