AIF / ドメイン5 AIソリューションのセキュリティ、コンプライアンス、ガバナンス
AIワークロードの監視とログ
AIのワークロードを運用するには、動作状況と利用内容の両方を見る必要があります。 AIF-C01では、何をどのサービスで監視するかが問われます。
概要
監視の対象は、動作の指標、記録されたログ、操作の履歴の3つに分かれます。
主要技術
①指標の監視 ⚠️ 頻出
| 監視する指標 | 意味 |
|---|---|
| 呼び出し回数 | 利用量の傾向を把握します。 |
| 遅延 | 応答時間の悪化を検知します。 |
| エラー率 | 失敗の増加を検知します。 |
| 制限による拒否 | 割り当ての上限に達しているかを確認します。 |
| 入力と出力の量から費用の傾向を見ます。 |
でこれらを監視し、しきい値を超えたらで通知します。
⚠️ 頻出: 「呼び出しが制限で失敗する」場合は、割り当ての引き上げか、リクエストの分散、再試行の設計を検討します。
②ログの記録
| 対象 | 記録先 |
|---|---|
| モデルの呼び出しの入出力 | または Logs (のモデル呼び出しログ) |
| アプリケーションのログ | CloudWatch Logs |
| 学習ジョブのログ | CloudWatch Logs |
| の遮断 | 呼び出しログに記録されます。 |
入出力のログには機密情報が含まれる可能性があるため、保管先の暗号化とアクセス制御を設定します。
③操作履歴の記録
は、モデルの設定変更、知識ベースの作成、権限の変更などの操作を記録します。 誰がいつ何をしたかを後から追えるため、監査とインシデント調査に使います。
④モデルの品質の監視
| 対象 | 手段 |
|---|---|
| 入力データの分布 | 監視ソリューション (MLflowとEvidently AI) と |
| 予測精度 | 同上 (が必要) |
| 属性ごとの指標を算出して監視 | |
| 生成の品質 | 定期的な評価と利用者のフィードバック |
Model MonitorとSageMaker Clarifyは2026年7月30日に新規の利用者の受け付けを終えました。既存の利用者は使い続けられますが、新しく作る構成では、AWSが案内する監視ソリューションとCloudWatchで同じ観点を監視します。
⚠️ 頻出: の品質は自動指標だけでは測れないため、利用者のフィードバックを集める仕組みを設けます。
⑤通知と対応
| 手段 | 内容 |
|---|---|
| しきい値超過を検知します。 | |
| 担当者へ通知します。 | |
| 検知をきっかけに自動処理を起動します。 | |
| 運用手順 | 誰が何を確認し、どう是正するかを決めます。 |
試験対策
①判断マトリクス
| 問題文のキーワード | 選ぶもの |
|---|---|
| 呼び出し回数や遅延を監視したい | |
| の入出力を保存したい | のモデル呼び出しログ |
| 誰が設定を変えたか調べたい | |
| 入力データの傾向変化を検知したい | ベースラインと比べる監視ソリューションとCloudWatch |
| しきい値超過を通知したい | CloudWatchと |
| 検知をきっかけに処理を動かしたい |
②よくある誤答
- との役割を混同すること。動作の監視と操作の履歴は別です。
- 入出力のログを既定で有効と考えること。記録は設定して有効にします。
- ログの保管先の保護を忘れること。機密情報が含まれる可能性があります。