Amazon SageMaker Model Monitor

Model Monitorは、本番で動いているモデルの品質を継続的に監視する機能です。デプロイした後に起きる精度低下を検知する役割を担います。

なお、SageMaker Model Monitorは2026年7月30日に新規の利用者の受け付けを終えました。既存の利用者は引き続き使えますが、新しい機能は追加されない予定です。新しく監視を作る場合、AWSは代わりの手段として、SageMaker AIのMLflowとオープンソースのEvidently AIで作る公開の監視ソリューション、のダッシュボード、のカスタムとのの組み合わせを案内しています。試験では、製品名よりも「本番の入力と予測をベースラインと比べ、変化を検知してにつなげる」という考え方が問われます。

概要

モデルは時間が経つと性能が落ちます。入力データの傾向が変わったり、業務の前提が変わったりするためです。 Model Monitorや、その代わりとなる監視ソリューションは、この変化を指標として検知します。

主要技術

①監視できる4つの観点 ⚠️ 頻出

観点	検知するもの
データ品質	入力データの分布や欠損の変化 ()
モデル品質	予測精度の低下 () 。が必要です。
ドリフト	属性間の偏りの拡大
の寄与のずれ	予測根拠の構成の変化

⚠️ 頻出: 正解ラベルがなくても検知できるのはデータ品質の変化です。モデル品質の監視には後から得られる正解ラベルが必要です。

②仕組み

手順	内容
ベースラインの作成	から統計と制約を算出します。
データの収集	の入出力を保存します。
定期的な比較	収集したデータをベースラインと比べます。
通知	逸脱をのとして出し、警告を発します。

と寄与の監視は Clarifyと連携して行います。Clarifyも新規の受け付けを終えているため、新しく作る場合は属性ごとの指標やSHAPの値を自分で算出し、監視ソリューションの中で記録して比べます。

観点	既存の利用者	新しく作る構成
データ品質とモデル品質	Model Monitor	監視ソリューション (MLflowとEvidently AI) とCloudWatch
バイアスと寄与	Model MonitorとClarify	属性ごとの指標とSHAPの値を算出して記録
傾向の可視化	SageMaker Studioの画面	のダッシュボード

③検知後の対応

検知内容	対応
	新しいデータでします。
	再学習またはモデルの差し替えを行います。
ドリフト	データとを見直します。
入力の異常	前段のデータ処理の不具合を調べます。

④生成AIでの監視

では、入力と出力の内容や利用状況を記録して監視します。

監視するもの	手段
呼び出し回数、、遅延
入出力の内容の記録	のモデル呼び出しログ
操作の履歴
遮断の発生	の記録

試験対策

①選択基準

問題文のキーワード	選ぶもの
本番の入力データの傾向変化を検知したい	学習時のベースラインとの比較 (の監視)
予測精度の低下を検知したい	と突き合わせたモデル品質の監視
属性間の偏りの拡大を検知したい	属性ごとの指標の監視 (ドリフト)
新しく監視の仕組みを作りたい	監視ソリューション (MLflowとEvidently AI) と
警告を受け取りたい	Amazon CloudWatchの
の利用状況を監視したい	CloudWatchとのログ

②よくある誤答

Model Monitorが自動ですると考えること。検知までが役割で、再学習は別の仕組みです。
新しく作る構成でModel Monitorを選ぶこと。新規の受け付けを終えているため、既存の利用者が使い続ける場面に限ります。
なしでモデル品質を測れると考えること。データ品質の監視とは前提が違います。