コンテナと AWS Batch によるデータ処理

概要

の 15 分やのの枠に収まらない処理 (独自のライブラリ、長時間の処理、、既存の) は、コンテナで動かします。・で動かし、計算資源はか (サーバー管理不要) を選び、イメージはに置きます。大量のバッチジョブの待ち行列と資源の割り当てはに任せられます。

選択肢	向くケース
+	サーバー管理なしでのジョブを動かす。データ処理のタスクをやから起動
ECS +	や特定の、常時高い負荷で単価を下げたい
	Kubernetes の資産や運用がある。 on Kubernetes、KubeRay などを使う

性能のニーズには、タスクのとメモリの割り当て、タスクの数 (並列度)、Graviton やスポット (Fargate Spot) の利用で合わせます。

ジョブ定義 (イメージ、、メモリ、再試行)、ジョブキュー (優先度)、コンピューティング環境 (、スポット、) で構成します。ジョブを投入すると、Batch が必要な資源を用意して実行し、終われば縮小します。配列ジョブで同じ処理を多数のファイルへ並列に適用でき、ジョブ間の依存関係も指定できます。

のジョブを Kubernetes で動かすなら on が最適化された Spark の実行環境を提供します。Spark 以外の独自の処理は /EKS や Batch で動かします。

問題文のキーワード	選ぶもの
15 分を超える独自の処理、サーバー管理なし	+
大量のバッチジョブの待ち行列と資源の自動割り当て
同じ処理を数千のファイルへ並列に	Batch の配列ジョブ、またはの分散マップ
が必要なバッチ	Batch / ECS の (GPU インスタンス)
既存のでを動かす	on EKS
コストを下げたい中断可能なジョブ	スポット、Fargate Spot
新規に分散 Python (Ray)	EKS 上の KubeRay ( for Ray は新規受付を終了)