Amazon EMR

概要

は、、Hadoop、HiveなどのビッグデータフレームワークをAWS上で実行するマネージド分析サービスです。大量データの分散処理やに使用します。

on 、EMR on 、EMR Serverlessから、制御性、既存Kubernetes環境、運用負荷に応じて選択します。

EMR Serverlessが動かせるのはとHiveで、ワーカーの増減はAWSが自動で行います。HBaseなどほかのHadoopエコシステムのアプリケーションを使う場合や、インスタンスの種類とノード構成を自分で選ぶ場合はEMR on EC2を選びます。

on ではプライマリ、コア、タスクノードでクラスターを構成します。タスクノードにはデータを保持しないため、伸縮やSpot活用に向いています。ブートストラップアクションを使うと、クラスターの起動時に各ノードへ独自のライブラリやの設定を入れられます。

を通じてを永続データストアにすると、コンピューティングとストレージを分離し、クラスターを一時的に起動できます。

マネージドスケーリングやインスタンスフリートを使い、需要に合わせて容量と購入オプションを調整します。

プライマリノードはクラスター制御に関わるため安定性を優先します。コアノードはデータを保持するため、Spot中断の影響を慎重に考えます。HDFSを保持しないタスクノードは、中断可能な処理でSpotを使いやすい役割です。

で永続データをへ置くと、クラスターを終了してもデータを残せます。、セキュリティ設定、保存時・転送時暗号化、との連携でアクセスを制御します。ログはS3へ保存し、終了後も障害原因を調査できるようにします。

やHadoopのエコシステムで大規模分散処理を行う場合に選びます。単発なら、ならと比較します。

へデータを置き、処理時だけクラスターを起動する構成が有効です。中断可能なタスク処理ではSpotを検討します。

⚠️ 頻出: S3を永続ストアにすると、計算リソースとデータのライフサイクルを分離できます。