CLF / ドメイン3 クラウドテクノロジーとサービス
Amazon EMR
概要
は、やApache Hadoopなどのオープンソースのビッグデータフレームワークを実行するためのマネージドクラスターサービスです。大量データの加工や分析、他のデータストアへの大規模なデータ変換・移動に利用します。試験では「Spark」「Hadoop」というキーワードからEMRを選べるかが問われます。
主要技術
① マネージドクラスター
分散処理を行うクラスターの構築や運用をAWSが支援するため、自前でHadoop基盤を構築するより運用負荷を減らせます。
② オープンソースフレームワークの実行
やApache Hadoopなどの分散処理フレームワークをそのまま利用でき、既存のビッグデータ処理をAWSへ移行しやすくなります。
③ 他のデータストアとの連携
やとの間で大量のデータを変換・移動でき、の処理基盤として使えます。
試験対策
① 選択基準
「Hadoop」「」「ビッグデータの分散処理」というキーワードではを選びます。
② 混同しやすいサービスとの違い
でとデータカタログを使いたい場合は、で分析する専用のは、オープンソースフレームワークを使う大規模処理はです。