CLF / ドメイン3 クラウドテクノロジーとサービス
AWS Glue
概要
は、データの抽出・変換・ロード()を行うのデータ統合サービスです。分析の前準備として、複数のデータソースからデータを集めて整形し、やへロードします。試験では「サーバーレスのETL」「データカタログ」というキーワードで選べるかが問われます。
主要技術
① ETLジョブ
データの抽出・変換・ロードを行うジョブをで実行します。インフラ管理は不要で、スケジュールやイベントをきっかけに起動できます。
② Data Catalog
データの保存場所やスキーマ(テーブル定義)を一元管理するメタデータの保管庫です。や、から参照できます。
③ クローラー
データソースを自動でスキャンしてスキーマを推定し、Data Catalogへ登録します。手作業でのテーブル定義を減らせます。
試験対策
① 選択基準
「でを実行したい」「データカタログでスキーマを一元管理したい」という要件ではを選びます。
② EMRとの違い
インフラ管理なしでを行うなら、やHadoopのクラスターを直接使って大規模処理を行うならです。