AWS Glue

概要

は、データの検出、準備、移動、統合を行うデータ統合サービスです。処理と共有メタデータ管理を提供します。

データの場所、スキーマ、パーティションなどを保存するメタデータリポジトリです。、、などから共有できます。

やデータベースを走査してスキーマを推測し、Data Catalogのテーブルを作成・更新します。

ベースなどのジョブで抽出、変換、ロードを実行します。は処理済みデータの再処理を避けるために使用します。

スケジュールやイベントに応じてクローラーとジョブを連携できます。

は前回までに処理したデータを追跡し、増分で同じ入力を繰り返し処理することを避けます。再実行時の重複や出力のも設計します。

内データベースへ接続する場合は、、ルートを準備します。には、Data Catalog、など必要な権限だけを与えます。データを発見するクローラー、定義を共有するData Catalog、変換するETLジョブ、権限を管理するを切り分けます。

CSVからへの変換、データクレンジング、カタログ作成を自動化する要件で有力です。

なとカタログ管理には、フレームワークやクラスター設定を細かく制御する大規模処理にはを選びます。

⚠️ 頻出: クローラーはデータを変換せず、スキーマを検出してData Catalogへ登録します。前回以降だけ処理する要件ではを検討します。