DEA / ドメイン1 データの取り込みと変換
Amazon AppFlow
概要
は、Salesforce、ServiceNow、Zendesk、Slack などの アプリケーションと、 や などの AWS サービスのあいだで、コードを書かずにデータを転送するフルマネージドの統合サービスです。DEA では、SaaS をバッチソースとしてへ取り込む手段として出題されます。
主要技術
①フロー
送信元、送信先、実行のきっかけ (トリガー)、項目の対応付け (マッピング)、変換、フィルター、検証をフローとして定義します。項目のマスキングや連結、条件に合うレコードだけを送るフィルターもフローの中で設定できます。
②実行のきっかけ
| トリガー | 使いどころ |
|---|---|
| 手動や一回限りの取り込み | |
| スケジュール | 毎時・毎日などの定期取り込み。前回からの増分だけを転送する設定ができる |
| イベント | Salesforce の変更イベントなど、 側の出来事に合わせて転送 |
③送信先とデータの整理
へ転送するときは、 などの形式、パーティション (日付ごとのフォルダ)、ファイルの集約を設定でき、 Data Catalog にテーブルを登録できます。 を使うプライベートなフローでは、データがインターネットを経由しません。対応していない は、カスタムコネクタの で接続を作れます。
試験対策
| 問題文のキーワード | 選ぶもの |
|---|---|
| のデータを / へ、コードなし・運用最小 | |
| 定期的に増分だけ取り込む | AppFlow のスケジュール + 増分転送 |
| SaaS のデータをインターネットを経由せずに | AppFlow のプライベートフロー () |
| ファイルやオブジェクトの大量転送 | (AppFlow ではない) |
| SaaS のデータを Redshift へ継続的に複製 | AppFlow、または の 統合 (対応 SaaS のみ) |
SaaS の を で呼ぶ独自のコードは、運用負荷の点で AppFlow に劣ります。のファイルサーバーからの転送は DataSync や です。