SAA / ドメイン3 高パフォーマンスなアーキテクチャの設計
Amazon Data Firehose
概要
は、ストリーミングデータを取り込み、変換して、、、などへ配信するフルです。
主要技術
① 配信ストリーム
送信されたレコードをバッファリングし、設定した宛先へまとめて配信します。利用者がや配信サーバーを管理する必要はありません。
② バッファリング
サイズまたは時間の条件でデータをまとめます。小さい値は低遅延、大きい値は配信効率を重視する設計です。宛てではサイズを1〜128MiB、間隔を0〜900秒で指定し、先に達した条件で書き出します。小さな値のままだと小さなファイルが大量にでき、などの読み取りが遅くなるため、遅延を許せるならバッファを広げます。
③ 変換と形式変換
によるレコード変換や、から／への形式変換を配信経路へ組み込めます。失敗データはへ保存できます。形式変換では Data Catalogのテーブルのスキーマで入力のJSONを解釈します。CSVなどJSON以外の入力は、先にLambdaでJSONへ変換します。
試験対策
① Kinesis Data Streamsとの違い
独自コンシューマーでリアルタイム処理、保持、再読込を制御する場合はです。管理負荷を抑えて保存先へ継続配信する場合はです。
② Redshiftへの配信
宛てでは、いったんへデータを置いてからCOPY処理でロードします。