SAA / ドメイン3 高パフォーマンスなアーキテクチャの設計
Amazon Redshift
概要
は、大規模な構造化・半をで分析するサービスです。列指向ストレージと並列処理を利用します。
主要技術
① プロビジョンドとServerless
プロビジョンドクラスターはノード構成を管理し、 Serverlessは処理容量の管理をサービスへ委ねます。
費用の面では、プロビジョンドクラスターは稼働中のノードに時間単位で課金されます。使う時間帯が決まっているなら、クラスターを一時停止すると、停止中はコンピューティングの課金が止まりストレージだけが課金されます。一時停止と再開はスケジュールでも実行できます。Redshift Serverlessは、クエリを処理した間のの使用量に秒単位(最小60秒)で課金され、ストレージは別に課金されます。使う日時が不定期で、空き時間が長い分析に向きます。
② 列指向と圧縮
分析で使用する列だけを読み取り、圧縮によってI/Oを削減します。大量の集計処理に適しています。
③ 分散とソート
はノード間のデータ配置、はスキャン範囲に影響します。結合や絞り込みのパターンに合わせます。
④ Spectrum
は、上のデータをクラスターへロードせずに照会します。
⑤ データ取込、バックアップ、セキュリティ
大量データはからCOPYで並列ロードし、結果はでS3へ出力できます。やのデータは、ストリーミング取り込みで自身がコンシューマーとして読み、S3などの一時的な保存先を挟まずにへ直接取り込めます。ほぼリアルタイムの分析に使います。はバックアップと復元に使い、クロスコピーを構成するとリージョン障害へ備えられます。
内に配置し、でS3などへのアクセスを許可します。保存時・転送時暗号化、監査ログ、データベース権限を組み合わせます。はノード間のデータ移動、は読み取る範囲を減らす観点で設計します。
試験対策
① Athenaとの比較
への単発・アドホックは、繰り返す複雑な分析やにはを選びます。
② OLTPとの違い
大量の分析集計には、トランザクション処理にはやを選びます。
| 要件 | 選択肢 |
|---|---|
| 繰り返す複雑な分析・ | Redshift |
| を外部表として参照 | |
| S3への単発 | |
| 行単位の頻繁な更新 | RDS/Aurora |