DEA / ドメイン2 データストア管理

データ移行と転送のサービス

のファイルサーバー、取引先の SFTP サーバー、他のクラウドのストレージにあるデータを、AWS のへ運ぶ場面は数多くあります。DEA-C01 では、移行・転送のツールをデータ処理システムに組み込む方法 (スキル 2.1.4) として、 と の使い分け、移行計画のサービス (、) の位置づけ、オンラインと物理的な転送の判断が問われます。

Point
  • SFTP = SSH File Transfer Protocol、FTPS = FTP over SSL/TLS、AS2 = Applicability Statement 2 (企業間の EDI で使うプロトコル) です。
  • DataSync は「データを同期する」という名前のとおり、ストレージ間でファイルやオブジェクトをまとめて転送・同期するサービスです。
  • 和訳

概要

運びたいもの選ぶサービス主な使い方
や他のクラウドのファイル・オブジェクトを大量に・・・から ・・ へ、スケジュールで転送・同期
取引先がファイル転送プロトコルで送ってくるファイルSFTP・FTPS・FTP・AS2・ブラウザで S3 / EFS に直接受け取る
データベースのデータ全ロードと (「AWS DMS」の章)
のデータSalesforce などから S3 / へ (「Amazon AppFlow」の章)
ストリーミングのデータ、「ストリーミング取り込みの設計」の章
サーバーそのものサーバーを丸ごと AWS へ移す (リホスト)
概要の図 DataSync エージェント SFTP / AS2 S3 イベント / EventBridge オンプレミスの NASNFS・SMB・HDFS AWS DataSync S3 データレイク 取引先 AWS Transfer Family Glue / Step Functions変換パイプライン

主要技術

①AWS DataSync ⚠️ 頻出

項目内容
送信元・送信先の ・・・、、、 の各種、Google Cloud Storage や Azure Blob Storage などの他のクラウド
エージェントオンプレミスのストレージを読むには、VM などにエージェントを置く
転送の仕組み専用のプロトコルと並列処理で高速に転送する。変更のあったファイルだけを送る増分転送
データの検証転送したデータの整合性を確かめる
運用スケジュール実行、帯域幅の上限、含める・除外するファイルのフィルター
セキュリティ、 でインターネットを経由しない転送

は、一度きりの大量の移行にも、毎晩の定期的な同期にも使えます。自作のスクリプト (rsync や の s3 sync) に比べて、並列化、再試行、検証、監視を任せられるのが利点です。

②AWS Transfer Family ⚠️ 頻出

項目内容
プロトコルSFTP、FTPS、FTP、AS2、ブラウザでの転送 ( ウェブアプリ)
保管先、
利用者の認証サービスで管理するユーザー ( キー)、、 や を使うカスタムの ID プロバイダー (Okta、Entra ID など)
公開、または 内 ( を付けてインターネットから受け、で送信元を絞る)
マネージドワークフローアップロードされたファイルのコピー、タグ付け、復号、ウイルススキャン、Lambda での独自処理を自動で行う
SFTP コネクタ外部の SFTP サーバーとの間で、AWS 側からファイルを取りに行く・送る

取引先は使い慣れた SFTP クライアントのまま、接続先を Transfer Family に変えるだけで済みます。サーバーの運用 ( のパッチ、可用性) を AWS に任せられます。

③転送をデータ処理システムに組み込む

転送の後に、取り込んだファイルを自動で処理する流れまでを設計します。

組み込み方内容
イベント通知 / や が S3 に置いたファイルを契機に、、、 ワークフローを起動する
Transfer Family のマネージドワークフローアップロード直後の定型処理 (復号、移動、タグ付け) を Transfer Family の中で済ませる
DataSync の完了イベントタスクの実行の状態を EventBridge で受け、次の処理を始める
置き場所の分離受け取り用のプレフィックス (landing) と処理済みのプレフィックスを分け、処理済みのファイルを移動する
③転送をデータ処理システムに組み込むの図 SFTP でファイルを送る ファイルを保存 オブジェクト作成のイベント ワークフローを起動 Glue で検証・変換、Redshift へロード 取引先 Transfer Family S3 (landing) EventBridge Step Functions

④移行計画のサービスの位置づけ

サービス役割現在の状況
のサーバーとデータベースの構成・使用率・依存関係を集め、移行を計画する新規の受付を終えている。代わりに で同様の機能を使う
サーバーをブロックレベルで継続的に複製し、短い切り替え時間で AWS へ移す (リホスト)現在の名称は AWS Transform MGN

どちらもサーバーやアプリの移行のためのサービスで、データそのものをへ運ぶ道具ではありません。データの移行には 、、 を選びます。

⑤オンライン転送と物理的な転送の判断

判断の観点オンライン転送 ( など)物理的な転送
必要な期間回線の帯域幅で決まる機器の配送と取り込みの日数
継続的な同期できる一度きりの大量移行向け
準備エージェントと回線機器の手配

Edge は新規の顧客の受付を終えています。新しく大量のデータを運ぶ場合、オンラインの転送には AWS DataSync、物理的な安全な転送には AWS Data Transfer Terminal (データを持ち込んでアップロードする拠点)、またはパートナーのソリューションを検討します。回線を増強するなら で専用線を引き、DataSync と組み合わせます。

転送にかかる日数は「データ量 ÷ 実際に使える帯域幅」で見積もります。たとえば 100 TB を 1 Gbps の回線で送ると、回線を使い切れたとしても約9日かかります。期限に間に合わなければ、回線の増強か物理的な転送を検討します。

試験対策

①判断マトリクス

問題文のキーワード選ぶもの
の / のファイルを へ大量・定期的に
のデータを S3 へ移すAWS DataSync
他のクラウドのストレージから S3 へAWS DataSync
取引先が SFTP でファイルを送ってくる、サーバーを運用したくない
企業間で AS2 のファイルをやり取りするAWS Transfer Family (AS2)
アップロード直後に復号やウイルススキャンTransfer Family のマネージドワークフロー
届いたファイルで変換を始めるS3 イベント / → ・
データベースのデータを移す・継続的に複製
サーバーを丸ごと AWS へ移す (AWS Transform MGN)
移行計画のためにサーバーの依存関係を調べる ( は新規受付終了)
回線では間に合わない大量の一度きりの移行AWS Data Transfer Terminal、パートナーのソリューション ( は新規受付終了)

②よくある誤答

  • 取引先からの SFTP の受け取りに、 で SFTP サーバーを自作すること。運用負荷が高く、 を選びます。
  • を、データベースの変更の継続的な複製に使うこと。データベースには を使います。
  • を、ファイルのデータをへ運ぶ道具と考えること。サーバーの移行用です。
  • 新しく大量の物理転送を計画するのに、 を前提にすること。新規の受付を終えています。

参考文献

  1. ※1出題比率: AWS 公式の試験ガイドに記載された、採点対象の設問のうちその分野が占める割合です。

検索

キーワードを入力してください