データガバナンスとデータ共有のパターン

組織が大きくなると、データを作る部署と使う部署が分かれ、アカウントも分かれます。どこにどんなデータがあり、誰が責任を持ち、誰がどう使ってよいかを決めて守る仕組みがデータです。 DEA では、ガバナンスのフレームワーク (中央集権型、分散型の) と、データを共有するパターン (、の共有、、 Catalog) を選び分けることが問われます。

Point

データメッシュ (data mesh) は、データをドメイン (業務領域) ごとのチームが「プロダクト」として持ち、共通の基盤とルールで共有する考え方です。
データスチュワード (data steward) は、データの品質や使い方のルールを日々管理する担当者です。
リネージ (lineage) は「系統」で、データがどこから来てどう加工されたかの記録です。
和訳
- Governance: 統治、管理
- Steward: 管理人、世話役
- Weblio英和辞書「steward」

概要

データは、ツールだけでなく「誰が決め、誰が守るか」の仕組みです。AWS のサービスは、その決まりを技術的に実行する役を担います。

要素	決めること	AWS での主な手段
所有と責任	データセットの所有者、承認者	Catalog のプロジェクトと所有者
カタログ	どこに何があるか、技術的なスキーマ	Data Catalog
ビジネスの意味	用語、説明、分類	SageMaker Catalog の用語集とメタデータ
アクセスの方針	誰が何を見られるか	、、の権限
機密データの分類	の所在と保護	、、マスキング
品質	正しさ、完全さ、鮮度
リネージ	来歴と加工の履歴	SageMaker Catalog のリネージ
監査	誰がいつ何をしたか	、
ライフサイクル	保持と削除	のライフサイクル、保持の方針

主要技術

①ガバナンスの組織モデル ⚠️ 頻出

モデル	仕組み	長所	短所
中央集権型	中央のデータチームが1つの・DWH にデータを集め、権限も一元管理します。	統制がしやすく、ルールがそろいます。	中央のチームがボトルネックになり、業務の知識が届きにくくなります。
分散型 ()	各ドメインが自分のアカウントでデータを持ち、データプロダクトとして公開します。	ドメインの知識を生かせ、規模を広げやすいです。	ルールがばらばらになりやすく、共通の基盤と統制が必要です。
ハブアンドスポーク (連邦型)	ドメインがデータを持ち、中央のアカウントがカタログ・権限・監査の共通ルールを提供します。	分散の柔軟さと中央の統制を両立します。	中央と各ドメインの役割分担を決める必要があります。

データメッシュの4つの原則は、ドメインによる所有、プロダクトとしてのデータ、セルフサービスのデータ基盤、連邦型の計算されたガバナンスです。 AWS では、各ドメインのアカウントのデータを、中央のガバナンスアカウントの Data Catalog とで共有・管理する構成で実現します。

②データ共有のパターン ⚠️ 頻出

パターン	共有するもの	コピー	向いている場面
	のデータベース・スキーマ・テーブル・ビュー	しない (最新のデータを読む)	Redshift 同士、アカウント・をまたぐ共有、との分離
の共有	Data Catalog のデータベース・テーブル ( のデータ)	しない	のテーブルを列・行の権限付きで他アカウントへ共有
S3 のポリシー・アクセスポイント	S3 のオブジェクト	しない	ファイル単位でよく、列や行の制御が要らない場合
S3 の、・エクスポート	ファイルのコピー	する	相手の環境にデータを置く必要がある、ネットワーク的に分離したい場合
	ファイル、、Redshift の datashare、S3 のデータへのアクセス、Lake Formation のデータ (プレビュー)	種類による	社外の組織とデータを授受する、で有償で提供・購読する
Catalog の購読	カタログに公開したデータ資産	しない (権限を付与)	社内の利用者がカタログで探し、承認を経て使う

コピーすると、鮮度のずれ、保管の費用、削除要求への対応漏れ、所在の管理の難しさが増えます。要件が許す限り、コピーしない共有 (データ共有、Lake Formation の共有) を優先します。

③AWS Data Exchange

は、組織の間でデータの利用権 (データグラント) を授受するサービスです。のデータ製品として有償で提供・購読することもできます。

項目	内容
データグラント	送り手が、受け手の AWS アカウントとアクセス期間を指定してデータセットへの利用権を渡します。受け手が承諾すると使えます。
データセットの種類	ファイル、、、 (提供者ののデータを直接使う)、 (プレビュー)
Redshift のデータセット	購読者は、をせずに提供者の Redshift のデータを直接クエリできます。
オープンデータ	Open Data on AWS の公開データセットを探して使えます。

社内の部署間の共有ならや Lake Formation、社外の取引先との授受や販売なら Data Exchange、と分けて考えます。

④SageMaker Catalog と Lake Formation・Glue Data Catalog の役割分担

サービス	役割
Data Catalog	技術的なメタデータ (テーブルの定義、の場所、パーティション) を持ちます。分析エンジンがここを読みます。
	Data Catalog のテーブルへの権限を実際に強制します (列・行・セル、)。
Catalog	業務の利用者向けのカタログです (Amazon DataZone を基盤とし、SageMaker Unified Studio で使います)。データ資産の公開、検索、用語集、購読の申請と承認のワークフロー、リネージを担います。

SageMaker Catalog では、データを持つプロジェクトが資産をカタログに公開し、利用するプロジェクトが購読を申請します。公開したプロジェクトのメンバーが承認すると、Lake Formation が管理する Glue のテーブルやのテーブル・ビュー (マネージドな資産) には、利用側のプロジェクトのロールへ権限が自動で付与されます。つまり、SageMaker Catalog は「誰に使わせるかを決める窓口」、Lake Formation や Redshift は「その決定を強制する仕組み」です。プロジェクトを通じたデータアクセスの管理の詳細は「Amazon SageMaker Catalog (ビジネスデータカタログと)」の章で扱います。

⑤共有パターンを選ぶ手順

試験対策

の問題では、組織の形 (中央集権か分散か) と、共有の相手 (社内か社外か)、データの置き場所 ( かか) を順に見ます。「コピーせずに」「最新のデータを」という言葉があれば、データ共有かの共有が候補です。

①判断マトリクス

問題文のキーワード	選ぶもの	理由
各部署が自分のデータを持ち、共通のルールで共有したい	(ハブアンドスポーク) +	ドメインの所有と中央の統制を両立します。
中央のチームが統制を一元的に担いたい	中央集権型の	ルールをそろえやすいです。
別アカウントのから最新のデータをコピーなしで		ライブのデータを読めます。
中央のデータレイクのテーブルを列の制限付きで他アカウントへ	Lake Formation の共有	列・行の権限を付けられます。
取引先にデータを有償で提供したい		購読と課金の仕組みがあります。
外部の第三者データを購読して Redshift で直接使いたい	Data Exchange の Redshift のデータセット	なしでクエリできます。
利用者がカタログで探し、所有者の承認を経て使わせたい	Catalog の公開と購読	承認後に権限が自動で付与されます。
ビジネス用語でデータを説明・検索させたい	SageMaker Catalog の用語集とメタデータ	業務の利用者向けのカタログです。
権限を実際に列・行の単位で強制したい	Lake Formation	カタログの決定を強制する層です。

②よくある誤答

共有のたびにデータをコピーすること。鮮度、費用、削除の漏れの原因になります。
Catalog だけで列・行の権限を強制できると考えること。強制はやが担います。
を「統制をなくすこと」と考えること。連邦型のが原則に含まれます。
社内の部署間の共有にを第一に選ぶこと。社内ならや Lake Formation が直接的です。