Azure Databricks Clean Rooms とは

このページでは、OpenSharing とサーバーレス コンピューティングを使用してセキュリティで保護されたプライバシー保護環境を提供するAzure Databricks機能である Clean Rooms について説明します。この環境では、複数の関係者が互いのデータに直接アクセスすることなく、機密性の高いエンタープライズ データに対して共同作業を行うことができます。

要件

クリーン ルームを使用するには、以下が必要です。

参加者のデータがファイアウォールまたはプライベートエンドポイントで保護されたストレージ内にある場合は、SecureConnect を有効にしてください。これにより、他のリージョンやクラウドの共同利用者の場合でも、クリーンルームのコンピュート用ネットワークを許可リストに追加しなくても、クリーンルームのサーバーレスコンピュートがそのデータにアクセスできるようになります。 クリーン ルームについては、「SecureConnect を有効にする」を参照してください。

クリーン ルームのしくみは?

クリーン ルームを作成するときは、次のものを作成します。

  • 自分の Unity Catalog メタストア内の、セキュリティ保護可能なクリーン ルーム オブジェクト。
  • "中央" クリーン ルーム。これは分離されたエフェメラル環境であり、Databricks によって管理されます。
  • コラボレーターの Unity カタログ メタストアのセキュリティ保護可能なクリーン ルーム オブジェクト。

OpenSharing を使用して、クリーン ルーム内のコラボレーターが共有するテーブル、ボリューム (表形式以外のデータ)、ビュー、ノートブックは中央のクリーン ルームとのみ共有されます。

コラボレーターは、他のコラボレーターのテーブル、ビュー、またはボリュームのデータを表示できませんが、列名と列の種類を表示でき、データ資産を操作する承認済みのノートブック コードを実行できます。 このノートブック コードは中央クリーン ルームで実行されます。 ノートブックでは、 出力テーブルを生成することもできます コラボレーターは読み取り専用の出力を一時的に Unity カタログ メタストアに保存して、ワークスペースで操作できるようにします。

クリーン ルームのシンプルなアーキテクチャとフロー(出力テーブル付き)

クリーンルームはどのようにして信頼できない環境を保証しますか?

Databricks Clean Rooms モデルは "no-trust" です。 no-trust クリーン ルーム内のすべてのコラボレーターは、クリーン ルームの作成者を含め、同等の権限を持ちます。 Clean Rooms は、未承認のコードの実行とデータの不正な共有を防止するように設計されています。 この信頼は、ノートブックを実行する前に、すべてのコラボレーターに承認を要求することで明示的に適用されます。 ノートブックは自分にアップロードできますが、実行する前に他のコラボレーターによって承認されている必要があります。 「クリーン ルームでノートブックを承認する」を参照してください。

Note

パッケージ化されたクリーン ルームは、このモデルの例外です。 コラボレーターが同等の特権を持たないプロバイダー コンシューマー モデルを使用します。 パッケージ化されたクリーン ルームを参照してください。

追加のセーフガードまたは制限

上記の明示的なノートブック承認プロセスに加えて、次のセーフガードが実施されています。

  • クリーン ルームは作成後にロックダウンされるため、新しいコラボレーターがそのクリーン ルームに参加することはできません。

  • コラボレーターのいずれかがクリーン ルームを削除した場合は、中央クリーン ルームは無効になり、どのユーザーもクリーン ルーム タスクを実行できなくなります。

  • 各クリーン ルームは 10 人のコラボレーターに制限されています。

  • クリーン ルームの名前を変更することはできません。

    すべてのコラボレーターが同じクリーン ルームを明確に参照できるように、クリーン ルーム名はすべてのコラボレーターのメタストアで一意である必要があります。

  • コラボレーターがワークスペース内のセキュリティ保護可能なクリーン ルームにコメントを追加しても、これらのコメントは他のコラボレーターには反映されません。

何が他のコラボレーターと共有されるのですか?

  • クリーンルーム名
  • 中央クリーン ルームのクラウドとリージョン。
  • 自分の組織名 (任意の名前を選択できます)。
  • クリーンルーム共有識別子（グローバル メタストア ID + ワークスペース ID + ユーザーのメール アドレス）。
  • 共有のテーブル、ビュー、またはボリュームのエイリアス。
  • 列のメタデータ (列名またはエイリアスと型)。
  • ノートブック (読み取り専用)。
  • 出力テーブル (読み取り専用、一時)。
  • クリーン ルーム イベント システム テーブル。
  • 実行履歴。これには次のものが含まれます。
    • 実行されているノートブックの名前
    • ノートブックを実行したコラボレーター (ユーザーではありません)。
    • ノートブックの実行状態。
    • ノートブック実行の開始時刻。

何が中央クリーン ルームと共有されるのですか?

  • 前のセクションのリストに示したものすべて。

  • 読み取り専用のテーブル、ボリューム、ビュー、ノートブック。

    テーブル、ビュー、ボリュームは、指定されたエイリアスを使用して中央のクリーン ルームのメタストアに登録されます。 データ資産は、クリーン ルームのライフサイクル全体で共有されます。

クリーン ルームに関する FAQ

クリーン ルームについてよく寄せられる質問を次に示します。

データはクリーン ルームでどのように管理されますか?

中央のクリーン ルームは、Azure Databricks によって管理されます。 中央のクリーン ルームで次の手順を実行します。

  • どちらのパーティにも管理者特権がありません。
  • メタデータのみがすべての関係者に表示されます。
  • 各パーティは、中央のクリーン ルームにデータを追加できます。
  • クリーン ルームでは OpenSharing を使用してデータをクリーン ルームに安全に共有しますが、参加者間では共有しません。 OpenSharing とはを参照してください。

データはどのようにプライベートに保持されますか?

中央のクリーン ルームは、クリーン ルーム作成者が選択したクラウド プロバイダー リージョンでホストされている、分離された Databricks で管理されるサーバーレス コンピューティング プレーンで実行されます。

クリーン ルームには次の情報が用意されています。

  • コードの承認: クリーン ルームの作成者とコラボレーターは、中央のクリーン ルームとテーブルとボリュームを共有できますが、他のユーザーがアップロードしたノートブックのみを実行できます。 承認する前に、相手が追加したコードを確認できます。 別のパーティによって追加されたノートブックを実行する場合は、コードを暗黙的に承認します。
  • バージョン管理: クリーン ルーム ノートブックにはバージョンコントロールがあり、すべての関係者が完全に承認されたノートブックのみを実行できるようにします。 最新バージョンのノートブックのみを実行できます。 クリーン ルーム システム テーブルを使用して、実行されたノートブックのバージョンを確認し、行われた変更を監視できます。
  • 制限付きアクセス: クリーン ルームを作成するときに、サーバーレスエグレス制御を使用して送信ネットワーク接続を管理できます。 クリーン ルームからのアクセスを制限すると、承認されていないストレージへのアクセスがブロックされます。 サーバーレス エグレス制御 を参照してください。.

セキュリティとサーバーレス コンピューティング プレーンの詳細については、「サーバーレス コンピューティング プレーン ネットワーク」を参照してください。

アクションはどのように記録されますか?

自分またはコラボレーターによって実行されたクリーン ルームのアクションは、クリーン ルーム イベント システム テーブルに記録されます。 これらのレコードには、実行された特定のアクションに関する詳細なメタデータが含まれます。 「クリーン ルーム イベントシステムテーブルリファレンスを参照してください。

クリーン ルームのアクションは、サービス clean-roomのアカウントの監査ログにも記録されます。 「Clean Rooms イベント」を参照してください。

コラボレーターがメタストア内のセキュリティ保護可能なクリーン ルームのアクセス許可を変更すると、これらの変更は、 unityCatalog サービスの監査ログに記録されます。

請求のしくみを教えてください。

Databricks Clean Rooms の価格の詳細については、 リンクを参照してください。

制限事項

次の制限事項が適用されます。

  • 必要な Databricks Runtime バージョンには、サービス資格情報の Scala ライブラリは含まれていません。

リソースクォータ

Azure Databricks は、すべてのクリーン ルームのセキュリティ保護可能なオブジェクトにリソース クォータを実施します。 これらのクォータは、リソースの制限に記載されています。 これらのリソース制限を超えることが予想される場合は、Azure Databricks アカウント チームにお問い合わせください。

Unity Catalog リソース クォータ API を使用して、クォータの使用状況を監視できます。 「 Unity Catalog リソース クォータの使用状況の監視」を参照してください。

概要

  • Last updated on