Dataplex Universal Catalog でリソースを検索する

このドキュメントでは、Dataplex Universal Catalog を使用して、BigQuery データセット、Cloud SQL インスタンス、その他のサポートされているソースなどのリソースを検索する方法について説明します。分散データソースを一元的に配置することで、企業データのカタログ作成、分類、アクセス制御、ガバナンスを行うことができます。

Dataplex Universal Catalog には、次の 2 つの検索モードがあります。

キーワード検索では、特定のキーワード、フィルタ、定義された構文を使用してリソースを検索できます。
自然言語検索は、AI を活用してセマンティッククエリをサポートします。普段使う言葉でリソースを検索できます。複雑な構文を使用する必要はありません。

検索範囲

Dataplex Universal Catalog の検索結果には、ソースシステム内の対応するリソースに対する権限が適用されます。

たとえば、オブジェクトに対する BigQuery メタデータの読み取りアクセス権を持っている場合、そのオブジェクトは Dataplex Universal Catalog の検索結果に表示されます。BigQuery テーブルへのアクセス権はあるものの、そのテーブルを含むデータセットへのアクセス権がない場合、依然としてテーブルは Dataplex Universal Catalog の検索で想定どおりに表示されます。

デフォルトでは、検索の範囲は組織に限定されています。検索結果には、検索対象のプロジェクトと同じ組織のリソースのみが含まれます。

検索結果には、検索が実行されるプロジェクトと同じ VPC Service Controls 境界に属するリソースのみが含まれます。Google Cloud コンソールを使用する場合、これはコンソールで選択したプロジェクトです。

プロジェクトの VPC Service Controls 境界内のリソースを超えて検索結果の範囲を広げるには、VPC Service Controls の上り（内向き）と下り（外向き）のルールを使用します。これらのルールにより、組織全体で限定公開かつ効率的なデータ交換が可能になります。上り（内向き）ルールと下り（外向き）ルールは、Google Cloud コンソール、JSON ファイル、YAML ファイルのいずれかを使用して構成できます。次の YAML の例と VPC Service Controls のドキュメントを参照して、ルールを特定の要件に合わせて調整します。

egressPolicies:
  - egressFrom:
      identityType: ANY_USER_ACCOUNT
    egressTo:
      # Specify which resources should be present in the search results. In this example,
      # BigQuery.
      operations:
      - methodSelectors:
        - method: '*'
        serviceName: bigquery.googleapis.com
      # Specify project ids under which the search is performed.
      resources:
      - projects/SEARCH_PROJECT_ID
ingressPolicies:
  - ingressFrom:
      identityType: ANY_USER_ACCOUNT
      sources:
      - accessLevel: '*'
    ingressTo:
      # Specify which resources should be present in the search results. In this example,
      # BigQuery.
      operations:
      - methodSelectors:
        - method: '*'
        serviceName: bigquery.googleapis.com
      # Specify project ids to expose in search results.
      resources:
      - projects/INGRESS_PROJECT_ID

Dataplex Universal Catalog 検索に必要な Identity and Access Management ロールの詳細については、Dataplex Universal Catalog IAM ロールをご覧ください。

VPC Service Controls を使用して環境ごとに検索結果を分離する

開発環境、テスト環境、本番環境などの環境間で Dataplex Universal Catalog の検索結果を分離するには、各環境に個別の VPC Service Controls 境界を構成します。データアセットを含むプロジェクトと、検索の実行に使用されるプロジェクトの両方を、対応する環境の境界に割り当てます。特定の境界内のプロジェクトから実行された検索では、同じ境界内にあるアセットの結果のみが返されます。

検索での再現率の上限

Dataplex Universal Catalog の検索クエリは、完全な再現率を保証するものではありません。クエリに一致する結果が返されない場合があります。また、検索クエリを繰り返すと、返される結果（または返されない結果）が変わることがあります。

Dataplex Universal Catalog のメタデータをすべてクエリするには、メタデータを Cloud Storage にエクスポートしてから、BigQuery からクエリします。詳細については、メタデータをエクスポートするをご覧ください。

フィルタ

フィルタを使用すると、検索結果を絞り込むことができます。フィルタはキーワード検索と自然言語検索の両方で使用できますが、モードによって使用できるオプションが若干異なる場合があります。

複数のセクションでフィルタを指定すると、フィルタは AND 論理演算子を使用して評価されます。検索結果には、選択したすべてのセクションで 1 つ以上の条件に一致するリソースが含まれます。たとえば、BigQuery システムとデータセットリソースタイプを選択した場合、検索結果には BigQuery データセットが含まれますが、Vertex AI データセットは含まれません。

1 つのセクションで複数のフィルタを選択すると、それらは OR 論理演算子を使用して評価されます。たとえば、データセットリソースタイプとテーブルリソースタイプを選択すると、検索結果にはデータセットとテーブルの両方が含まれます。

キーワード検索の場合、フィルタは次のセクションにグループ化されます。

[システム]（BigQuery、Cloud SQL など）。Dataplex Universal Catalog システムにはカスタムエントリが含まれています。
[アスペクト（タグ）] には、使用可能なすべてのアスペクトが一覧表示されます。
[プロジェクト] には、使用可能なすべてのプロジェクトが一覧表示されます。
[タイプエイリアス] には、データベース、データセット、モデル、テーブル、ビュー、サービス、カスタムタイプなどのリソースタイプが記述されます。
[データセット] の値は BigQuery から取得されます。