データセットを管理する

コンソール

1. 宛先データセットに対して BigQuery Data Transfer Service を有効にします。

   BigQuery Data Transfer Service API を有効にする

2. 必要なロールがあることを確認します。

   Pub/Sub の転送実行通知を設定する場合は（これらの手順の後述のオプション 2）、pubsub.topics.setIamPolicy 権限が必要です。

   メール通知のみを設定する場合は、Pub/Sub 権限は必要ありません。詳細については、BigQuery Data Transfer Service の実行通知をご覧ください。

3. ソース　データセットと同じリージョンまたは別のリージョンに BigQuery データセットを作成します。

オプション 1: BigQuery のコピー関数を使用する

1 回限りの転送を作成するには、BigQuery のコピー関数を使用します。

1. [BigQuery] ページに移動します。

   [BigQuery] に移動

2. 左側のペインで、explore [エクスプローラ] をクリックします。

   

   左側のペインが表示されていない場合は、[last_page 左ペインを開く] をクリックしてペインを開きます。

3. [エクスプローラ] ペインでプロジェクトを開き、[データセット] をクリックして、データセットを選択します。

4. [データセット情報] セクションで、[content_copy コピー] をクリックし、次の操作を行います。

   1. [データセット] フィールドで、新しいデータセットを作成するか、リストから既存のデータセット ID を選択します。

      プロジェクト内のデータセット名は一意である必要があります。プロジェクトとデータセットは異なるリージョンに存在していてもかまいませんが、リージョンを越えたコピーができるのは一部のリージョンのみに限られます。

      [ロケーション] フィールドに、ソース データセットのロケーションが表示されます。

   2. 省略可: 宛先テーブルのデータとスキーマの両方をソーステーブルで上書きするには、[宛先テーブルを上書きする] チェックボックスをオンにします。ソースと宛先の両方のテーブルは、同じパーティショニング スキーマを持つ必要があります。

   3. データセットをコピーするには、[コピー] をクリックします。

オプション 2: BigQuery Data Transfer Service を使用する

定期的なコピーをスケジュールし、メールまたは Pub/Sub 通知を構成するには、宛先プロジェクトの Google Cloud コンソールで BigQuery Data Transfer Service を使用します。

1. [データ転送] ページに移動します。

   [データ転送] に移動

2. [転送を作成] をクリックします。

3. [ソース] リストで、[データセット コピー] を選択します。

4. [表示名] フィールドに、転送実行の名前を入力します。

5. [スケジュール オプション] セクションで、次の操作を行います。

   1. [繰り返しの頻度] で、転送を実行する頻度のオプションを選択します。

      [カスタム] を選択した場合は、カスタム頻度（たとえば、every day 00:00）を入力します。詳細については、スケジュールのフォーマットをご覧ください。

   2. [開始日と実行時間] に、転送を開始する日付と時刻を入力します。[すぐに開始可能] を選択した場合、このオプションは無効になります。

6. [転送先の設定] セクションで、転送データを保存する宛先データセットを選択します。[新しいデータセットの作成] をクリックして、この転送用に選択する前に新しいデータセットを作成することもできます。

7. [データソースの詳細] に、次の情報を入力します。

   1. [ソース データセット] に、コピーするデータセット ID を入力します。
   2. [ソース プロジェクト] に、ソースデータセットのプロジェクト ID を入力します。

8. 宛先テーブルのデータとスキーマの両方をソーステーブルで上書きするには、[宛先テーブルを上書きする] チェックボックスをオンにします。ソースと宛先の両方のテーブルは、同じパーティショニング スキーマを持つ必要があります。

9. [サービス アカウント] メニューで、Google Cloud プロジェクトに関連付けられているサービス アカウントからサービス アカウントを選択します。ユーザー認証情報を使用する代わりに、サービス アカウントを転送に関連付けることができます。データ転送でサービス アカウントを使用する方法の詳細については、サービス アカウントの使用をご覧ください。

   • フェデレーション ID でログインした場合、転送を作成するにはサービス アカウントが必要です。Google アカウントでログインした場合、転送用のサービス アカウントは省略可能です。
   • サービス アカウントには必要なロールが付与されている必要があります。

10. 省略可: [通知オプション] セクションで、次のようにします。

    • メール通知を有効にするには、切り替えボタンをクリックします。このオプションを有効にすると、転送の実行が失敗した場合、転送構成のオーナーがメール通知を受信します。
    • Pub/Sub 通知を有効にするには、切り替えボタンをクリックしてから、リストからトピック名を選択するか、トピックを作成するをクリックするかします。このオプションで、Pub/Sub の転送実行通知を構成します。

11. [保存] をクリックします。

bq

1. 宛先データセットに対して BigQuery Data Transfer Service を有効にします。

2. 必要なロールがあることを確認します。

3. BigQuery データセットを作成するには、データセット作成フラグ --dataset と location フラグとともに bq mk コマンドを使用します。

   bq mk \
     --dataset \
     --location=LOCATION \
     PROJECT:DATASET

   次のように置き換えます。

   • LOCATION: データセットをコピーするロケーション
   • PROJECT: ターゲット データセットのプロジェクト ID
   • DATASET: ターゲット データセットの名前

4. データセットをコピーするには、転送作成フラグ --transfer_config と --data_source フラグとともに bq mk コマンドを使用します。--data_source フラグを cross_region_copy に設定する必要があります。--data_source フラグの有効な値の一覧については、bq コマンドライン ツール リファレンスの transfer-config フラグをご覧ください。

   bq mk \
     --transfer_config \
     --project_id=PROJECT \
     --data_source=cross_region_copy \
     --target_dataset=DATASET \
     --display_name=NAME \
    --service_account_name=SERCICE_ACCOUNT \
     --params='PARAMETERS'

   次のように置き換えます。

   • NAME: コピージョブまたは転送構成の表示名

   • SERVICE_ACCOUNT: 転送の認証に使用されるサービス アカウント名。サービス アカウントは、転送の作成に使用した project_id が所有している必要があります。また、必要な権限がすべて付与されている必要があります。

   • PARAMETERS: 転送構成のパラメータ（JSON 形式）

     データセット コピー構成のパラメータは次のものを含みます。

     • source_dataset_id: コピーするソース データセットの ID
     • source_project_id: ソース データセットがあるプロジェクトの ID
     • overwrite_destination_table: 前のコピーのテーブルを切り捨て、すべてのデータを更新できるオプションのフラグ

     ソースと宛先の両方のテーブルは、同じパーティショニング スキーマを持つ必要があります。

   次の例は、システムの環境に基づいたパラメータの形式を示しています。

   • Linux: 単一引用符を使用して JSON 文字列を囲みます。次に例を示します。

     '{"source_dataset_id":"mydataset","source_project_id":"mysourceproject","overwrite_destination_table":"true"}'
     

   • Windows コマンドライン: 二重引用符を使用して JSON 文字列を囲み、文字列内の二重引用符をバックスラッシュでエスケープします。次に例を示します。

     "{\"source_dataset_id\":\"mydataset\",\"source_project_id\":\"mysourceproject\",\"overwrite_destination_table\":\"true\"}"
     

   • PowerShell: 単一引用符を使用して JSON 文字列を囲み、文字列内の二重引用符をバックスラッシュでエスケープします。次に例を示します。

     '{\"source_dataset_id\":\"mydataset\",\"source_project_id\":\"mysourceproject\",\"overwrite_destination_table\":\"true\"}'
     

   たとえば、次のコマンドは、mydataset というターゲット データセットと ID が myproject のプロジェクトを使用して My Transfer という名前のデータセット コピー構成を作成します。

   bq mk \
     --transfer_config \
     --project_id=myproject \
     --data_source=cross_region_copy \
     --target_dataset=mydataset \
     --display_name='My Transfer' \
     --params='{
         "source_dataset_id":"123_demo_eu",
         "source_project_id":"mysourceproject",
         "overwrite_destination_table":"true"
         }'

API

1. 宛先データセットに対して BigQuery Data Transfer Service を有効にします。

2. 必要なロールがあることを確認します。

3. BigQuery データセットを作成するには、定義済みのデータセット リソースを指定して datasets.insert メソッドを呼び出します。

4. データセットをコピーするには、projects.locations.transferConfigs.create メソッドを使用し、TransferConfig リソースのインスタンスを提供します。

Java

import com.google.api.gax.rpc.ApiException;
import com.google.cloud.bigquery.datatransfer.v1.CreateTransferConfigRequest;
import com.google.cloud.bigquery.datatransfer.v1.DataTransferServiceClient;
import com.google.cloud.bigquery.datatransfer.v1.ProjectName;
import com.google.cloud.bigquery.datatransfer.v1.TransferConfig;
import com.google.protobuf.Struct;
import com.google.protobuf.Value;
import java.io.IOException;
import java.util.HashMap;
import java.util.Map;

// Sample to copy dataset from another gcp project
public class CopyDataset {

  public static void main(String[] args) throws IOException {
    // TODO(developer): Replace these variables before running the sample.
    final String destinationProjectId = "MY_DESTINATION_PROJECT_ID";
    final String destinationDatasetId = "MY_DESTINATION_DATASET_ID";
    final String sourceProjectId = "MY_SOURCE_PROJECT_ID";
    final String sourceDatasetId = "MY_SOURCE_DATASET_ID";
    Map<String, Value> params = new HashMap<>();
    params.put("source_project_id", Value.newBuilder().setStringValue(sourceProjectId).build());
    params.put("source_dataset_id", Value.newBuilder().setStringValue(sourceDatasetId).build());
    TransferConfig transferConfig =
        TransferConfig.newBuilder()