DataStream API の使用

環境変数の設定

この手順では、次の変数を設定します。

• $PROJECT: この変数は Google Cloud プロジェクトに関連付けられています。割り当てて使用するGoogle Cloud リソースはすべて、プロジェクトに含まれている必要があります。
• $TOKEN: この変数はアクセス トークンに関連付けられています。アクセス トークンは、Cloud Shell が REST API を使用して Datastream でタスクを実行するために使用するセッションを提供します。

1. Cloud Shell アプリケーションを起動します。

2. Google アカウントを使用してアプリケーションを認証したら、次のコマンドを入力します。

   gcloud auth login
   

3. Do you want to continue (Y/n)? プロンプトで、Y を入力します。

4. ウェブブラウザを開き、URL をブラウザにコピーします。

5. Google アカウントを使用して Google Cloud SDK に対して認証します。[ログイン] ページにコードが表示されます。このコードがアクセス トークンです。

6. アクセス トークンをコピーして、Cloud Shell アプリケーションの Enter verification code: パラメータに貼り付け、Enter を押します。

7. プロンプトで「PROJECT=\"YOUR_PROJECT_NAME\"」と入力して、$PROJECT 環境変数を Google Cloudプロジェクトに設定します。

8. プロンプトで「gcloud config set project YOUR_PROJECT_NAME」を入力して、作業するプロジェクトを Google Cloudプロジェクトに設定します。

   コマンド プロンプトは、アクティブなプロジェクトを反映するように更新され、次の形式が適用されます: USERNAME@cloudshell:~ (YOUR_PROJECT_NAME)$

9. プロンプトで「TOKEN=$(gcloud auth print-access-token)」と入力してアクセス トークンを取得し、変数として保存します。

10. プロンプトで次のコマンドを入力して、$PROJECT 変数と $TOKEN 変数が正しく設定されていることを確認します。

    • echo $PROJECT
    • echo $TOKEN

変数を設定したので、Datastream に対してリクエストを行い、接続プロファイルとストリームの両方を作成して管理できます。

接続プロファイルを作成して管理する

このセクションでは、Cloud Storage のソースの Oracle データベースと転送先バケットの接続プロファイルを作成して、管理します。

これらの接続プロファイルを作成すると、ソースのデータベースと転送先の Cloud Storage バケットに関する情報を含むレコードが作成されます。Datastream は、接続プロファイルの情報を使用して、ソースのデータベースから転送先バケットのフォルダにデータを転送します。

接続プロファイルの作成と管理には、次のものが含まれます。

• ソースの Oracle データベースと Cloud Storage の転送先バケットの接続プロファイルの作成
• 接続プロファイルに関する情報を取得する
• 接続プロファイルの変更
• ソース Oracle 接続プロファイルで Discover API 呼び出しを実行する。この呼び出しにより、データベース内部を覗いてそのオブジェクトに関連付けられているオブジェクトを確認できます。これらのオブジェクトには、データベースのデータを含むスキーマとテーブルが含まれます。Datastream を使用してストリームを構成する際には、すべてのオブジェクトをデータベースから pull するのではなく、オブジェクトのサブセット（たとえば、データベースの特定のテーブルとスキーマ）のみを pull することをおすすめします。Discover API を使用して、取得するデータベース オブジェクトのサブセットを見つけます。

接続プロファイルの作成

この手順では 2 つの接続プロファイル（移行元 Oracle データベースへの接続と、Cloud Storage 内の移行先バケットへの接続）を作成します。

1. 移行元 Oracle データベースへの接続プロファイルを作成するプロンプトが表示されたら、次のコマンドを入力します。

ORACLE="{\"displayName\":\"DISPLAY_NAME\",\"oracle_profile\":{\"hostname\":\"HOSTNAME\",\"username\":\"USERNAME\",\"password\":\"PASSWORD\",\"database_service\":\"DATABASE_SERVICE\",\"port\":"PORT_NUMBER\"},\"no_connectivity\":{}}"
  

次の表は、ソースの Oracle データベースのパラメータ値を理解する際に役立ちます。

1. プロンプトで echo $ORACLE | jq コマンドを入力すると、作成したソースの接続プロファイルが読みやすいテキストで表示されます。

   {
     "displayName": "DISPLAY_NAME",
     "oracle_profile": {
       "hostname": "HOSTNAME",
       "username": "USERNAME",
       "password": "PASSWORD",
       "database_service": "DATABASE_SERVICE",
       "port": PORT_NUMBER
      },
     "no_connectivity": {}
   }

2. Oracle 接続プロファイルを送信して、この接続プロファイルを作成できるようにします。プロンプトが表示されたら、次のコマンドを入力します。

   curl -X POST -d $ORACLE -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" https://datastream.googleapis.com/DATASTREAM_API_VERSION/PROJECT_PATH/connectionProfiles?connection_profile_id=SOURCE_CONNECTION_PROFILE_ID

   次の表は、このコマンドのパラメータ値を理解する際に役立ちます。

   パラメータ値	次のものに変更します
   DATASTREAM_API_VERSION	Datastream API の現在のバージョン（例: v1）。
   PROJECT_PATH	Google Cloud プロジェクトのフルパス（例: projects/$PROJECT/locations/YOUR_PROJECT_LOCATION）。
   SOURCE_CONNECTION_PROFILE_ID	この接続プロファイル用に予約された一意の ID（cp-1 など）。

3. 次のコードの行が表示されていることを確認します。

   {
     "name": "PROJECT_PATH/operations/operation-SOURCE_CONNECTION_PROFILE_OPERATION_ID",
     "metadata": {
       "@type": "type.googleapis.com/google.cloud.datastream.DATASTREAM_API_VERSION.OperationMetadata",
       "createTime": "DATE_AND_TIME_STAMP",
       "target": "datastream.googleapis.com/DATASREAM_VERSION/PROJECT_PATH/connectionProfiles/SOURCE_CONNECTION_PROFILE_ID",
       "verb": "create",
       "requestedCancellation": false,
       "apiVersion": "DATASTREAM_API_VERSION"
     },
     "done": false
   }

4. Cloud Storage の宛先バケットへの接続プロファイルを作成します。プロンプトが表示されたら、次のコマンドを入力します。

   GOOGLECLOUDSTORAGE="{\"displayName\":\"DISPLAY_NAME\",\"gcs_profile\":{\"bucket\":\"BUCKET_NAME\",\"root_path\":\"/FOLDER_PATH\"},\"no_connectivity\":{}}"

   次の表は、転送先バケットのパラメータ値を理解する際に役立ちます。

   パラメータ値	次のものに変更します
   DISPLAY_NAME	転送先バケットの接続プロファイルの表示名。
   BUCKET_NAME	転送先バケットの名前。
   FOLDER_PATH	Datastream がソースのデータベースからデータを転送する転送先バケット内のフォルダ（例: /root/path）。

5. プロンプトで echo $GOOGLECLOUDSTORAGE | jq コマンドを入力すると、作成した転送先の接続プロファイルが読みやすいテキストで表示されます。

   {
     "displayName": "DISPLAY_NAME",
     "gcs_profile": {
       "bucket": "BUCKET_NAME",
       "root_path": "/FOLDER_PATH"
     },
     "no_connectivity": {}
   }

6. Cloud Storage 接続プロファイルを送信して、この接続プロファイルを作成できるようにします。プロンプトが表示されたら、次のコマンドを入力します。

   curl -X POST -d $GOOGLECLOUDSTORAGE -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" https://datastream.googleapis.com/DATASTREAM_API_VERSION/PROJECT_PATH/connectionProfiles?connection_profile_id=DESTINATION_CONNECTION_PROFILE_ID

7. 次のコードの行が表示されていることを確認します。

   {
     "name": "PROJECT_PATH/operations/operation-DESTINATION_CONNECTION_PROFILE_OPERATION_ID",
     "metadata": {
       "@type": "@type": "type.googleapis.com/google.cloud.datastream.DATASTREAM_API_VERSION.OperationMetadata",
       "createTime": "DATE_AND_TIME_STAMP",
       "target": "datastream.googleapis.com/DATASTREAM_VERSION/PROJECT_PATH/connectionProfiles/DESTINATION_CONNECTION_PROFILE_ID",
       "verb": "create",
       "requestedCancellation": false,
       "apiVersion": "DATASTREAM_API_VERSION"
     },
     "done": false
   }

8. 両方の接続プロファイルが作成されていることを確認します。プロンプトが表示されたら、次のコマンドを入力します。

   curl -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" https://datastream.googleapis.com/DATASTREAM_API_VERSION/PROJECT_PATH/connectionProfiles

9. ソースと送信先の両方の接続プロファイルで、2 つの結果が返されることを確認します。

   {
     "connectionProfiles": [
       {
         "name": "PROJECT_PATH/connectionProfiles/DESTINATION_CONNECTION_PROFILE_ID",
         "createTime": "DATE_AND_TIME_STAMP",
         "updateTime": "DATE_AND_TIME_STAMP",