TPU Flex Start VM をリクエストする

Dynamic Workload Scheduler を活用した TPU Flex Start VM は、AI ワークロードの TPU リソースに柔軟かつ費用対効果の高い方法でアクセスできるようにします。Flex Start VM を使用すると、長期的な予約や複雑な割り当て管理を行うことなく、最大 7 日間、必要に応じて TPU を動的にプロビジョニングできます。TPU Flex Start VM では、容量が利用可能になるまで保持される TPU プロビジョニングリクエストを送信します。利用可能になると、TPU VM がリクエストで指定した期間実行されます。

TPU Flex Start VM は、迅速なテスト、小規模なテスト、推論ワークロード用の TPU の動的プロビジョニング、モデルのファインチューニング、7 日未満のワークロード実行に適しています。他の TPU 使用オプションの詳細については、Cloud TPU の使用オプションをご覧ください。

TPU リソースはいつでも削除して課金を停止できます。TPU の料金の詳細については、Cloud TPU の料金をご覧ください。

制限事項

TPU Flex Start VM には次の制限があります。

TPU Flex Start VM をリクエストできる期間は最大 7 日間です。
リクエストできる Cloud TPU のバージョンとゾーンは次のとおりです。
- TPU v6e: asia-northeast1-b、us-east5-a
- TPU v5p: us-east5-a
- TPU v5e: us-west4-a
TPU Flex Start VM を使用するには、Queued Resources API を使用する必要があります。

始める前に

TPU Flex Start VM をリクエストする前に、次の作業を行う必要があります。

Google Cloud CLI をインストールする
Google Cloud プロジェクトを作成する
Cloud TPU API を有効にする

詳細については、Cloud TPU 環境を設定するをご覧ください。

また、TPU Flex Start VM を使用するために十分なプリエンプティブル割り当てがあることも確認する必要があります。デフォルトの割り当てで付与される量よりも多くの TPU コアが必要な場合は、割り当ての引き上げをリクエストする必要があります。デフォルトと割り当ての追加リクエストの詳細については、Cloud TPU の割り当てをご覧ください。

TPU Flex Start VM をリクエストする

TPU Flex Start VM は、Queued Resources API を使用して、キュー方式で TPU リソースをリクエストします。リクエストされたリソースが使用可能になると、 Google Cloud プロジェクトに割り当てられ、すぐに独占的に使用できるようになります。リクエストされた実行時間が経過すると、TPU VM が削除され、キューに格納されたリソースは SUSPENDED 状態に移行します。キューに格納されたリソースの詳細については、キューに格納されたリソースを管理するをご覧ください。

TPU Flex Start VM をリクエストするには、--provisioning-model フラグを flex-start に設定し、--max-run-duration フラグを TPU の実行時間に設定して gcloud alpha compute tpus queued-resources create コマンドを使用します。

gcloud alpha compute tpus queued-resources create QUEUED_RESOURCE_ID \
    --zone=ZONE \
    --accelerator-type=ACCELERATOR_TYPE \
    --runtime-version=RUNTIME_VERSION \
    --node-id=NODE_ID \
    --provisioning-model=flex-start \
    --max-run-duration=RUN_DURATION

各プレースホルダを次のように置き換えます。

QUEUED_RESOURCE_ID: キューに格納されたリソースリクエストのユーザー割り当て ID。
ZONE: TPU VM を作成するゾーン。
ACCELERATOR_TYPE: 作成する Cloud TPU のバージョンとサイズを指定します。TPU の各バージョンでサポートされているアクセラレータタイプの詳細については、TPU のバージョンをご覧ください。
RUNTIME_VERSION: Cloud TPU ソフトウェアのバージョン。
NODE_ID: キューに格納されたリソースリクエストの割り当て時に作成される TPU のユーザー割り当て ID。
RUN_DURATION: TPU の実行時間。期間を、日数、時間、分、秒としてフォーマットし、その後に d、h、m、s を続けて指定します。たとえば、期間を 72 時間にする場合は 72h を指定します。期間を 1 日、2 時間、3 分、4 秒にする場合は