管理已排队的资源

借助已排队的资源,您可以按排队方式请求 Cloud TPU 资源。 在您请求已排队的资源时,请求会被添加到由 Cloud TPU 服务维护的队列中。请求的资源可用后,会分配给您的 Google Cloud 项目,供您立即专门使用。除非您将该资源删除或被抢占,否则该资源仍会分配给您的项目。只有 TPU Spot 虚拟机和抢占式 TPU 才符合抢占条件。

您可以在已排队的资源请求中指定可选的开始时间和结束时间。开始时间用于指定完成请求的最早时间。如果请求未在指定的结束时间之前完成,则请求会失效。请求在失效后仍会保留在队列中。

已排队的资源请求可以处于以下任一状态:

WAITING_FOR_RESOURCES
请求已通过初始验证,并已添加到队列中。在有足够的可用资源可开始预配您的请求或分配时间间隔到期之前,请求会保持此状态。当需求较高时,并非所有请求都可以立即预配。如果您需要更可靠的 TPU 可获取性,请考虑购买预留。
PROVISIONING
已从队列中选择请求,并且正在分配其资源。
ACTIVE
请求已分配。当已排队的资源请求处于 ACTIVE 状态时,您可以按照管理 TPU 中所述管理 TPU 虚拟机。
FAILED
请求无法完成,原因是请求存在问题,或者请求的资源在分配时间间隔内不可用。请求会保留在队列中,直到它被明确删除为止。
SUSPENDING
与请求关联的资源正在被删除。
SUSPENDED
请求中指定的资源已被删除。当请求处于 SUSPENDED 状态时,就不再符合进一步分配的条件。

前提条件

在运行本指南中的命令之前,您必须安装 Google Cloud CLI、创建 Google Cloud 项目并启用 Cloud TPU API。如需查看相关说明,请参阅设置 Cloud TPU 环境

如果您使用的是某个 Cloud 客户端库,请按照适用于您所用语言的设置说明执行操作。

请求按需排队的资源

按需资源不会被抢占,但按需配额不能保证有足够的可用 Cloud TPU 资源来满足您的请求。如需详细了解按需资源,请参阅配额类型

gcloud

gcloud compute tpus queued-resources create your-queued-resource-id \
    --node-id your-node-id \
    --project your-project-id \
    --zone us-central1-a \
    --accelerator-type v5litepod-8 \
    --runtime-version v2-alpha-tpuv5-lite

命令参数说明

queued-resource-id
已排队的资源请求的用户分配 ID。
node-id
用户分配的 TPU ID,该 ID 是在分配已排队的资源请求时创建的。
project
您的 Google Cloud 项目。
zone
拟在其中创建 Cloud TPU 的可用区
accelerator-type
加速器类型用于指定您要创建的 Cloud TPU 的版本和大小。如需详细了解每个 TPU 版本支持的加速器类型,请参阅 TPU 版本
runtime-version
Cloud TPU 软件版本

curl

curl -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-d "{
    'tpu': {
    'node_spec': {
        'parent': 'projects/your-project-number/locations/us-central1-a',
        'node_id': 'your-node-id',
        'node': {
        'accelerator_type': 'v5litepod-8',
        'runtime_version': 'v2-alpha-tpuv5-lite',
        }
    }
    }
}" \
https://tpu.googleapis.com/v2alpha1/projects/your-project-id/locations/us-central1-a/queuedResources?queued_resource_id=your-queued-resource-id

命令参数说明

queued-resource-id
已排队的资源请求的用户分配 ID。
node-id
用户分配的 TPU ID,该 ID 是在分配已排队的资源请求时创建的。
project
您的 Google Cloud 项目。
zone
拟在其中创建 Cloud TPU 的可用区
accelerator-type
加速器类型用于指定您要创建的 Cloud TPU 的版本和大小。如需详细了解每个 TPU 版本支持的加速器类型,请参阅 TPU 版本
runtime-version
Cloud TPU 软件版本

控制台

  1. 在 Google Cloud 控制台中,前往 TPU 页面:

    前往 TPU

  2. 点击创建 TPU

  3. 名称字段中,输入 TPU 的名称。

  4. 可用区框中,选择您要在其中创建 TPU 的可用区。

  5. TPU 类型框中,选择加速器类型。加速器类型用于指定您要创建的 Cloud TPU 的版本和大小。如需详细了解每个 TPU 版本支持的加速器类型,请参阅 TPU 版本

  6. TPU 软件版本框中,选择软件版本。创建 Cloud TPU 虚拟机时,TPU 软件版本用于指定要安装的 TPU 运行时的版本。如需了解详情,请参阅 TPU 软件版本

  7. 点击启用排队切换开关。

  8. 已排队资源的名称字段中,输入已排队的资源请求的名称。

  9. 点击创建以创建已排队的资源请求。

Java

如需向 Cloud TPU 进行身份验证,请设置应用默认凭证。如需了解详情,请参阅为本地开发环境设置身份验证

import com.google.cloud.tpu.v2alpha1.CreateQueuedResourceRequest;