Criar uma instância do Managed Lustre

Uma instância do Google Cloud Managed Lustre é um sistema de arquivos Lustre completo na nuvem. Ela pode ser montada em uma VM do Compute Engine ou em um cluster do Google Kubernetes Engine (GKE). Você acessa os dados na instância usando a terminologia POSIX padrão.

Ao criar uma instância do Managed Lustre, é necessário definir as seguintes propriedades:

  • O nome da instância, usado por Google Cloud.
  • O nome do sistema de arquivos, usado por ferramentas do lado do cliente, como lfs.
  • A capacidade de armazenamento em gibibytes (GiB). A capacidade pode variar de 9.000 GiB a 84.016.000 GiB (80,1 PiB). O tamanho máximo de uma instância depende do nível de desempenho dela.
  • O nível de desempenho. O Managed Lustre oferece níveis de desempenho que variam de 125 MBps por TiB a 1.000 MBps por TiB, além de um nível dinâmico que otimiza o desempenho com base em padrões de acesso aos dados, com uma capacidade de processamento agregada de 25 MBps por TiB.
  • O local. Para ter o melhor desempenho, localize a instância na mesma zona das VMs do cliente ou do cluster do GKE.
  • A rede VPC para essa instância. Ela precisa ser a mesma rede usada para suas VMs ou clusters.

Níveis de desempenho e capacidades máximas de armazenamento

O Managed Lustre oferece quatro níveis de desempenho definidos e um nível dinâmico. Os níveis de desempenho afetam o tamanho mínimo e máximo da instância e o tamanho da etapa entre os valores de capacidade aceitáveis. Não é possível mudar o nível de desempenho de uma instância depois que ela é criada.

Consulte Níveis de desempenho para mais detalhes.

É possível aumentar a capacidade de armazenamento de uma instância depois que ela é criada, até o valor máximo permitido para o nível de desempenho e a taxa de aprendizado.

Calculadora de capacidade

Selecione um nível de desempenho e insira a capacidade de destino para encontrar o tamanho válido mais próximo. Os tamanhos válidos são arredondados com base no tamanho mínimo e na etapa do nível.

Cota de capacidade de armazenamento

A cota de capacidade de armazenamento disponível depende de muitos fatores, incluindo o local da instância e o nível de desempenho solicitado.

A cota de capacidade de armazenamento padrão é por rede de nuvem privada virtual (VPC) por zona e é compartilhada em todos os níveis de desempenho. O uso de capacidade em um nível reduz a cota de capacidade de armazenamento disponível nos outros níveis.

Consulte Cotas e limites para mais detalhes.

Permissões necessárias

Para criar uma instância do Managed Lustre, você precisa ter permissões de administrador do Managed Lustre (roles/lustre.admin) do IAM para seu projeto.

Consulte Controle de acesso com o IAM para mais detalhes.

Você também precisa ativar a API Managed Lustre.

Criar uma instância

É possível criar uma instância do Managed Lustre nas seguintes interfaces.

gcloud

Para criar uma instância do Managed Lustre, use o gcloud lustre instances create comando:

gcloud lustre instances create INSTANCE_ID \
  --per-unit-storage-throughput=PER_UNIT_STORAGE_THROUGHPUT \
  --capacity-gib=CAPACITY_GIB \
  --filesystem=FILESYSTEM \
  --location=LOCATION \
  --network=NETWORK_PATH

Os seguintes valores precisam ser especificados:

  • INSTANCE_ID é o nome dessa instância do Managed Lustre. Ele precisa:

    • Conter apenas letras minúsculas, números e hifens.
    • Começar com uma letra.
    • Ter entre 1 e 63 caracteres.
    • Terminar com um número ou uma letra.
    • Ser exclusivo no projeto e no local.

  • --per-unit-storage-throughput é a capacidade máxima de processamento da instância em MBps por TiB. Os valores válidos são 0, 125, 250, 500 e 1000. A escolha da capacidade de processamento afeta a capacidade mínima e máxima de armazenamento da instância.

    Para especificar o nível dinâmico, defina esse valor como 0 e inclua a flag --dynamic-tier-options-mode=DEFAULT_CACHE. Exemplo:

    gcloud lustre instances create my-dynamic-tier-instance \
  --per-unit-storage-throughput=0 \
  --dynamic-tier-options-mode=DEFAULT_CACHE \
  ...

  • --capacity-gib é a capacidade de armazenamento da instância em gibibytes (GiB). Os valores permitidos dependem do nível de capacidade de processamento de armazenamento especificado. Consulte a seção Níveis de desempenho e capacidades máximas de armazenamento para mais detalhes.

  • --filesystem é o nome a ser atribuído a esse sistema de arquivos Lustre. Esse nome é usado por comandos do lado do cliente, incluindo mount e lfs. Ele precisa ter 8 caracteres ou menos, só pode conter letras e/ou números e diferencia maiúsculas de minúsculas.

    Recomendamos escolher um nome exclusivo para todas as instâncias do Managed Lustre na VPC. Isso permite que várias instâncias sejam usadas em um único nó do GKE.

  • --location precisa ser uma zona válida compatível com o Managed Lustre. Google Cloud Consulte Locais compatíveis para conferir uma lista completa.

  • --network é o caminho completo da rede VPC a que a instância pertence, no formato projects/PROJECT_ID/global/networks/NETWORK. Consulte Configurar uma rede VPC.

  • --project é o ID do Google Cloud projeto.

As flags opcionais são as seguintes:

  • --dynamic-tier-options-mode especifica o nível dinâmico para essa instância. Defina o valor dessa flag como DEFAULT_CACHE e defina --per-unit-storage-throughput=0 para ativar o nível dinâmico.

  • --kms-key-name especifica uma chave de criptografia gerenciada pelo cliente para criptografar essa instância. Consulte Chaves de criptografia gerenciadas pelo cliente para Managed Lustre para mais detalhes.

  • --async (opcional) executa o comando de forma assíncrona. Em vez de esperar a conclusão da criação da instância, a Google Cloud CLI retorna um ID de operação que pode ser usado para consultar o status do comando.

Uma solicitação bem-sucedida retorna um ID de operação:

Create request issued for: [$INSTANCE_ID]
Waiting for operation [projects/$PROJECT_ID/locations/us-central1-a/operations/
operation-1234567890-609d21deae6f0-befaf0bc-867b1aa1] to complete...

A criação da instância leva aproximadamente 15 minutos para uma instância com capacidade de 9.000 GiB, até várias horas para uma instância com capacidade de 84.016.000 GiB (80,1 PiB). Consulte Consultar o status de criação da instância para instruções sobre como verificar o status da solicitação.

REST

Para criar uma instância usando a API REST, envie uma solicitação para o seguinte endpoint:

POST https://lustre.googleapis.com/v1/projects/PROJECT_ID/locations/ZONE/instances?instanceId=INSTANCE_ID
Authorization: Bearer AUTH_TOKEN
{
  "filesystem": string,
  "perUnitStorageThroughput": int64,
  "capacityGib": int64,
  "network": string
}

Os seguintes valores precisam ser especificados:

  • PROJECT_ID é o ID do Google Cloud projeto.

  • ZONE precisa ser uma zona válida compatível com o Managed Lustre. Google Cloud Consulte Locais compatíveis para conferir uma lista completa.

  • INSTANCE_ID é o nome dessa instância do Managed Lustre. Ele precisa:

    • Conter apenas letras minúsculas, números e hifens.
    • Começar com uma letra.
    • Ter entre 1 e 63 caracteres.
    • Terminar com um número ou uma letra.
    • Ser exclusivo no projeto e no local.

  • filesystem é o nome a ser atribuído a esse sistema de arquivos Lustre. Esse nome é usado por comandos do lado do cliente, incluindo mount e lfs. Ele precisa ter 8 caracteres ou menos, só pode conter letras e/ou números e diferencia maiúsculas de minúsculas.

    Recomendamos escolher um nome de sistema de arquivos exclusivo para todas as instâncias do Managed Lustre na VPC. Isso permite que várias instâncias sejam usadas em um único nó do GKE.

  • perUnitStorageThroughput é a capacidade máxima de processamento da instância em MBps por TiB. Os valores válidos são 0, 125, 250, 500 e 1000. A escolha da capacidade de processamento afeta a capacidade mínima e máxima de armazenamento da instância.

    Para especificar o nível dinâmico, defina esse valor como 0 e inclua o objeto dynamicTierOptions. Exemplo:

    "perUnitStorageThroughput": 0,
"dynamicTierOptions": {
  "mode": "DEFAULT_CACHE"
}

  • capacityGib é a capacidade de armazenamento da instância em gibibytes (GiB). Os valores permitidos dependem do nível de capacidade de processamento de armazenamento especificado. Consulte a seção Níveis de desempenho e capacidades máximas de armazenamento para mais detalhes.

  • network é o caminho completo da rede VPC a que a instância pertence, no formato projects/PROJECT_ID/global/networks/NETWORK. Consulte Configurar uma rede VPC.

Os seguintes campos são opcionais:

  • dynamicTierOptions ativa o nível dinâmico para essa instância. O campo mode no objeto dynamicTierOptions precisa ser definido como DEFAULT_CACHE, e perUnitStorageThroughput precisa ser 0 para ativar o nível dinâmico.

  • kmsKey especifica uma chave de criptografia gerenciada pelo cliente para criptografar essa instância. Consulte Chaves de criptografia gerenciadas pelo cliente para Managed Lustre para mais detalhes.

A API oferece suporte a outros campos opcionais para instâncias. Consulte a documentação de referência do recurso Instance para conferir uma lista completa e descrições.