Creare un catalogo

La creazione di un endpoint del catalogo (ad esempio un endpoint del catalogo REST Apache Iceberg o un endpoint del catalogo Apache Hive) stabilisce un endpoint di gestione all'interno del catalogo runtime Lakehouse.

Questo endpoint rimanda a un bucket Cloud Storage sottostante, fornendo un livello di metadati che consente ai motori di query e ai carichi di lavoro open source di interagire direttamente con le tabelle.

Quando crei l'endpoint del catalogo per Lakehouse per Apache Iceberg, puoi scegliere tra le credenziali dell'utente finale o la modalità di distribuzione delle credenziali per la delega dell'accesso allo spazio di archiviazione.

Prima di iniziare

  1. Leggi Informazioni sul catalogo runtime Lakehouse per capire come funziona il catalogo runtime Lakehouse e le limitazioni del servizio.
    2. Accedi al tuo Google Cloud account. Se non hai mai utilizzato Google Cloud, crea un account per valutare il rendimento dei nostri prodotti in scenari reali. I nuovi clienti ricevono anche 300 $di crediti senza costi per eseguire, testare e implementare i carichi di lavoro.

    In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

    Verify that billing is enabled for your Google Cloud project.

    Enable the BigLake API.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the API

    In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

    Verify that billing is enabled for your Google Cloud project.

    Enable the BigLake API.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the API

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per creare un catalogo e registrare le tabelle, chiedi all'amministratore di concederti i seguenti ruoli IAM:

  • Crea un catalogo:
  • Crea (registra) tabelle: BigLake Admin (roles/biglake.admin) sul tuo progetto. La registrazione delle tabelle in un catalogo con più bucket richiede l'autorizzazione di registrazione della tabella specifica (biglake.tables.register), inclusa nel ruolo BigLake Admin.
  • Utilizza il account di servizio del catalogo con provisioning automatico in modalità di distribuzione delle credenziali: Storage Object User (roles/storage.objectUser) sui bucket Cloud Storage di destinazione. Dopo aver creato il catalogo, concedi esplicitamente il ruolo Storage Object User (roles/storage.objectUser) sui bucket di archiviazione al account di servizio con provisioning automatico.

Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.

Crea un catalogo

Crea un catalogo.

Crea un catalogo

Segui questi passaggi per creare un catalogo in base alla modalità di credenziali e al tipo di bucket che preferisci. Per saperne di più sui diversi tipi di catalogo, consulta Informazioni sull'endpoint del catalogo REST Apache Iceberg.

Console

Crea un catalogo con più bucket (bl://) (opzione consigliata)

Questa configurazione consente al catalogo di associare più bucket e di assegnare un nome al catalogo indipendentemente dal nome del bucket.

  1. Apri la pagina Lakehouse nella Google Cloud console.

    Vai a Lakehouse

  2. Fai clic su Crea catalogo.

  3. In Tipo di catalogo, seleziona Catalogo REST Iceberg.

  4. In Opzioni del bucket del catalogo Lakehouse, seleziona Catalogo con più bucket.

  5. In Percorso Cloud Storage del catalogo predefinito, inserisci o cerca il percorso Cloud Storage da utilizzare con il catalogo.

  6. In ID catalogo, inserisci un nome personalizzato per il catalogo.

  7. In Località principale, seleziona una località. La località deve essere vicina alle regioni del bucket principale.

  8. Fai clic su Continua.

  9. Nel passaggio Percorsi dati , aggiungi altri percorsi Cloud Storage, se necessario.

  10. Fai clic su Continua.

  11. In Metodo di autenticazione, seleziona Credenziali dell'utente finale o Modalità di distribuzione delle credenziali.

  12. Fai clic su Crea.

    Il catalogo viene creato e si apre la pagina Dettagli catalogo.

  13. Se hai selezionato Modalità di distribuzione delle credenziali, segui questi passaggi aggiuntivi:

    1. In Metodo di autenticazione, fai clic su Imposta autorizzazioni bucket.
    2. Nella finestra di dialogo, fai clic su Conferma.

Crea un catalogo con un solo bucket (gs://)

  1. In Tipo di catalogo, seleziona Catalogo REST Iceberg o Hive Metastore.
  2. In Opzioni del bucket del catalogo Lakehouse, seleziona Catalogo con un solo bucket.
  3. In Percorso Cloud Storage del catalogo predefinito, inserisci o cerca il percorso Cloud Storage da utilizzare con il catalogo. (Per un catalogo con un solo bucket (gs://), puoi avere un solo catalogo per bucket e il nome del catalogo corrisponde al nome del bucket).
  4. Fai clic su Continua.
  5. In Metodo di autenticazione, seleziona Credenziali dell'utente finale o Modalità di distribuzione delle credenziali.
  6. Fai clic su Crea.
  7. Se hai selezionato Modalità di distribuzione delle credenziali, segui questi passaggi aggiuntivi:
    1. In Metodo di autenticazione, fai clic su Imposta autorizzazioni bucket.
    2. Nella finestra di dialogo, fai clic su Conferma.

gcloud

Crea un catalogo con più bucket (bl://) (opzione consigliata)

Questa configurazione consente al catalogo di associare più bucket e di assegnare un nome al catalogo indipendentemente dal nome del bucket.

Per creare un catalogo con più bucket (bl://) (opzione consigliata), esegui il gcloud biglake iceberg catalogs create comando.

gcloud biglake iceberg catalogs create \
    CATALOG_NAME \
    --project PROJECT_ID \
    --catalog-type biglake \
    --default-location DEFAULT_LOCATION \
    --credential-mode CREDENTIAL_MODE \
    [--restricted-locations RESTRICTED_LOCATIONS] \
    [--primary-location LOCATION]

Sostituisci quanto segue:

  • CATALOG_NAME: un nome per il catalogo. Per i cataloghi con più bucket (bl://) (opzione consigliata), questo è il nome del catalogo personalizzato.
  • PROJECT_ID: il tuo Google Cloud ID progetto.
  • DEFAULT_LOCATION: specifica la località di archiviazione predefinita per il catalogo. Puoi specificare un bucket (gs://my-bucket) o un sottopercorso (gs://my-bucket/path). Tutti gli spazi dei nomi e le tabelle nel catalogo devono trovarsi nel percorso specificato. Ad esempio, se specifichi gs://my-bucket/path, non puoi creare spazi dei nomi o tabelle in gs://my-bucket/another/path.

  • CREDENTIAL_MODE: il metodo di autenticazione. Utilizza end-user per Credenziali dell'utente finale o vended-credentials per Modalità di distribuzione delle credenziali.

    Nota: se utilizzi la modalità di distribuzione delle credenziali, devi concedere esplicitamente il ruolo Storage Object User (roles/storage.objectUser) a tutti i bucket di archiviazione associati al account di servizio del catalogo runtime Lakehouse con provisioning automatico.

  • RESTRICTED_LOCATIONS: (facoltativo) elenco separato da virgole di località di archiviazione consentite aggiuntive, nel formato gs://my-bucket-1/...,gs://my-bucket-2/.... Se specifichi un percorso (ad esempio gs://my-bucket/path), tutti gli spazi dei nomi o le tabelle all'interno del bucket devono trovarsi in quel percorso. Tutte le località di spazio di archiviazione sul cloud configurate nella località predefinita e nelle località limitate devono trovarsi nello stesso gruppo di regioni geografiche o giurisdizione (ad esempio Stati Uniti, Europa, Canada o Asia). Ad esempio, non puoi combinare un bucket negli Stati Uniti con un bucket in Europa. Per un elenco delle località supportate, vedi Località Lakehouse.

    Avviso:evita di configurare percorsi sovrapposti con altri cataloghi per impedire l'esposizione non autorizzata delle credenziali. Per saperne di più, consulta Spazio di archiviazione in più bucket.

  • LOCATION: (facoltativo) la regione principale per il catalogo per garantire l'interoperabilità con BigQuery. Per i bucket Cloud Storage nella regione Stati Uniti (ad esempio US o us-central1) o nella regione UE (ad esempio EU o europe-west4), specifica US o EU rispettivamente per assicurarti che il catalogo sia accessibile e disponibile per le query dalle multiregioni BigQuery corrispondenti. Per saperne di più, consulta Regioni di bucket e cataloghi.

Crea un catalogo con un solo bucket (gs://)

Per creare un catalogo con un solo bucket (gs://), esegui il seguente comando:

gcloud biglake iceberg catalogs create \
    CATALOG_NAME \
    --project PROJECT_ID \
    --catalog-type gcs-bucket \
    --credential-mode CREDENTIAL_MODE

Sostituisci quanto segue:

  • CATALOG_NAME: un nome per il catalogo. Per i cataloghi con un solo bucket (gs://), questo corrisponde all'ID bucket Cloud Storage utilizzato con il catalogo REST.
  • PROJECT_ID: il tuo Google Cloud ID progetto.
  • CREDENTIAL_MODE: il metodo di autenticazione. Utilizza end-user per Credenziali dell'utente finale o vended-credentials per Modalità di distribuzione delle credenziali.

REST

Crea un catalogo REST Iceberg

Per creare un endpoint di gestione del catalogo utilizzando l'API REST, invia una POST richiesta al CreateIcebergCatalog endpoint:

POST /iceberg/v1/restcatalog/extensions/projects/PROJECT_ID/catalogs?icebergCatalogId=CATALOG_ID

Il corpo della richiesta deve contenere un payload JSON IcebergCatalog che definisce la configurazione del catalogo, ad esempio il warehouse del bucket Cloud Storage sottostante e la modalità di autenticazione.

Sostituisci quanto segue:

  • PROJECT_ID: l'ID del tuo Google Cloud progetto.
  • CATALOG_ID: l'ID del catalogo runtime Lakehouse.