Trasferimenti basati su eventi da Cloud Storage

Storage Transfer Service può ascoltare le notifiche di eventi in Google Cloud per trasferire automaticamente i dati aggiunti o aggiornati in un bucket Cloud Storage. Scopri di più sui vantaggi dei trasferimenti basati su eventi.

I trasferimenti basati su eventi da Cloud Storage utilizzano le notifiche Pub/Sub per sapere quando gli oggetti nel bucket di origine sono stati modificati o aggiunti. Le eliminazioni di oggetti non vengono rilevate; l'eliminazione di un oggetto nell'origine non comporta l'eliminazione dell'oggetto associato nel bucket di destinazione.

I trasferimenti basati su eventi utilizzano sempre un bucket Cloud Storage come destinazione.

Configura autorizzazioni

Oltre alle autorizzazioni richieste per tutti i job di trasferimento, i trasferimenti basati sugli eventi richiedono il ruolo Pub/Sub Subscriber.

1. Trova il nome del service agent Storage Transfer Service per il tuo progetto:

   1. Vai alla pagina di riferimento googleServiceAccounts.get.

      Si apre un riquadro interattivo intitolato Prova questo metodo.

   2. Nel riquadro, in Parametri della richiesta, inserisci il tuo ID progetto. Il progetto che specifichi qui deve essere quello che utilizzi per gestire Storage Transfer Service, che potrebbe essere diverso dal progetto del bucket di origine.

   3. Fai clic su Esegui.

   L'email dell'agente di servizio viene restituita come valore di accountEmail. Copia questo valore.

   L'email dell'agente del servizio utilizza il formato project-PROJECT_NUMBER@storage-transfer-service.iam.gserviceaccount.com.

2. Concedi il ruolo Pub/Sub Subscriber al service agent Storage Transfer Service.

   console Cloud

   Segui le istruzioni riportate in Controllare l'accesso tramite la console Google Cloud per concedere il ruolo Pub/Sub Subscriber al servizio Storage Transfer Service. Il ruolo può essere concesso a livello di argomento, sottoscrizione o progetto.

   gcloud CLI

   Segui le istruzioni riportate in Impostare una policy per aggiungere il seguente binding:

   {
     "role": "roles/pubsub.subscriber",
     "members": [
       "serviceAccount:project-PROJECT_NUMBER@storage-transfer-service.iam.gserviceaccount.com"
   }

Configurare Pub/Sub

1. Assicurati di aver soddisfatto i prerequisiti per l'utilizzo di Pub/Sub con Cloud Storage.

2. Crea una notifica Pub/Sub per il bucket Cloud Storage di origine.

   Non puoi gestire le notifiche Pub/Sub con la console Google Cloud . Utilizza gcloud CLI o una delle librerie client disponibili.

   gcloud storage buckets notifications create gs://SOURCE_BUCKET_NAME --topic=TOPIC_NAME

3. Crea una sottoscrizione pull per l'argomento. Devi creare un abbonamento separato per ogni job di trasferimento.

   Il seguente esempio mostra il comando Google Cloud CLI per creare un abbonamento pull. Per le istruzioni della console e il codice della libreria client, vedi Creare una sottoscrizione pull.

   gcloud pubsub subscriptions create SUBSCRIPTION_ID --topic=TOPIC_NAME --ack-deadline=300

Creare un job di trasferimento

Puoi utilizzare la console Google Cloud , Google Cloud CLI o l'API REST per creare un job di trasferimento basato sugli eventi.

Non includere informazioni sensibili come quelle che consentono l'identificazione personale (PII) o dati di sicurezza nel nome del job di trasferimento. I nomi delle risorse potrebbero essere propagato ai nomi di altre risorse Google Cloud e potrebbe essere esposto ai sistemi interni di Google al di fuori del tuo progetto.

gcloud transfer jobs create \
  gs://SOURCE_BUCKET \
  gs://