Transferts basés sur des événements à partir de Cloud Storage

Le service de transfert de stockage peut écouter les notifications d'événements dans Google Cloud pour transférer automatiquement les données qui ont été ajoutées ou mises à jour dans un bucket Cloud Storage. En savoir plus sur les avantages des transferts basés sur des événements

Les transferts basés sur des événements depuis Cloud Storage utilisent des notifications Pub/Sub pour savoir quand des objets du bucket source ont été modifiés ou ajoutés. Les suppressions d'objets ne sont pas détectées. La suppression d'un objet à la source n'entraîne pas la suppression de l'objet associé dans le bucket de destination.

Les transferts basés sur des événements utilisent toujours un bucket Cloud Storage comme destination.

Configurer les autorisations

En plus des autorisations requises pour toutes les tâches de transfert, les transferts basés sur des événements nécessitent le Pub/Sub Subscriber rôle.

1. Recherchez le nom de l'agent de service du service de transfert de stockage pour votre projet :

   1. Accédez à la page de référence googleServiceAccounts.get.

      Un panneau interactif s'affiche, intitulé Essayer cette méthode.

   2. Dans le panneau, sous Paramètres des requêtes, saisissez votre ID de projet. Le projet que vous spécifiez ici doit être le projet que vous utilisez pour gérer le service de transfert de stockage, qui peut être différent du projet du bucket source.

   3. Cliquez sur Exécuter.

   L'adresse e-mail de votre agent de service est renvoyée en tant que valeur de accountEmail. Copiez cette valeur.

   L'adresse e-mail de l'agent de service utilise le format project-PROJECT_NUMBER@storage-transfer-service.iam.gserviceaccount.com.

2. Attribuez le rôle Pub/Sub Subscriber à l'agent de service du service de transfert de stockage.

   console Cloud

   Suivez les instructions de la section Contrôler l'accès via la Google Cloud console pour attribuer le rôle Pub/Sub Subscriber au service de transfert de stockage. Le rôle peut être attribué au niveau du sujet, de l'abonnement ou du projet.

   CLI gcloud

   Suivez les instructions de la section Définir une stratégie pour ajouter la liaison suivante :

   {
     "role": "roles/pubsub.subscriber",
     "members": [
       "serviceAccount:project-PROJECT_NUMBER@storage-transfer-service.iam.gserviceaccount.com"
   }

Configurer Pub/Sub

1. Assurez-vous de respecter les prérequis pour utiliser Pub/Sub avec Cloud Storage.

2. Créez une notification Pub/Sub pour le bucket Cloud Storage source.

   Vous ne pouvez pas gérer les notifications Pub/Sub avec la Google Cloud console. Utilisez pour cela la gcloud CLI ou l’une des bibliothèques clientes disponibles.

   gcloud storage buckets notifications create gs://SOURCE_BUCKET_NAME --topic=TOPIC_NAME

3. Créez un abonnement pull pour le sujet. Vous devez créer un abonnement distinct pour chaque tâche de transfert.

   L'exemple suivant montre la commande Google Cloud CLI permettant de créer un abonnement pull. Pour obtenir des instructions sur la console et le code de la bibliothèque cliente, consultez la section Créer un abonnement pull.

   gcloud pubsub subscriptions create SUBSCRIPTION_ID --topic=TOPIC_NAME --ack-deadline=300

Créer un job de transfert

Vous pouvez utiliser la Google Cloud console, la Google Cloud CLI ou l'API REST pour créer une tâche de transfert basée sur des événements.

N'incluez pas d'informations sensibles telles que des informations permettant d'identifier personnellement l'utilisateur (PII) ou des données de sécurité dans le nom de votre tâche de transfert. Les noms de ressources peuvent être propagés aux noms d'autres ressources Google Cloud et peuvent être exposés à des systèmes internes à Google en dehors de votre projet.

gcloud transfer jobs create \
  gs://SOURCE_BUCKET \
  gs://DESTINATION_BUCKET \
  --event-stream-name=projects/PROJECT_NAME/subscriptions/SUBSCRIPTION_ID \
  --event-stream-starts=EVENT_STREAM_STARTS \
  --event-stream-expires=EVENT_STREAM_EXPIRES

transfer_job {
  "description": "YOUR DESCRIPTION",
  "status": "ENABLED",
  "projectId": "PROJECT_ID",
  "transferSpec" {
    "gcsDataSource" {
      "bucketName": "GCS_SOURCE_NAME"
    },
    "gcsDataSink": {
        "bucketName": "GCS_SINK_NAME"
    }
  }
  "eventStream" {
    "name": "projects/PROJECT_NAME/subscriptions/SUBSCRIPTION_ID",
    "eventStreamStartTime": "2022-12-02T01:00:00+00:00",
    "eventStreamExpirationTime": "2023-01-31T01:00:00+00:00"
  }
}

func createEventDrivenGCSTransfer(w io.Writer, projectID string, gcsSourceBucket string, gcsSinkBucket string, pubSubId string) (*storagetransferpb.TransferJob, error) {
	// Your Google Cloud Project ID.
	// projectID := "my-project-id"

	// The name of the source GCS bucket.
	// gcsSourceBucket := "my-source-bucket"

	// The name of the GCS bucket to transfer objects to.
	// gcsSinkBucket := "my-sink-bucket"

	// The Pub/Sub topic to subscribe the event driven transfer to.
	// pubSubID := "projects/PROJECT_NAME/subscriptions/SUBSCRIPTION_ID"

	ctx := context.Background()
	client, err := storagetransfer.NewClient(ctx)