Planifier une exécution de notebook

Cette page vous explique comment planifier l'exécution d'un notebook dans Colab Enterprise.

Présentation

Vous pouvez programmer une exécution immédiate et unique d'un notebook, ou établir un calendrier d'exécution récurrente.

Lorsque vous planifiez l'exécution du notebook, vous sélectionnez un modèle d'exécution. Colab Enterprise utilise ce modèle d'exécution pour créer l'environnement d'exécution qui exécute votre notebook.

L'environnement d'exécution a besoin d'autorisations spécifiques pour exécuter le code du notebook et accéder aux services et aux API Google Cloud .

• Si les identifiants de l'utilisateur final sont activés dans la configuration de votre modèle d'exécution, l'environnement d'exécution utilise les autorisations associées à vos identifiants utilisateur.

• Si les identifiants de l'utilisateur final ne sont pas activés, vous devez spécifier un compte de service lorsque vous planifiez l'exécution du notebook. Colab Enterprise utilise les identifiants de ce compte de service pour exécuter votre notebook.

Pour en savoir plus, consultez Rôles requis pour exécuter le notebook.

Une fois l'exécution du notebook terminée dans Colab Enterprise, les résultats sont stockés dans un bucket Cloud Storage partageable.

Limites

Les environnements d'exécution Colab Enterprise utilisent un quota Compute Engine. Consultez la page Quotas d'allocation de Compute Engine.

Avant de commencer

Connectez-vous à votre compte Google Cloud . Si vous débutez sur Google Cloud, créez un compte pour évaluer les performances de nos produits en conditions réelles. Les nouveaux clients bénéficient également de 300 $ de crédits sans frais pour exécuter, tester et déployer des charges de travail.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Agent Platform, Dataform, and Compute Engine APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Agent Platform, Dataform, and Compute Engine APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

Rôles requis pour planifier l'exécution du notebook

Pour obtenir les autorisations nécessaires pour planifier l'exécution d'un notebook dans Colab Enterprise, demandez à votre administrateur de vous accorder les rôles IAM suivants sur le projet :

• Utilisateur Colab Enterprise (roles/aiplatform.colabEnterpriseUser)
• Administrateur de l'espace de stockage (roles/storage.admin)

Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.

Vous pouvez également obtenir les autorisations requises avec des rôles personnalisés ou d'autres rôles prédéfinis.

Rôles requis pour exécuter le notebook

Le compte principal qui exécute le notebook a besoin d'autorisations spécifiques. Le compte principal est soit votre compte utilisateur, soit un compte de service que vous spécifiez, comme décrit dans la présentation.

Pour obtenir les autorisations nécessaires pour exécuter un notebook dans Colab Enterprise, demandez à votre administrateur de vous accorder les rôles IAM suivants :

• Lecteur de code (roles/dataform.codeViewer) sur le notebook
• Rédacteur de journaux (roles/logging.logWriter) sur le projet
• Rédacteur de métriques Monitoring (roles/monitoring.metricWriter) sur le projet
• Rédacteur des anciens buckets de l'espace de stockage (roles/storage.legacyBucketWriter) sur le notebook
• Lecteur des anciens objets de l'espace de stockage (roles/storage.legacyObjectReader) sur le bucket de sortie

Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.

Ces rôles prédéfinis contiennent les autorisations requises pour exécuter un notebook dans Colab Enterprise. Pour connaître les autorisations exactes requises, développez la section Autorisations requises :

Vous pouvez également obtenir ces autorisations avec des rôles personnalisés ou d'autres rôles prédéfinis.

Utiliser des exécutions planifiées de notebooks dans un réseau VPC partagé

Pour utiliser les exécutions planifiées de notebooks dans un réseau VPC partagé, vous devez accorder des autorisations supplémentaires. Consultez Utiliser Colab Enterprise dans un réseau VPC partagé.

Exécuter un notebook une seule fois

Pour exécuter un notebook une seule fois, vous pouvez utiliser la console Google Cloud , la Google Cloud CLI, la bibliothèque cliente Python Agent Platform ou Terraform.

gcloud colab executions create --display-name="DISPLAY_NAME" \
    --notebook-runtime-template=NOTEBOOK_RUNTIME_TEMPLATE \
    --gcs-notebook-uri=NOTEBOOK_URI \
    --gcs-output-uri=OUTPUT_URI \
    --user-email=USER_EMAIL \
    --project=PROJECT_ID \
    --region=REGION

gcloud colab executions create --display-name="DISPLAY_NAME" `
    --notebook-runtime-template=NOTEBOOK_RUNTIME_TEMPLATE `
    --gcs-notebook-uri=NOTEBOOK_URI `
    --gcs-output-uri=OUTPUT_URI `
    --user-email=USER_EMAIL `
    --project=PROJECT_ID `
    --region=REGION

gcloud colab executions create --display-name="DISPLAY_NAME" ^
    --notebook-runtime-template=NOTEBOOK_RUNTIME_TEMPLATE ^
    --gcs-notebook-uri=NOTEBOOK_URI ^
    --gcs-output-uri=OUTPUT_URI ^
    --user-email=USER_EMAIL ^
    --project=PROJECT_ID ^
    --region=REGION

from google.cloud import aiplatform_v1

PROJECT_ID = "my-project"
LOCATION = "us-central1"
REPOSITORY_ID = "b223577f-a3fb-482c-a22c-0658c6602598"
TEMPLATE_ID = "6524523989455339520"

API_ENDPOINT = f"{LOCATION}-aiplatform.googleapis.com"
PARENT = f"projects/{PROJECT_ID}/locations/{LOCATION}"

notebook_service_client = aiplatform_v1.NotebookServiceClient(client_options = {
    "api_endpoint": API_ENDPOINT,
})

operation = notebook_service_client.create_notebook_execution_job(parent=PARENT, notebook_execution_job={
    "display_name": "my-execution-job",

    # Specify a NotebookRuntimeTemplate to source compute configuration from
    "notebook_runtime_template_resource_name": f"projects/{PROJECT_ID}/locations/{LOCATION}/notebookRuntimeTemplates/{TEMPLATE_ID}",

    # Specify a Colab Enterprise notebook to run
    "dataform_repository_source": {
        "dataform_repository_resource_name": f"projects/{PROJECT_ID}/locations/{LOCATION}/repositories/{REPOSITORY_ID}",
    },

    # Specify a Cloud Storage bucket to store output artifacts
    "gcs_output_uri": "gs://my-bucket/",

    # Specify the identity that runs the notebook
    "execution_user": "{EMAIL}",

    # Run as the service account instead
    # "service_account": "my-service-account",
})
print("Waiting for operation to complete...")
result = operation.result()

resource "google_colab_runtime_template" "my_runtime_template" {
  provider = google-beta
  name = "{{index $.Vars "runtime_template_name"}}"
  display_name = "Runtime template"
  location = "us-central1"

  machine_spec {
    machine_type     = "e2-standard-4"
  }

  network_spec {
    enable_internet_access = true
  }
}

resource "google_storage_bucket" "output_bucket" {
  provider = google-beta
  name          = "{{index $.Vars "bucket"}}"
  location      = "US"
  force_destroy = true
  uniform_bucket_level_access = true
}

resource "google_storage_bucket_object" "notebook" {
  provider = google-beta
  name   = "hello_world.ipynb"
  bucket = google_storage_bucket.output_bucket.name
  content = <<EOF
    {
      "cells": [
        {
          "cell_type": "code",
          "execution_count": null,
          "metadata": {},
          "outputs": [],
          "source": [
            "print(\"Hello, World!\")"
          ]
        }
      ],
      "metadata": {
        "kernelspec": {
          "display_name": "Python 3",
          "language": "python",
          "name": "python3"
        },
        "language_info": {
          "codemirror_mode": {
            "name": "ipython",
            "version": 3
          },
          "file_extension": ".py",
          "mimetype": "text/x-python",
          "name": "python",
          "nbconvert_exporter": "python",
          "pygments_lexer": "ipython3",
          "version": "3.8.5"
        }
      },
      "nbformat": 4,
      "nbformat_minor": 4
    }
    EOF
}

resource "google_colab_notebook_execution" "{{$.PrimaryResourceId}}" {
  provider = google-beta
  notebook_execution_job_id = "{{index $.Vars "notebook_execution_job_id"}}"
  display_name = "Notebook execution full"
  location = "us-central1"

  execution_timeout = "86400s"
  gcs_notebook_source {
  uri = "gs://${google_storage_bucket_object.notebook.bucket}/${google_storage_bucket_object.notebook.name}"
  generation = google_storage_bucket_object.notebook.generation
  }

  service_account = "{{index $.TestEnvVars "service_account"}}"

  gcs_output_uri = "gs://${google_storage_bucket.output_bucket.name}"
  notebook_runtime_template_resource_name = "projects/${google_colab_runtime_template.my_runtime_template.project}/locations/${google_colab_runtime_template.my_runtime_template.location}/notebookRuntimeTemplates/${google_colab_runtime_template.my_runtime_template.name}"

  depends_on = [
    google_storage_bucket_object.notebook,
    google_storage_bucket.output_bucket,
    google_colab_runtime_template.my_runtime_template,
  ]

}

Vous pouvez afficher les résultats des exécutions de notebooks terminées sur la page Exécutions.

Planifier une exécution de notebook

Pour planifier l'exécution d'un notebook, vous pouvez utiliser la console Google Cloud , la gcloud CLI, la bibliothèque cliente Python Agent Platform ou Terraform.

gcloud colab schedules create --display-name="DISPLAY_NAME" \
    --cron-schedule=CRON_SCHEDULE \
    --execution-display-name=NOTEBOOK_RUN_NAME \
    --notebook-runtime-template=NOTEBOOK_RUNTIME_TEMPLATE \
    --gcs-notebook-uri=NOTEBOOK_URI \
    --gcs-output-uri=OUTPUT_URI \
    --user-email=USER_EMAIL \
    --project=PROJECT_ID \
    --region=REGION

gcloud colab schedules create --display-name="DISPLAY_NAME" `
    --cron-schedule=CRON_SCHEDULE `
    --execution-display-name=NOTEBOOK_RUN_NAME `
    --notebook-runtime-template=NOTEBOOK_RUNTIME_TEMPLATE `
    --gcs-notebook-uri=NOTEBOOK_URI `
    --gcs-output-uri=OUTPUT_URI `
    --user-email=USER_EMAIL `
    --project=PROJECT_ID `
    --region=REGION