Mit gespeicherten Prozeduren für Apache Spark arbeiten

Dieses Dokument richtet sich an Data Engineers, Data Scientists und Datenanalysten, die gespeicherte Prozeduren für Spark in BigQuery erstellen und aufrufen möchten.

Mit BigQuery können Sie gespeicherte Spark-Prozeduren erstellen und ausführen, die in Python, Java oder Scala geschrieben sind. Sie können diese gespeicherten Prozeduren dann in BigQuery mithilfe einer GoogleSQL-Abfrage ausführen, ähnlich wie beim Ausführen von gespeicherten SQL-Prozeduren.

Hinweise

Bitten Sie Ihren Administrator, eine Spark-Verbindung zu erstellen und für Sie freizugeben, damit Sie eine gespeicherte Prozedur für Spark erstellen können. Ihr Administrator muss dem Dienstkonto, das der Verbindung zugeordnet ist, auch die erforderlichen IAM-Berechtigungen (Identity and Access Management) erteilen.

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Ausführen der Aufgaben in diesem Dokument benötigen:

• Gespeicherte Prozedur für Spark erstellen:
  • BigQuery-Dateneditor (roles/bigquery.dataEditor) für das Dataset, in dem Sie die gespeicherte Prozedur erstellen
  • BigQuery Connection-Administrator (roles/bigquery.connectionAdmin) für die Verbindung, die vom gespeicherten Verfahren verwendet wird
  • BigQuery-Jobnutzer (roles/bigquery.jobUser) für Ihr Projekt
• Gespeicherte Prozedur für Apache Spark aufrufen:
  • BigQuery Metadata-Betrachter (roles/bigquery.metadataViewer) für das Dataset, in dem die gespeicherte Prozedur gespeichert ist
  • BigQuery-Verbindungsnutzer (roles/bigquery.connectionUser) für die Verbindung
  • BigQuery-Jobnutzer (roles/bigquery.jobUser) für Ihr Projekt

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Diese vordefinierten Rollen enthalten die Berechtigungen, die zum Ausführen der Aufgaben in diesem Dokument erforderlich sind. Maximieren Sie den Abschnitt Erforderliche Berechtigungen, um die notwendigen Berechtigungen anzuzeigen:

Erforderliche Berechtigungen

Die folgenden Berechtigungen sind zum Ausführen der Aufgaben in diesem Dokument erforderlich:

• Verbindung herstellen:
  • bigquery.connections.create
  • bigquery.connections.list