Data Mesh erstellen

Mit Knowledge Catalog (ehemals Dataplex Universal Catalog) können Sie eine Data-Mesh-Architektur erstellen. In dieser Kurzanleitung erfahren Sie, wie Sie mit Knowledge Catalog-Features wie Lakes, Zonen und Assets ein Data Mesh erstellen.

Ein Data Mesh ist ein organisatorischer und technischer Ansatz, der die Inhaberschaft von Daten dezentralisiert und auf die Domain-Dateninhaber verteilt. Diese Inhaber stellen die Daten auf standardisierte Weise als Produkt zur Verfügung und erleichtern die Kommunikation zwischen verschiedenen Teilen des Unternehmens, um Datasets an verschiedenen Standorten zu verteilen. Weitere Informationen zu Data-Mesh-Architekturen.

Ziele

In dieser Anleitung verwenden Sie die Knowledge Catalog-Entitäten, um eine Data-Mesh-Architektur zu erstellen:

  • Erstellen Sie einen Knowledge Catalog-Lake, der als Domain für Ihr Data Mesh dient.
  • Fügen Sie Ihrem Lake Zonen hinzu, die einzelne Teams innerhalb der jeweiligen Domain darstellen und verwaltete Datenverträge bereitstellen.
  • Hängen Sie Assets an, die Daten zuordnen, die in Cloud Storage gespeichert sind.

Kosten

In diesem Dokument verwenden Sie die folgenden kostenpflichtigen Komponenten von Google Cloud:

Mit dem Preisrechner können Sie eine Kostenschätzung für Ihre voraussichtliche Nutzung vornehmen. Verwenden Sie den Preisrechner.

Neuen Google Cloud Nutzern vonsteht möglicherweise eine kostenlose Testversion zur Verfügung.

Nach Abschluss der in diesem Dokument beschriebenen Aufgaben können Sie weitere Kosten vermeiden, indem Sie die erstellten Ressourcen löschen. Weitere Informationen finden Sie unter Bereinigen.

Hinweis

  1. Wählen Sie in der Google Cloud Console auf der Seite für die Projektauswahl ein Projekt vonaus oder erstellen Sie eines Google Cloud .

    Erforderliche Rollen zum Auswählen oder Erstellen eines Projekts

    • Projekt auswählen: Für die Auswahl eines Projekts ist keine bestimmte IAM-Rolle erforderlich. Sie können ein beliebiges Projekt auswählen, für das Ihnen eine Rolle zugewiesen wurde.
    • Projekt erstellen: Zum Erstellen eines Projekts benötigen Sie die Rolle „Projektersteller“ (roles/resourcemanager.projectCreator), die die resourcemanager.projects.create Berechtigung enthält. Informationen zum Zuweisen von Rollen.

    Zur Projektauswahl

  2. Prüfen Sie, ob für Ihr Google Cloud Projekt die Abrechnung aktiviert ist.

  3. Aktivieren Sie die Dataplex API.

    Erforderliche Rollen zum Aktivieren von APIs

    Zum Aktivieren von APIs benötigen Sie die Berechtigung serviceusage.services.enable. Wenn Sie das Projekt erstellt haben, haben Sie diese Berechtigung wahrscheinlich bereits über die Rolle „Inhaber“ (roles/owner). Andernfalls können Sie diese Berechtigung über die Rolle „Service Usage-Administrator“ (roles/serviceusage.serviceUsageAdmin) erhalten. Informationen zum Zuweisen von Rollen.

    API aktivieren

  4. Erstellen Sie einen Dataproc Metastore-Dienst.

Cloud Storage-Bucket erstellen

Sie benötigen einen Cloud Storage-Bucket, um die Daten-Assets Ihres Data Mesh zu speichern.

Folgen Sie der Anleitung unter Cloud Storage-Bucket erstellen, um einen Cloud Storage-Bucket zu erstellen. Beachten Sie dabei Folgendes:

  • Geben Sie Ihrem Bucket einen Namen.
  • Wählen Sie für Standorttyp die Option Region aus und wählen Sie im Menü us-central1 (Iowa) aus.

Domain erstellen

  1. Rufen Sie in der Google Cloud Console die Seite Lakes von Knowledge Catalog auf.

    Zu den Lakes

  2. Klicken Sie auf Erstellen , um einen neuen Lake zu erstellen, der als Ihr Data Mesh dient.

  3. Geben Sie im Feld Anzeigename den Wert My data mesh ein.

  4. Wählen Sie unter Region die Option us-central1 aus.

  5. Wählen Sie den zuvor erstellten und konfigurierten Dataproc Metastore-Dienst als zugehörigen Metastore aus.

  6. Klicken Sie auf Erstellen.

Zonen in Ihrem Lake erstellen

Nachdem Sie eine Domain durch Erstellen eines Knowledge Catalog-Lakes erstellt haben, können Sie verwaltete Datenverträge und einzelne Teams innerhalb der Domain mithilfe von Zonen hosten. Es gibt zwei Arten von Zonen:

  • Rohdatenzonen werden in der Regel verwendet, um Daten in beliebigen Formaten aus externen Quellen in Cloud Storage zu speichern. Rohdatenzonen sind nützlich für Daten, die weiterverarbeitet werden müssen, bevor sie verwendet werden können.

  • Verarbeitete Zonen werden für strukturierte Daten in Cloud Storage verwendet, die bestimmten Dateiformaten entsprechen und in einem Hive-kompatiblen Verzeichnislayout organisiert sind. Sie sind am nützlichsten für Daten, die für die Verwendung und Analyse bereit sind.

Jede Domain (z. B. sales, customers, products) sollte mindestens eine Rohdatenzone und eine kuratierte Zone haben.

Zusätzliche Zonen werden verwendet, um Datenverträge zwischen Teams zu verwalten oder eine detailliertere Aufschlüsselung für Teams innerhalb einer bestimmten Domain zu ermöglichen. Beispiel: Bestandsverwaltung innerhalb der Produktdomain. Dateninhaber können die Daten in ihrer Domain verwalten und darauf zugreifen.

  1. Rufen Sie in der Google Cloud Console die Ansicht Knowledge Catalog Verwalten auf.

  2. Klicken Sie auf den Namen des Lakes (My data mesh), dem Sie eine Zone hinzufügen möchten.

  3. Klicken Sie auf dem Tab Zonen auf Zone hinzufügen.

  4. Geben Sie im Feld Anzeigename den Wert My sub domain ein. Knowledge Catalog generiert automatisch eine ID für Ihre Zone.

  5. Wählen Sie unter Typ die Option Rohdatenzone aus.

  6. Klicken Sie auf Erstellen.

Assets an Ihre Zonen anhängen

Hängen Sie Daten-Assets an Ihre Zone an. Ein Daten-Asset, die Speicherressourcen, die Ihre Daten enthalten, kann ein Cloud Storage-Bucket oder ein BigQuery-Dataset sein. Dies ist der letzte Schritt beim Erstellen Ihrer Data-Mesh-Architektur.

  1. Klicken Sie in der Ansicht Verwalten von Knowledge Catalog auf den von Ihnen erstellten Lake (My data mesh).

  2. Klicken Sie auf dem Tab Zonen auf die Zone (My sub domain), der Sie das Asset hinzufügen möchten.

  3. Klicken Sie auf dem Tab Assets auf Assets hinzufügen

  4. Klicken Sie auf Asset hinzufügen.

  5. Wählen Sie unter Typ die Option Cloud Storage-Bucket aus.

  6. Geben Sie im Feld Anzeigename den Wert Data mesh asset ein. Knowledge Catalog generiert automatisch eine Asset-ID für Sie.

  7. Klicken Sie im Feld Bucket auf Durchsuchen.

    1. Wählen Sie Ihren Bucket aus der Liste aus.
    2. Klicken Sie auf Auswählen.

  8. Klicken Sie auf Fertig und dann auf Weiter.

  9. Klicken Sie auf Weiter , um die Standardeinstellungen unter Erweiterte Einstellungen zu übernehmen.

  10. Klicken Sie auf Senden.

Bereinigen

Damit Ihrem Google Cloud-Konto die in dieser Anleitung verwendeten Ressourcen nicht in Rechnung gestellt werden, löschen Sie entweder das Projekt, das die Ressourcen enthält, oder Sie behalten das Projekt und löschen die einzelnen Ressourcen.

Projekt löschen

  1. Wechseln Sie in der Google Cloud Console zur Seite Ressourcen verwalten.

    Zur Seite „Ressourcen verwalten“

  2. Wählen Sie in der Projektliste das Projekt aus, das Sie löschen möchten, und klicken Sie auf Löschen.
  3. Geben Sie im Dialogfeld die Projekt-ID ein und klicken Sie auf Shut down (Herunterfahren), um das Projekt zu löschen.

Data-Mesh-Architektur löschen

  1. Rufen Sie in der Google Cloud Console die Ansicht Knowledge Catalog Verwalten auf.

  2. Klicken Sie bei dem Lake, den Sie löschen möchten, auf Mehr ansehen und dann auf Löschen.

  3. Geben Sie zur Bestätigung der Aktion delete ein und klicken Sie auf Lake löschen.

Nächste Schritte