יצירת מוצרי נתונים

המסמך הזה מיועד לבעלי מוצרי נתונים שרוצים ליצור ולהגדיר מוצרי נתונים ב-Knowledge Catalog (לשעבר Dataplex Universal Catalog).

מידע נוסף על הארכיטקטורה ומושגי המפתח של מוצרי נתונים זמין במאמר מידע על מוצרי נתונים.

לפני שמתחילים

לפני שיוצרים מוצרי נתונים, צריך להשלים את הדרישות המוקדמות הבאות.

הפעלה של Gemini

הגדרת Gemini בנכס הנתונים היא שלב אופציונלי, אבל מומלץ מאוד לבצע אותו לפני שיוצרים את מוצר הנתונים הראשון.

כברירת מחדל, כשיוצרים מוצר נתונים צריך להזין ידנית תיאורים של העסק, הגדרות טכניות ומסמכי הצטרפות לנכסים. כשמפעילים את השילוב עם Gemini, כלי Knowledge Catalog נעזר ב-AI כדי לנתח באופן אוטומטי את הסכימות ואת תוצאות הסריקה של הנתונים, וליצור את הפריטים הבאים:

• מסמכים עסקיים: יצירת תבניות של מסמכים ותיאורים ברורים של מוצר הנתונים ונכסי הנתונים האישיים שלו.
• תובנות ושאילתות לדוגמה: המערכת יוצרת שאילתות לדוגמה שמוכנות לשימוש על סמך פריסת הסכימה של הנכס, וכך מאפשרת לצרכני הנתונים להתחיל לשלוח שאילתות למוצר מיד אחרי האישור.

אם אתם בוחרים לא להפעיל את Gemini, אתם יכולים לדלג על הקטע הזה. עם זאת, במהלך היצירה, צריך לספק באופן ידני את כל המטא-נתונים של הנכס ואת תבניות השאילתות.

מידע נוסף על הפעלת Gemini ב-BigQuery זמין במאמר הגדרת Gemini ב-BigQuery.

הפעלת ממשקי ה-API

מפעילים את ממשקי ה-API של Dataplex ו-BigQuery.

הפעלת ממשקי ה-API

יצירת נכסי נתונים

מוודאים שנכסי הנתונים (לדוגמה, מערכי נתונים, טבלאות ותצוגות מפורטות של BigQuery) נוצרו ואוכלסו.

מידע נוסף על יצירת נכסי נתונים זמין במאמרים הבאים:

• יצירת מערכי נתונים ב-BigQuery
• יצירה ושימוש בטבלאות BigQuery
• יצירת תצוגות לוגיות ב-BigQuery
• יצירת תצוגות חומריות ב-BigQuery

הגדרת זהויות

מאתרים או יוצרים את קבוצות Google או חשבונות השירות שרוצים להגדיר במוצר הנתונים.

התפקידים הנדרשים

בקטע הזה מפורטים תפקידי ה-IAM המינימליים שנדרשים עבור החלקים הראשיים הבאים:

• בעלי מוצרי נתונים: משתמשים שיוצרים, מגדירים ומנהלים מוצרי נתונים ונכסים שמשויכים אליהם

• צרכני מוצרי נתונים: משתמשים שמחפשים מוצרי נתונים שפורסמו, צופים בהם ומבקשים גישה אליהם

התפקידים הנדרשים לבעלי מוצרי נתונים

כדי לקבל את ההרשאות שדרושות ליצירה ולניהול של מוצרי נתונים, צריך לבקש מהאדמין להקצות לכם את תפקידי ה-IAM הבאים בפרויקט:

• הרשאות מלאות ליצירה, לעדכון, למחיקה, לניהול הרשאות ולאישור או לדחייה של בקשות גישה למוצרי נתונים: אדמין של מוצרי נתונים ב-Dataplex (roles/dataplex.dataProductsAdmin)
• עדכון וניהול של הרשאות, ואישור או דחייה של בקשות גישה למוצרי נתונים: עורך מוצרי נתונים ב-Dataplex (roles/dataplex.dataProductsEditor)
• הוספת היבטים של מטא-נתונים (כמו schema,‏ overview,‏ contacts ו-queries): Dataplex Entry and EntryLink Owner (roles/dataplex.entryOwner)
• חיפוש נכסים והוספה שלהם: צפייה בקטלוג Dataplex (roles/dataplex.catalogViewer)
• עריכת סוגי היבטים של מערכת (כמו overview,‏ contact,‏ contract ו-queries): Dataplex Catalog Editor (roles/dataplex.catalogEditor)
• יצירה או אחזור של סריקות נתונים של תובנות ליצירה אוטומטית של תיעוד ותובנות: אדמין של Dataplex DataScan (roles/dataplex.dataScanAdmin)

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

התפקידים המוגדרים מראש האלה כוללים את ההרשאות שנדרשות ליצירה ולניהול של מוצרי נתונים. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות:

יכול להיות שתקבלו את ההרשאות האלה באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.

תפקידים נדרשים לצרכני מוצרי נתונים

כדי שצרכני נתוני המוצרים יוכלו לחפש, להציג ולבקש גישה לנתוני המוצרים, אתם, כבעלי נתוני המוצרים, צריכים לוודא שניתן לגלות את נתוני המוצרים. כדי לעשות זאת, צריך להקצות לצרכני מוצר הנתונים את תפקידי ה-IAM הבאים במוצר הנתונים:

• חיפוש מוצרי נתונים ובקשת גישה אליהם: Dataplex Data Product Consumer (dataplex.dataProductsConsumer) ו-Dataplex Catalog Viewer (roles/dataplex.catalogViewer)
• גישת קריאה בלבד לצפייה בהגדרות ובמטא-נתונים של מוצר נתונים: Dataplex Data Product Viewer (dataplex.dataProductsViewer)

יצירה והגדרה של מוצר נתונים

יצירת מוצר נתונים כוללת את המשימות הכלליות הבאות:

1. יצירת מוצר נתונים

   בשלב הראשוני הזה, שהוא חובה, צריך להגדיר פרטים מרכזיים כמו שם ייחודי של מוצר הנתונים, תיאור, האזור שבו נוצר מוצר הנתונים ופרטים ליצירת קשר.

2. אופציונלי: הוספת נכסים

   בשלב הזה, בוחרים את הנכסים שרוצים לכלול במוצר הנתונים. מגבלה חשובה היא שהנכסים חייבים להיות באותו אזור כמו מוצר הנתונים עצמו. אפשר להוסיף עד 10 נכסים בכל פעם, ומקסימום 50 נכסים לכל מוצר נתונים.

   רשימת הנכסים הנתמכים זמינה במאמר נכסים נתמכים.

3. אופציונלי: הגדרת קבוצות גישה והרשאות גישה לנכסים

   בשלב הזה, שהוא אופציונלי, יוצרים קבוצות גישה כדי לפשט את בקרת הגישה. קבוצות הגישה האלה פועלות ככינויים ידידותיים למשתמש (לדוגמה, Analyst או Reader) לקבוצות Google ולחשבונות שירות בסיסיים. לאחר מכן מקצים הרשאות על ידי בחירת תפקיד ספציפי ב-IAM ומיפוי שלו לקבוצת גישה של נכס ספציפי.

4. אופציונלי: הוספת פרטים על החוזה וההיבטים

   בשלב הזה, משפרים את יכולת הגילוי של הנתונים ואת השליטה בהם על ידי צירוף מסגרות של מטא-נתונים. אפשר להוסיף חוזה כדי להעביר באופן רשמי את קצב הרענון של הנתונים, ולציין פרמטרים כמו תדירות הרענון, התזמון וספי השונות. אתם יכולים גם לצרף היבטים מותאמים אישית כדי לספק מטא-נתונים עסקיים או טכניים נוספים למוצר הנתונים שלכם.

5. אופציונלי: מוסיפים פרטים נוספים

   בשלב הסופי הזה, מוסיפים מסמכי טקסט עשיר, כמו מדריכים להצטרפות משתמשים, הגדרות עסקיות ושאילתות לדוגמה, כדי לעזור לצרכנים ליצור אינטראקציה עם מוצר הנתונים מיד לאחר האישור.

כדי ליצור ולהגדיר מוצר נתונים, מבצעים את השלבים שמפורטים בקטעים הבאים:

יצירת מוצר נתונים

resource "google_dataplex_data_product" "default" {
  project         = "PROJECT_ID"
  location        = "LOCATION"
  data_product_id = "DATA_PRODUCT_ID"
  display_name    = "DISPLAY_NAME"
  description     = "DESCRIPTION"
  owner_emails    = ["EMAIL_IDs"]

  # Optional: Configures designated approvers for access requests
  access_approval_config {
    approver_emails = ["APPROVER_EMAIL_IDs"]
  }

  # Optional: Base64-encoded icon (Max 3.0MiB)
  icon = "ICON_BASE64_STRING"
}

resource "google_dataplex_data_product_iam_member" "consumer_binding" {
  project         = "PROJECT_ID"
  location        = "LOCATION"
  data_product_id = "DATA_PRODUCT_ID"
  role            = "roles/dataplex.dataProductsConsumer"
  member          = "MEMBER"
}

using Google.Api.Gax.ResourceNames;
using Google.Cloud.Dataplex.V1;
using Google.LongRunning;

public sealed partial class GeneratedDataProductServiceClientSnippets
{
    /// <summary>Snippet for CreateDataProduct</summary>
    /// <remarks>
    /// This snippet has been automatically generated and should be regarded as a code template only.
    /// It will require modifications to work:
    /// - It may require correct/in-range values for request initialization.
    /// - It may require specifying regional endpoints when creating the service client as shown in
    ///   https://cloud.google.com/dotnet/docs/reference/help/client-configuration#endpoint.
    /// </remarks>
    public void CreateDataProductRequestObject()
    {
        // Create client
        DataProductServiceClient dataProductServiceClient = DataProductServiceClient.Create();
        // Initialize request argument(s)
        CreateDataProductRequest request = new CreateDataProductRequest
        {
            ParentAsLocationName = LocationName.FromProjectLocation("[PROJECT]", "[LOCATION]"),
            DataProductId = "",
            DataProduct = new DataProduct(),
            ValidateOnly = false,
        };
        // Make the request
        Operation<DataProduct, OperationMetadata> response = dataProductServiceClient.CreateDataProduct(request);

        // Poll until the returned long-running operation is complete
        Operation<DataProduct, OperationMetadata> completedResponse = response.PollUntilCompleted();
        // Retrieve the operation result
        DataProduct result = completedResponse.Result;

        // Or get the name of the operation
        string operationName = response.Name;
        // This name can be stored, then the long-running operation retrieved later by name
        Operation<DataProduct, OperationMetadata> retrievedResponse = dataProductServiceClient.PollOnceCreateDataProduct(operationName);
        // Check if the retrieved long-running operation has completed
        if (retrievedResponse.IsCompleted)
        {
            // If it has completed, then access the result
            DataProduct retrievedResult = retrievedResponse.Result;
        }
    }
}

//go:build examples

package main

import (
	"context"

	dataplex "cloud.google.com/go/dataplex/apiv1"
	dataplexpb "cloud.google.com/go/dataplex/apiv1/dataplexpb"
)

func main() {
	ctx := context.Background()
	// This snippet has been automatically generated and should be regarded as a code template only.
	// It will require modifications to work:
	// - It may require correct/in-range values for request initialization.
	// - It may require specifying regional endpoints when creating the service client as shown in:
	//   https://pkg.go.dev/cloud.google.com/go#hdr-Client_Options
	c, err := dataplex.NewDataProductClient(ctx)
	if err != nil {
		// TODO: Handle error.
	}
	defer c.Close()

	req := &dataplexpb.CreateDataProductRequest{
		// TODO: Fill request struct fields.
		// See https://pkg.go.dev/cloud.google.com/go/dataplex/apiv1/dataplexpb#CreateDataProductRequest.
	}
	op, err := c.CreateDataProduct(ctx, req)
	if err != nil {
		// TODO: Handle error.
	}

	resp, err := op.Wait(ctx)
	if err != nil {
		// TODO: Handle error.
	}
	// TODO: Use resp.
	_ = resp
}

import com.google.cloud.dataplex.v1.CreateDataProductRequest;
import com.google.cloud.dataplex.v1.DataProduct;
import com.google.cloud.dataplex.v1.DataProductServiceClient;
import com.google.cloud.dataplex.v1.LocationName;

public class SyncCreateDataProduct {

  public static void main(String[] args) throws Exception {
    syncCreateDataProduct();
  }

  public static void syncCreateDataProduct() throws Exception {
    // This snippet has been automatically generated and should be regarded as a code template only.
    // It will require modifications to work:
    // - It may require correct/in-range values for request initialization.
    // - It may require specifying regional endpoints when creating the service client as shown in
    // https://cloud.google.com/java/docs/setup#configure_endpoints_for_the_client_library
    try (DataProductServiceClient dataProductServiceClient = DataProductServiceClient.create()) {
      CreateDataProductRequest request =
          CreateDataProductRequest.newBuilder()
              .setParent(LocationName.of("[PROJECT]", "[LOCATION]"