שימוש באיכות נתונים אוטומטית

במאמר הזה מוסבר איך להשתמש בסריקות של איכות הנתונים ב-Knowledge Catalog (לשעבר Dataplex Universal Catalog) כדי למדוד, לעקוב ולנהל את איכות הנתונים. סריקות של איכות הנתונים עוזרות לאמת את הנתונים באופן אוטומטי כדי לוודא שהם מלאים, תקפים ועקביים.

באמצעות סריקות של איכות הנתונים, אתם יכולים להגדיר כללים לבדיקת ערכים חסרים, לוודא שהערכים תואמים לביטוי רגולרי או שייכים לקבוצה, לוודא שהערכים ייחודיים או להשתמש ב-SQL מותאם אישית כדי לבצע אימותים מורכבים יותר, כמו זיהוי אנומליות. במאמר הזה מוסבר איך ליצור ולנהל סריקות של איכות הנתונים.

מידע נוסף על סריקות של איכות הנתונים מידע נוסף על שימוש חוזר בכללי איכות נתונים בסריקות מרובות

לפני שמתחילים

1. מפעילים את Dataplex API.

   תפקידים שנדרשים להפעלת ממשקי API

   כדי להפעיל ממשקי API, נדרשת ההרשאה serviceusage.services.enable. אם יצרתם את הפרויקט, סביר להניח שכבר יש לכם את ההרשאה הזו דרך התפקיד 'בעלים' (roles/owner). אחרת, תוכלו לקבל את ההרשאה הזו דרך התפקיד 'אדמין בממשק 'שימוש בשירות'' (roles/serviceusage.serviceUsageAdmin). איך מקצים תפקידים

   להפעלת ה-API

2. אופציונלי: כדי ליצור המלצות לכללי איכות נתונים על סמך התוצאות של סריקת פרופיל נתונים, יוצרים ומריצים את סריקת פרופיל הנתונים.

תפקידים והרשאות נדרשים

בקטע הזה מתוארים התפקידים וההרשאות של IAM שנדרשים כדי להשתמש בסריקות של איכות הנתונים ב-Knowledge Catalog.

תפקידים והרשאות של משתמשים

כדי לקבל את ההרשאות שדרושות להרצה ולניהול של סריקות איכות נתונים, צריך לבקש מהאדמין להקצות לכם את תפקידי ה-IAM הבאים:

• מריצים סריקה של איכות הנתונים בטבלה ב-BigQuery:
  • ‫BigQuery Job User (roles/bigquery.jobUser) בפרויקט כדי להריץ משימות סריקה
  • ‫BigQuery Data Viewer (צפייה בנתוני BigQuery) ‏(roles/bigquery.dataViewer) בטבלת BigQuery שרוצים לסרוק
• פרסום תוצאות של סריקת איכות נתונים ב-Knowledge Catalog:
  • ‫BigQuery Data Editor (roles/bigquery.dataEditor) בטבלה שנסרקה
  • Dataplex Catalog Editor (roles/dataplex.catalogEditor) on the @bigquery entry group in the same location as the table
• ביצוע משימות ספציפיות במשאבים של DataScan:
  • Dataplex DataScan Administrator (roles/dataplex.dataScanAdmin) on the project for full access
  • ‫Dataplex DataScan Creator (roles/dataplex.dataScanCreator) בפרויקט כדי ליצור סריקות
  • ‫Dataplex DataScan Editor (roles/dataplex.dataScanEditor) בפרויקט לגישת כתיבה
  • ‫Dataplex DataScan Viewer (roles/dataplex.dataScanViewer) בפרויקט כדי לקרוא מטא-נתונים של סריקה
  • ‫Dataplex DataScan DataViewer (roles/dataplex.dataScanDataViewer) בפרויקט כדי לקרוא נתוני סריקה, כולל כללים ותוצאות

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

התפקידים המוגדרים מראש האלה כוללים את ההרשאות שנדרשות להרצה ולניהול של סריקות איכות נתונים. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות:

יכול להיות שתקבלו את ההרשאות האלה באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.

אם אתם צריכים לגשת לעמודות שמוגנות על ידי מדיניות גישה ברמת העמודה ב-BigQuery, אתם צריכים גם הרשאות לעמודות האלה.

תפקידים והרשאות של חשבון שירות ב-Knowledge Catalog

אם לא יצרתם סריקות של איכות נתונים או סריקת פרופיל נתונים, או אם אין לכם אגם של Knowledge Catalog בפרויקט הזה, צרו מזהה שירות על ידי הפעלת הפקודה: gcloud beta services identity create --service=dataplex.googleapis.com. הפקודה הזו מחזירה מזהה של שירות קטלוג הידע, אם הוא קיים.

כדי לוודא שלחשבון השירות של Knowledge Catalog בפרויקט שמכיל את הסריקה של איכות הנתונים יש את ההרשאות הנדרשות לקריאת נתונים ממקורות שונים ולייצוא תוצאות, צריך לבקש מהאדמין להקצות את תפקידי ה-IAM הבאים לחשבון השירות של Knowledge Catalog בפרויקט שמכיל את הסריקה של איכות הנתונים:

• קריאת נתונים מטבלאות BigQuery: ‫BigQuery Data Viewer (roles/bigquery.dataViewer) בטבלאות BigQuery שצריך לסרוק ובכל טבלה אחרת שמפנים אליה בכללים
• קריאת נתוני טבלה בקטלוג Iceberg REST:‏ BigLake Viewer (roles/biglake.viewer) בטבלאות של קטלוג Iceberg REST שצריך לסרוק ובכל טבלה אחרת שמופיעה בכללים
• ייצוא תוצאות הסריקה לטבלה ב-BigQuery: BigQuery Data Editor (roles/bigquery.dataEditor) במערך הנתונים ובטבלה של התוצאות
• סריקת נתונים ב-BigQuery שמסודרים באגם של Knowledge Catalog:
  • Dataplex Metadata Reader (roles/dataplex.metadataReader) on Dataplex resources
  • בעל הרשאת צפייה ב-Dataplex (roles/dataplex.viewer) במשאבי Dataplex
• סריקה של טבלה חיצונית ב-BigQuery מ-Cloud Storage: Storage Object Viewer (roles/storage.objectViewer) בקטגוריה של Cloud Storage

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

התפקידים המוגדרים מראש האלה כוללים את ההרשאות שנדרשות לקריאת נתונים ממקורות שונים ולייצוא תוצאות. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות:

יכול להיות שהאדמין יוכל גם להעניק לחשבון השירות של Knowledge Catalog בפרויקט שמכיל את הסריקה של איכות הנתונים את ההרשאות האלה באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.

אם אתם צריכים לגשת לעמודות שמוגנות על ידי מדיניות גישה ברמת העמודה ב-BigQuery, אתם צריכים להקצות הרשאות לחשבון השירות של Knowledge Catalog לעמודות האלה.

אם בטבלה מופעלות מדיניות גישה ברמת השורה ב-BigQuery, אפשר לסרוק רק את השורות שחשבון השירות של Knowledge Catalog יכול לראות. הערה: הרשאות הגישה של משתמשים פרטיים לא נבדקות במדיניות ברמת השורה.

דרישות רשת

כדי להריץ סריקה, צריך להפעיל את הגישה הפרטית ל-Google בתת-הרשת של ה-VPC שבה משתמשים לסריקה. אם לא מציינים רשת משנה, צריך לוודא שמופעלת גישה פרטית ל-Google ברשת המשנה שמוגדרת כברירת מחדל.

הגדרת כללים לאיכות הנתונים

אפשר להגדיר כללים לאיכות הנתונים באמצעות:

• כללים מובנים

• בדיקות SQL בהתאמה אישית

• כללים לשימוש חוזר, כולל תבניות של כללי מערכת

אם אתם משתמשים ב-Google Cloud CLI, אתם יכולים להגדיר את הכללים האלה בקובץ JSON או YAML.

בדוגמאות שבקטעים הבאים מוסבר איך להגדיר מגוון כללים של איכות נתונים. הכללים מאמתים טבלת דוגמה שמכילה נתונים על עסקאות של לקוחות. נניח שהסכימה של הטבלה היא:

הגדרת כללים לאיכות הנתונים באמצעות סוגי כללים מובנים

הדוגמאות הבאות מבוססות על סוגי כללים מובנים. אפשר ליצור כללים על סמך סוגי כללים מובנים באמצעות Google Cloud המסוף או ה-API. יכול להיות ש-Knowledge Catalog ימליץ על חלק מהכללים האלה.

הגדרת כללים לאיכות הנתונים באמצעות כללי SQL בהתאמה אישית

כדי ליצור כללי SQL בהתאמה אישית, משתמשים במסגרת הבאה:

• כשיוצרים כלל שמעריך שורה אחת בכל פעם, צריך ליצור ביטוי שמפיק את מספר השורות שהוערכו בהצלחה כש-Knowledge Catalog מעריך את השאילתה SELECT COUNTIF(CUSTOM_SQL_EXPRESSION) FROM TABLE. ב-Knowledge Catalog נבדק אם מספר השורות שעברו בהצלחה עומד בסף.

• כשיוצרים כלל שמוערך על פני השורות או שמשתמש בתנאי של טבלה, צריך ליצור ביטוי שמחזיר הצלחה או כישלון כש-Knowledge Catalog מעריך את השאילתה SELECT IF(CUSTOM_SQL_EXPRESSION) FROM TABLE.

• כשיוצרים כלל שמעריך את המצב הלא תקין של מערך נתונים, צריך לספק הצהרה שמחזירה שורות לא תקינות. אם מוחזרות שורות, הכלל נכשל. משמיטים את הנקודה-פסיק בסוף הצהרת ה-SQL.

• אפשר להפנות לטבלה של מקור נתונים ולכל מסנני התנאים המוקדמים שלה באמצעות פרמטר ההפניה לנתונים ${data()} בכלל, במקום לציין במפורש את טבלת המקור והמסננים שלה. דוגמאות למסנני תנאי מוקדם כוללות מסנני שורות, אחוזים של דגימה ומסננים מצטברים. הפרמטר ${data()} הוא תלוי אותיות רישיות.

הדוגמאות הבאות מבוססות על כללי SQL בהתאמה אישית.

        CREATE OR REPLACE FUNCTION
        myProject.myDataset.average_by_country (
          country STRING, average FLOAT64)
        RETURNS BOOL LANGUAGE js AS R"""
        if (country = "CAN" && average < 5000){
          return 1
        } else if (country = "IND" && average < 1000){
          return 1
        } else { return 0 }
        """;
       

        myProject.myDataset.average_by_country(
        "CAN",
        (SELECT avg(amount) FROM
          myProject.myDataset.transactions_table
            WHERE currency_id = 'CAN'
        ))
      

  CREATE MODEL
  model-project-id.dataset-id.model-name
        OPTIONS(model_type='logistic_reg') AS
  SELECT
  IF(discount_pct IS NULL, 0, 1) AS label,
  IFNULL(customer_id, "") AS customer,
  IFNULL(currency_id, "") AS currency,
  IFNULL(amount, 0.0) AS amount
  FROM
  `data-project-id.dataset-id.table-names`
  WHERE transaction_timestamp < '2022-01-01';
  

      SELECT
        accuracy > 0.99
      FROM
       ML.EVALUATE
        (MODEL model-project-id.dataset-id.model-name,
         (
          SELECT
            customer_id,
            currency_id,
            amount,
            discount_pct
          FROM
            data-project-id.dataset-id.table-names
          WHERE transaction_timestamp > '2022-01-01';
         )
        )
    

  CREATE MODEL
  model-project-id.dataset-id.model-name
        OPTIONS(model_type='logistic_reg') AS
  SELECT
  IF(discount_pct IS NULL, 0, 1) AS label,
  IFNULL(customer_id, "") AS customer,
  IFNULL(currency_id, "") AS currency,
  IFNULL(amount, 0.0) AS amount
  FROM
  `data-project-id.dataset-id.table-names`
  WHERE transaction_timestamp < '2022-01-01';
  

       IF(discount_pct > 0, 1, 0)
          =(SELECT predicted_label FROM
           ML.PREDICT(
            MODEL model-project-id.dataset-id.model-name,
              (
                SELECT
                  customer_id,
                  currency_id,
                  amount,
                  discount_pct
                FROM
                  data-project-id.dataset-id.table-names AS t
                    WHERE t.transaction_timestamp =
                     transaction_timestamp
                   LIMIT 1
              )
            )
         )
    

הגדרת כללים לאיכות הנתונים באמצעות ה-CLI של gcloud

בקובץ ה-YAML לדוגמה הבא נעשה שימוש בחלק מהכללים שמופיעים בכללים לדוגמה באמצעות סוגים מובנים ובכללי SQL בהתאמה אישית לדוגמה. קובץ ה-YAML הזה מכיל גם מפרטים אחרים לסריקה של איכות הנתונים, כמו מסננים ואחוז הדגימה. כשמשתמשים ב-CLI של gcloud כדי ליצור או לעדכן סריקה של איכות הנתונים, אפשר להשתמש בקובץ YAML כקלט לארגומנט --data-quality-spec-file.

rules:
- uniquenessExpectation: {}
  column: transaction_id
  dimension: UNIQUENESS
- nonNullExpectation: {}
  column: amount
  dimension: COMPLETENESS
  threshold: 1
- regexExpectation:
    regex: '^[a-zA-Z]{8}[0-9]{16}$'
  column : customer_id
  ignoreNull : true
  dimension : VALIDITY
  threshold : 1
- setExpectation :
    values :
    - 'USD'
    - 'JPY'
    - 'INR'
    - 'GBP'
    - 'CAN'
  column : currency_id
  ignoreNull : true
  dimension : VALIDITY
  threshold : 1
- rangeExpectation:
    minValue : '0'
    maxValue : '100'
  column : discount_pct
  ignoreNull : true
  dimension : VALIDITY
  threshold : 1
- rowConditionExpectation:
    sqlExpression : 0 < `discount_pct` AND `discount_pct` < 100
  column: discount_pct
  dimension: VALIDITY
  threshold: 1
- rowConditionExpectation:
    sqlExpression : currency_id in (select id from `my_project_id.dim_dataset.dim_currency`)
  column: currency_id
  dimension: VALIDITY
  threshold: 1
- tableConditionExpectation:
    sqlExpression : 30 < avg(discount_pct) AND avg(discount_pct) < 50
  dimension: VALIDITY
- rowConditionExpectation:
    sqlExpression : TIMESTAMP(transaction_timestamp) < CURRENT_TIMESTAMP()
  column: transaction_timestamp
  dimension: VALIDITY
  threshold: 1
- sqlAssertion:
    sqlStatement :