הגדרת אוספים

במאמר הזה נסביר איך לבצע את הפעולות הבאות ב-Dataform:

לפני שמתחילים

  1. נכנסים לדף Dataform במסוף Google Cloud .

    מעבר אל Dataform

  2. בוחרים מאגר או יוצרים מאגר.

  3. בוחרים או יוצרים סביבת עבודה לפיתוח.

  4. אופציונלי: כדי לשנות את פרויקט ברירת המחדל Google Cloud בהגדרות של הגרסה, צריך לתת לחשבון השירות המותאם אישית גישה לפרויקט שבו אתם מתכננים להשתמש.

התפקידים הנדרשים

כדי לקבל את ההרשאות שדרושות לביצוע המשימות שמתוארות במסמך הזה, אתם צריכים לבקש מהאדמין להקצות לכם את תפקידי ה-IAM הבאים:

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

כדי לשפר את האבטחה של קביעת פגישות, אפשר לקרוא על הטמעה של הרשאות משופרות לקביעת פגישות.

כדי לעדכן את גרסת ההפצה של הגדרת הפצה במאגר Dataform, צריך להעניק את ההרשאה iam.serviceAccounts.actAs לסוכן השירות של Dataform לכל חשבון שירות מותאם אישית בהגדרות של תהליכי העבודה שמשתמשים בהגדרת ההפצה הזו. ההרשאה הזו זמינה בתפקיד המשתמש של חשבון השירות (roles/iam.serviceAccountUser). מידע נוסף זמין במאמר הקצאת התפקידים הנדרשים ב-IAM.

מבוא למחזור החיים של תהליך העבודה ב-Dataform

בקטע הזה מוסבר על מחזור החיים של תהליך העבודה ב-Dataform ועל דרכים להגדיר קומפילציה והרצה ב-Dataform.

מחזור החיים של תהליך העבודה ב-Dataform מורכב מהשלבים הבאים:

פיתוח
מפתחים תהליך עבודה בסביבת עבודה של Dataform.
אוסף

‫Dataform מהדר את קוד תהליך העבודה בסביבת העבודה ל-SQL בזמן אמת, ויוצר תוצאת הידור של סביבת העבודה שאפשר להריץ ב-BigQuery. ‫Dataform משתמש בהגדרות שמוגדרות בקובץ ההגדרות של תהליך העבודה כדי ליצור את תוצאת הקומפילציה.

הקומפילציה של Dataform היא הרמטית כדי להבטיח עקביות בקומפילציה. כלומר, אותו קוד עובר קומפילציה לאותו תוצאת קומפילציה של SQL בכל פעם. ‫Dataform מהדר את הקוד בסביבת ארגז חול ללא גישה לאינטרנט. במהלך ההידור לא זמינות פעולות נוספות, כמו קריאה לממשקי API חיצוניים.

הרצה

בהפעלת תהליך עבודה,‏ Dataform מריץ את תוצאת הקומפילציה של סביבת העבודה ב-BigQuery.

כדי להתאים את מחזור החיים של תהליך העבודה ב-Dataform לצרכים שלכם, אתם יכולים להגדיר את תוצאת ההידור (compilation) כך שתשפיע על המקום שבו Dataform מריץ את תהליך העבודה ועל האופן שבו הוא מריץ אותו. לאחר מכן, תוכלו להפעיל ידנית או לתזמן הפעלות כדי להשפיע על המועד שבו Dataform יפעיל את זרימת העבודה כולה או את הרכיבים שנבחרו בה.

דרכים להגדיר הידור (compilation) ב-Dataform

כברירת מחדל, Dataform משתמש בהגדרות בקובץ ההגדרות של תהליך העבודה כדי ליצור תוצאות הידור. אפשר לשנות את הגדרות ברירת המחדל באמצעות שינויים בהידור כדי ליצור תוצאות הידור בהתאמה אישית. לאחר מכן אפשר להפעיל ידנית ביצוע של תוצאת קומפילציה בהתאמה אישית, או לתזמן ביצועים.

ב-Dataform יש את האפשרויות הבאות להגדרת תוצאות ההידור:

שינוי הגדרות הקימפול ב-Workspace
אפשר להגדיר שינויים בהידור שיחולו על כל סביבות העבודה במאגר. אתם יכולים להשתמש בהגדרות ברירת מחדל שונות של קומפילציה בסביבת העבודה כדי ליצור סביבות פיתוח מבודדות.
הגדרות מוצר