שימוש ביומני הפלטפורמה לפתרון בעיות שקשורות לייבוא נושאים

במדריך הזה מוסבר איך להשתמש ביומני פלטפורמה כדי לפתור בעיות כשמשתמשים בנושאים של ייבוא, כולל הנושאים הבאים: נושאים של ייבוא מ-Cloud Storage, נושאים של ייבוא מ-Azure Event Hubs, נושאים של ייבוא מ-Amazon MSK ונושאים של ייבוא מ-Confluent Cloud. Google Cloud

מידע על יומני פלטפורמה

שירות נתמך Google Cloud יוצר קבוצה משלו של יומני פלטפורמה, שמתעדים אירועים ופעילויות שרלוונטיים לפעולה של השירות הזה. יומני הפלטפורמה האלה מכילים מידע מפורט על מה שקורה בשירות, כולל פעולות מוצלחות, שגיאות, אזהרות ואירועים חשובים אחרים.

יומני פלטפורמה הם חלק מ-Cloud Logging, והם כוללים את אותן תכונות. לדוגמה, הנה רשימה של תכונות חשובות של יומני פלטפורמה:

מידע נוסף על יומני פלטפורמה זמין במאמר יומני פלטפורמה של Google Cloud.

לפני שמתחילים

חשוב לוודא שהשלמתם את התנאים המוקדמים ליצירת הנושא שבו אתם משתמשים:

התפקידים וההרשאות הנדרשים

לפני שמתחילים, צריך לוודא שיש לכם גישה לרישום ביומן. אתם צריכים את התפקיד Logs Viewer (roles/logging.viewer)במערכת לניהול הזהויות והרשאות הגישה (IAM). מידע נוסף על גישה ל-Logging זמין במאמר בקרת גישה באמצעות IAM.

בהמשך מוסבר איך לאמת את הגישה ל-IAM ולהעניק אותה:

מידע על כשלים בהוספת נושאים לייבוא

יכולות להיות בעיות בייבוא נושאים שימנעו את ההטמעה של הנתונים.

נושאים שקשורים לייבוא ב-Cloud Storage

יכולות להיות בעיות בנושאים שקשורים לייבוא מ-Cloud Storage, שימנעו את ההטמעה של הנתונים. לדוגמה, כשמשתמשים בנושא ייבוא של Cloud Storage, יכולות להיות בעיות בהוספה של אובייקט של Cloud Storage או חלק מאובייקט.

ברשימה הבאה מתוארות הסיבות לכשלים בהעברה בנושאים של ייבוא מ-Cloud Storage שיוצרים יומנים של הפלטפורמה:

  • גודל ההודעה

    • הגודל המקסימלי של כל הודעה הוא 10MB. אם הם קיימים, המערכת מדלגת על כל ההודעה.

    • אם משתמשים בפורמט Avro או בפורמט Pub/Sub Avro, הגודל המקסימלי של בלוקים ב-Avro הוא 16MB. מערכת תדלג על בלוקים גדולים יותר של Avro.

  • מאפייני ההודעה

    • הודעות יכולות לכלול עד 100 מאפיינים. כל מאפיין נוסף מושמט כשמבצעים המרה של ההודעה.

    • מפתחות של מאפיינים לא יכולים להיות גדולים מ-256 בייט, וערכים לא יכולים להיות גדולים מ-1,024 בייט. אם הערך גדול מהגודל המקסימלי, זוג המפתח/ערך כולו מושמט מההודעה בזמן ההטמעה.

      מידע נוסף על ההנחיות לשימוש במפתחות ובמאפיינים של הודעות זמין במאמר שימוש במאפיינים לפרסום הודעה.

  • עיצוב Avro

    • מוודאים שהפורמט של אובייקטי Avro תקין. פורמט שגוי מונע את ההטמעה של ההודעה.

  • פורמט נתונים

    • חשוב לוודא שאתם משתמשים בגרסת Avro נתמכת. פורמטים שלא נתמכים לא יעברו עיבוד.

נושאים לייבוא מ-Azure Event Hubs,‏ Amazon MSK ו-Confluent Cloud

יכולות להיות בעיות בייבוא נושאים מ-Azure Event Hubs, מ-Amazon MSK ומ-Confluent Cloud, שימנעו את ההטמעה של הנתונים.

ברשימה הבאה מפורטות הסיבות לכשל בהטמעה בנושאים של ייבוא שיוצרים יומני פלטפורמה:

  • גודל ההודעה

    • הגודל המקסימלי של כל הודעה הוא 10MB. אם הם קיימים, המערכת מדלגת על כל ההודעה.

  • מאפייני ההודעה

    • הודעות יכולות לכלול עד 100 מאפיינים. כל מאפיין נוסף מושמט כשמבצעים המרה של ההודעה.

    • מפתחות של מאפיינים לא יכולים להיות גדולים מ-256 בייט, וערכים לא יכולים להיות גדולים מ-1,024 בייט. אם הערך גדול מהגודל המקסימלי, זוג המפתח/ערך כולו מושמט מההודעה בזמן ההטמעה.

      מידע נוסף על ההנחיות לשימוש במפתחות ובמאפיינים של הודעות זמין במאמר שימוש במאפיינים לפרסום הודעה.

הפעלת יומני פלטפורמה

האפשרות 'יומני פלטפורמה' מושבתת כברירת מחדל בנושאים של ייבוא. אפשר להפעיל יומני פלטפורמה כשיוצרים או מעדכנים נושא ייבוא. כדי להשבית את יומני הפלטפורמה, צריך לעדכן את נושא הייבוא.

הפעלת יומני פלטפורמה בזמן יצירת נושא ייבוא

כדי להפעיל יומני פלטפורמה כשיוצרים נושא לייבוא:

המסוף

  1. נכנסים לדף Topics במסוף Google Cloud .

    לדף Topics

  2. לוחצים על יצירת נושא.

    ייפתח דף הפרטים של הנושא.

  3. בשדה Topic ID (מזהה הנושא), מזינים מזהה לנושא של הייבוא.

    מידע נוסף על מתן שמות לנושאים זמין בהנחיות למתן שמות.

  4. בוחרים באפשרות הוספת מינוי שמוגדר כברירת מחדל.

  5. בוחרים באפשרות הפעלת הטמעה.

  6. משאירים את שאר הגדרות ברירת המחדל.
  7. לוחצים על יצירת נושא.

gcloud

  1. במסוף Google Cloud , מפעילים את Cloud Shell.

    הפעלת Cloud Shell

    בחלק התחתון של Google Cloud המסוף יתחיל סשן של Cloud Shell ותופיע הודעה של שורת הפקודה. Cloud Shell היא סביבת מעטפת שבה ה-CLI של Google Cloud מותקן ומוגדרים ערכים לפרויקט הקיים. הסשן יופעל תוך כמה שניות.

  2. כדי להפעיל את יומני הפלטפורמה, מוודאים שהדגל --ingestion-log-severity מוגדר לערך WARNING או לרמת חומרה נמוכה יותר, כמו INFO או DEBUG. מריצים את הפקודה gcloud pubsub topics create לנושא המתאים שבו אתם משתמשים:

    לדוגמה, כדי להפעיל יומנים של פלטפורמה בנושא ייבוא של Cloud Storage, צריך לכלול את הדגל --ingestion-log-severity=WARNING בפקודה gcloud pubsub topics create.

    gcloud pubsub topics create TOPIC_ID \
    --cloud-storage-ingestion-bucket=BUCKET_NAME \
    --cloud-storage-ingestion-input-format=INPUT_FORMAT \
    --ingestion-log-severity=WARNING

הפעלת יומני פלטפורמה בזמן עדכון נושא ייבוא

כדי להפעיל את יומני הפלטפורמה כשמעדכנים נושא ייבוא:

המסוף

  1. נכנסים לדף Topics במסוף Google Cloud .

    לדף Topics

  2. לוחצים על נושא הייבוא המתאים שבו אתם משתמשים (נושא ייבוא של Cloud Storage, נושא ייבוא של Azure Event Hubs, נושא ייבוא של Amazon MSK או נושא ייבוא של Confluent Cloud).

  3. בדף הפרטים של הנושא, לוחצים על עריכה.

  4. בוחרים באפשרות הפעלת יומני פלטפורמה.

  5. לוחצים על עדכון.

gcloud

  1. במסוף Google Cloud , מפעילים את Cloud Shell.

    הפעלת Cloud Shell

    בחלק התחתון של Google Cloud המסוף יתחיל סשן של Cloud Shell ותופיע הודעה של שורת הפקודה. Cloud Shell היא סביבת מעטפת שבה ה-CLI של Google Cloud מותקן ומוגדרים ערכים לפרויקט הקיים. הסשן יופעל תוך כמה שניות.

  2. כדי להפעיל את יומני הפלטפורמה, צריך לוודא שההגדרה ingestion-log-severity מוגדרת ל-WARNING או לרמת חומרה נמוכה יותר, כמו INFO או DEBUG. מריצים את הפקודה gcloud pubsub topics update עם כל הדגלים האפשריים שמציינים הגדרות לנושא הרלוונטי שבו אתם משתמשים:

    לדוגמה, כדי לעדכן יומנים בנושא ייבוא קיים של Cloud Storage, צריך לכלול את הדגל --ingestion-log-severity=WARNING בפקודה gcloud pubsub topics create ולכלול את כל ערכי הדגל האפשריים שמציינים הגדרות לנושא ייבוא של Cloud Storage.

    gcloud pubsub topics update TOPIC_ID \
    --cloud-storage-ingestion-bucket=BUCKET_NAME \
    --cloud-storage-ingestion-input-format=INPUT_FORMAT \
    --cloud-storage-ingestion-text-delimiter=TEXT_DELIMITER \
    --cloud-storage-ingestion-minimum-object-create-time=MINIMUM_OBJECT_CREATE_TIME \
    --cloud-storage-ingestion-match-glob=MATCH_GLOB
    --ingestion-log-severity=WARNING

השבתת יומני פלטפורמה

כדי להשבית את יומני הפלטפורמה בנושא הייבוא הרלוונטי שבו אתם משתמשים:

המסוף

  1. נכנסים לדף Topics במסוף Google Cloud .

    לדף Topics

  2. לוחצים על נושא הייבוא המתאים שבו אתם משתמשים (נושא ייבוא של Cloud Storage, נושא ייבוא של Azure Event Hubs, נושא ייבוא של Amazon MSK או נושא ייבוא של Confluent Cloud).

  3. בדף הפרטים של הנושא, לוחצים על עריכה.

  4. מבטלים את הסימון של הפעלת יומני פלטפורמה.

  5. לוחצים על עדכון.

gcloud

  1. במסוף Google Cloud , מפעילים את Cloud Shell.

    הפעלת Cloud Shell

    בחלק התחתון של Google Cloud המסוף יתחיל סשן של Cloud Shell ותופיע הודעה של שורת הפקודה. Cloud Shell היא סביבת מעטפת שבה ה-CLI של Google Cloud מותקן ומוגדרים ערכים לפרויקט הקיים. הסשן יופעל תוך כמה שניות.

  2. כדי להשבית את יומני הפלטפורמה, מוודאים שהערך של ingestion-log-severity הוא DISABLED. מריצים את הפקודה gcloud pubsub topics update עם כל הדגלים האפשריים שמציינים הגדרות לנושא הרלוונטי שבו אתם משתמשים:

    לדוגמה, כדי להשבית את היומנים בנושא קיים של ייבוא ל-Cloud Storage, צריך לכלול את הדגל --ingestion-log-severity=DISABLED בפקודה gcloud pubsub topics update ולכלול את כל הדגלים האפשריים שמציינים הגדרות לנושא ייבוא ל-Cloud Storage.

    gcloud pubsub topics update TOPIC_ID \
    --cloud-storage-ingestion-bucket=BUCKET_NAME \
    --cloud-storage-ingestion-input-format=INPUT_FORMAT \
    --cloud-storage-ingestion-text-delimiter=TEXT_DELIMITER \
    --cloud-storage-ingestion-minimum-object-create-time=MINIMUM_OBJECT_CREATE_TIME \
    --cloud-storage-ingestion-match-glob=MATCH_GLOB
    --ingestion-log-severity=DISABLED

צפייה ביומני הפלטפורמה

כדי לראות את יומני הפלטפורמה של נושא הייבוא הרלוונטי שבו אתם משתמשים, מבצעים את הפעולות הבאות:

מסוף Google Cloud

  1. במסוף Google Cloud , עוברים אל Logs Explorer.

    כניסה לדף Logs Explorer

  2. בוחרים פרויקט Google Cloud .

  3. אם צריך, בתפריט Upgrade, עוברים מLegacy Logs Viewer אל Logs Explorer.

  4. לוחצים על המתג Show query.

  5. כדי לסנן את היומנים כך שיוצגו רק הרשומות של נושאי הייבוא שבהם אתם משתמשים (נושא ייבוא של Cloud Storage, נושא ייבוא של Azure Event Hubs, נושא ייבוא של Amazon MSK או נושא ייבוא של Confluent Cloud), מקלידים "resource.type=pubsub_topic AND severity=WARNING" בשדה השאילתה ולוחצים על הפעלת שאילתה.

  6. בחלונית Query results, לוחצים על Edit time כדי לשנות את התקופה שרוצים לקבל לגביה תוצאות.

מידע נוסף על השימוש ב-Logs Explorer מופיע במאמר שימוש ב-Logs Explorer.