שילוב עם BigQuery

‫BigQuery משתלב עם Document AI כדי לעזור ליצור ניתוח מסמכים ותרחישי שימוש ב-AI גנרטיבי. הטרנספורמציה הדיגיטלית מתרחשת במהירות, וארגונים יוצרים כמויות עצומות של טקסט ונתונים אחרים במסמכים. לנתונים האלה יש פוטנציאל עצום לתובנות ולשימושים חדשים ב-AI גנרטיבי. כדי לעזור לכם להפיק תועלת מהנתונים האלה, אנחנו שמחים להודיע על שילוב בין BigQuery לבין Document AI. השילוב הזה מאפשר לכם לחלץ תובנות מנתוני מסמכים ולבנות אפליקציות חדשות של מודלים גדולים של שפה (LLM).

סקירה כללית

לקוחות BigQuery יכולים עכשיו ליצור כלי חילוץ בהתאמה אישית של Document AI, שמבוססים על מודלים מתקדמים של Google. הם יכולים להתאים אותם אישית על סמך המסמכים והמטא-נתונים שלהם. אחר כך אפשר להפעיל את המודלים המותאמים אישית מ-BigQuery כדי לחלץ נתונים מובנים ממסמכים בצורה מאובטחת ומבוקרת, באמצעות הפשטות והעוצמה של SQL. לפני השילוב הזה, חלק מהלקוחות ניסו ליצור צינורות נתונים עצמאיים של Document AI, שכללו אוצרות ידניים של לוגיקת חילוץ וסכימה. היעדר יכולות שילוב מובנות גרם להם לפתח תשתית בהתאמה אישית כדי לסנכרן ולשמור על עקביות הנתונים. כך כל פרויקט של ניתוח מסמכים הפך למשימה גדולה שדרשה השקעה משמעותית. השילוב הזה מאפשר ללקוחות ליצור מודלים מרוחקים ב-BigQuery עבור כלי החילוץ המותאמים אישית שלהם ב-Document AI, ולהשתמש בהם כדי לבצע ניתוח מסמכים ו-AI גנרטיבי בקנה מידה נרחב. כך נפתח עידן חדש של תובנות מבוססות-נתונים וחדשנות.

חוויה אחידה ומבוקרת של נתונים ל-AI

אפשר ליצור חילוץ מותאם אישית ב-Document AI בשלושה שלבים:

1. מגדירים את הנתונים שרוצים לחלץ מהמסמכים. הוא נקרא document schema, הוא מאוחסן בכל גרסה של כלי החילוץ המותאם אישית ואפשר לגשת אליו מ-BigQuery.
2. אפשר גם לספק מסמכים נוספים עם הערות כדוגמאות לחילוץ.
3. מאמנים את המודל לחילוץ המותאם אישית, על סמך מודלי הבסיס שמופיעים ב-Document AI.

בנוסף לחילוץ מותאם אישית שדורש אימון ידני, Document AI מספק גם חילוץ מוכן לשימוש של הוצאות, קבלות, חשבוניות, טפסי מס, תעודות מזהות רשמיות ומגוון תרחישים אחרים, בגלריית המעבדים.

אחרי שהכלי המותאם לחילוץ מוכן, אפשר לעבור ל-BigQuery Studio כדי לנתח את המסמכים באמצעות SQL בארבעת השלבים הבאים:

1. רישום מודל מרוחק של BigQuery לחילוץ באמצעות SQL. המודל יכול להבין את סכימת המסמך (שנוצרה למעלה), להפעיל את הכלי המותאם אישית לחילוץ ולנתח את התוצאות.
2. יצירת טבלאות אובייקטים באמצעות SQL למסמכים שמאוחסנים ב-Cloud Storage. אתם יכולים לשלוט בנתונים הלא מובנים בטבלאות על ידי הגדרת מדיניות גישה ברמת השורה, שמגבילה את הגישה של המשתמשים למסמכים מסוימים וכך מגבילה את יכולות ה-AI לצורך שמירה על פרטיות ואבטחה.
3. משתמשים בפונקציה ML.PROCESS_DOCUMENT בטבלת האובייקטים כדי לחלץ שדות רלוונטיים על ידי שליחת קריאות היקש לנקודת קצה ל-API. אפשר גם לסנן את המסמכים לחילוצים באמצעות פסקה WHERE מחוץ לפונקציה. הפונקציה מחזירה טבלה מובנית, כאשר כל עמודה היא שדה שחולץ.
4. אפשר לצרף את הנתונים שחולצו לטבלאות אחרות ב-BigQuery כדי לשלב נתונים מובנים ולא מובנים, וכך להפיק ערכים עסקיים.

בדוגמה הבאה אפשר לראות את חוויית המשתמש: