מאמרי עזרה על CLI של Cloud Storage FUSE

במאמר הזה מתוארות האפשרויות של הפקודה gcsfuse שמשמשות לאינטראקציה עם Cloud Storage FUSE. אם אתם משתמשים במנהל התקן ה-CSI של Cloud Storage FUSE כדי לטעון את הקטגוריות שלכם למערכת הקבצים המקומית ב-Google Kubernetes Engine, כדאי לעיין במאמר בנושא אפשרויות טעינה של מנהל התקן ה-CSI של Cloud Storage FUSE.

ממשק שורת הפקודה (CLI) של Cloud Storage FUSE, או gcsfuse CLI, משמש לטעינת קטגוריות של Cloud Storage כמערכות קבצים במחשב מקומי.

מבנה הפקודות ב-CLI‏ gcsfuse

בדוגמה הבאה מוצג המבנה של הפקודה gcsfuse, כולל פקודות חובה ואפשרויות gcsfuse אופציונליות.

gcsfuse GLOBAL_OPTIONS BUCKET_NAME MOUNT_POINT

מחליפים את מה שכתוב בשדות הבאים:

  • ‫GLOBAL_OPTIONS הן gcsfuse האפשרויות שקובעות את אופן הגדרת הטעינה ואת ההתנהגות של Cloud Storage FUSE.

  • ‫BUCKET_NAME הוא שם הקטגוריה שצריך לטעון. לדוגמה, my-mount-bucket. אופציונלי. כדי לבצע טעינה דינמית, לא כוללים שם של קטגוריה בפקודה הזו.

  • ‫MOUNT_POINT היא הספרייה המקומית שאליה תטענו את הקטגוריה. לדוגמה, /path/to/mount/point.

gcsfuse אפשרויות של CLI

אפשרות gcsfuse תיאור ערך תקין ערך ברירת המחדל
השבתת האימות לבקשות. צריך להגדיר את האפשרות הזו אם משתמשים בנקודת קצה מותאמת אישית שלא תומכת באימות. צריך להגדיר את האפשרות הזו גם אם משתמשים ב-Cloud Storage FUSE עם קטגוריות ציבוריות. ערך בוליאני: true, false. false
שם האפליקציה של הטעינה. ערך מחרוזת, לדוגמה: my-bucket-mount. ""
מציינת איזה פרויקט צריך להשתמש לחיוב כשמתבצעת גישה לקטגוריה שהוטענה. האפשרות הזו נחוצה לרוב במהלך טעינת קטגוריה שמופעלת באמצעות התכונה מגיש הבקשה משלם. ערך מחרוזת שמייצג מזהה פרויקט. ""

מפעילה את המטמון של הקבצים ומציינת את הספרייה לאחסון נתוני המטמון של הקבצים.

 נתיב, לדוגמה: /tmp/gcsfuse-cache-path. ערך ריק מציין שהאפשרות הזו מושבתת. האפשרות הזו gcsfuse מושבתת כברירת מחדל. ""
מציינת באמצעות איזה פרוטוקול תתבצע התקשורת עם הקצה העורפי של Cloud Storage. http1

מייצאת מדדים ל-Cloud Monitoring במרווח הזמן שצוין.

 מספר שלם שמייצג ערך בשניות, לדוגמה: 10 (10 שניות). הערך 0 מציין שלא יתבצע ייצוא. 0
מציין את הנתיב אל קובץ ההגדרות שבו רוצים להשתמש כדי להגדיר את אופן הפעולה של Cloud Storage FUSE. נתיב, לדוגמה: /etc/gcsfuse.yaml. ""
מציינת נקודת קצה (endpoint) מותאמת אישית חלופית לאחזור נתונים. נקודת הקצה המותאמת אישית חייבת לתמוך בפעולות ובמשאבים המקבילים לאלה של נקודת הקצה של gRPC‏ ב-Cloud Storage, storage.googleapis.com:443, או של נקודת הקצה של JSON‏ ב-Cloud Storage, https://storage.googleapis.com/storage/v1. אם לא מצוינת נקודת קצה מותאמת אישית, Cloud Storage FUSE משתמש בנקודת הקצה הגלובלית ל-JSON ב-Cloud Storage. אם נקודת הקצה המותאמת אישית שציינתם לא תומכת באימות, צריך להגדיר את האפשרות --anonymous-access gcsfuse לערך true כדי לעקוף את האימות. נקודת קצה, לדוגמה: storage.googleapis.com:443. ""
מפעילה פלט ניפוי באגים שקשורים ל-FUSE. האפשרות הזו הוחלפה באפשרות --log-severity gcsfuse. כדי להפעיל פלט של ניפוי באגים, מגדירים את האפשרות --log-severity gcsfuse לערך trace, שכולל יומני מעקב, ניפוי באגים, מידע, אזהרה ושגיאה. ערך בוליאני: true, false. false
מדפיסה מידע בנוגע לבקשה ולתזמון של Cloud Storage. האפשרות gcsfuse הוחלפה באפשרות --log-severity gcsfuse. כדי להפעיל פלט של ניפוי באגים, מגדירים את האפשרות --log-severity gcsfuse לערך trace, שכולל יומני מעקב, ניפוי באגים, מידע, אזהרה ושגיאה. ערך בוליאני: true, false. false
יוצאת מהתוכנית כשמזוהות הפרות של משתנים קבועים פנימיים. ערך בוליאני: true, false. false
מדפיסה הודעות ניפוי באגים כאשר מפעילים מניעה הדדית (mutex) למשך זמן רב מדי. אם מציינים את האפשרות gcsfuse, דרגת החומרה של היומנים מוגדרת אוטומטית ל-gcsfuse, שכוללת יומנים של מעקב, ניפוי באגים, מידע, אזהרה ושגיאה.trace ערך בוליאני: true, false. false
ביטים של הרשאות לספריות, על בסיס אוקטלי. מספר שלם בין 000 ל-777 (כולל). 755
מציין אחזור מראש אסינכרוני של חלקים מאובייקט ב-Cloud Storage למאגר זמני בזיכרון, כדי שקריאות עוקבות יתבצעו מהמאגר הזמני במקום לדרוש קריאות לרשת. ערך בוליאני: true, false false
יוצרת רשומת מטמון של נתוני type עם הסוג NonexistentType אם קובץ לא נמצא ב-Cloud Storage. אם הקובץ נוצר ב-Cloud Storage אבל הרשומה NonexistentType של הקובץ שמורה במטמון, Cloud Storage FUSE לא יכול לבקש את הקובץ עד שהרשומה NonexistentType תוסר ממטמון של נתוני type. ערך בוליאני: true, false. false
ההגדרה הזו שולטת בזרימת נתיב הכתיבה, כך שהנתונים מועלים ישירות ל-Cloud Storage בזמן הכתיבה, במקום לאחסן את הכתיבה באופן מלא באופן מקומי ולהעלות אותה אחרי close() או fsync(). מידע נוסף על כתיבה בסטרימינג אפשר למצוא במאמר Cloud Storage FUSE semantics במאמרי העזרה של Cloud Storage FUSE GitHub. ערך בוליאני: true, false. true

המדיניות הזו קובעת את הגודל המקסימלי ב-MiB שבו מטמון הקבצים יכול להשתמש, ומאפשרת להגביל את הקיבולת הכוללת שמטמון הקבצים יכול להשתמש בה בספרייה המותקנת שלו.
  • מספר שלם
  • ‫-1: מציין את השימוש בכל הקיבולת הזמינה של המטמון בספרייה שצוינה ב-cache-dir. זוהי ברירת המחדל רק אם מועבר הערך cache-dir.
  • ‫0: משבית את מטמון הקבצים.
 -1
קובע אם האובייקט המלא צריך להיות מורד באופן אסינכרוני ומאוחסן בספריית המטמון של Cloud Storage FUSE, כשהקריאה הראשונה מסתיימת מהיסט שאינו אפס. צריך להגדיר את האפשרות gcsfuse לערך true אם מתכננים לבצע כמה קריאות אקראיות או קריאות חלקיות. ערך בוליאני: true, false. false
מציין את הגודל של כל בקשת קריאה ב-MiB שכל goroutine שולח ל-Cloud Storage כשמורידים את האובייקט למטמון הקבצים. מספר שלם 200

מאיץ את הקריאה של קבצים גדולים באמצעות שימוש בספריית מטמון הקבצים כמאגר אחזור מראש, ושימוש בכמה עובדים להורדה מקבילה של כמה חלקים של קובץ.

ההורדות המקבילות מופעלות אוטומטית כשמפעילים את שמירת הקבצים במטמון. מידע נוסף על שמירת קבצים במטמון זמין במאמר שמירת קבצים במטמון ב-Cloud Storage FUSE.

מידע נוסף על הורדות מקבילות ועל הגדרת מאפיינים תומכים זמין במאמר בנושא הורדות מקבילות.

 ערך בוליאני: true, false. true
ביטוי רגולרי שמציין קבצים שיוחרגו מהשמירה במטמון. אם קובץ תואם לביטוי הרגולרי הזה, הוא לא נשמר במטמון, גם אם הוא תואם גם ל---file-cache-include-regex. הביטוי הרגולרי מותאם לנתיבי קבצים בפורמט bucket_name/object_key. מידע נוסף זמין במאמר בנושא שליטה באפשרות השמירה במטמון ברמת הקובץ באמצעות ביטויים רגולריים. ערך מחרוזת שמייצג ביטוי רגולרי. ""
ביטוי רגולרי שמציין את הקבצים שייכללו במטמון. אם משתמשים באפשרות הזו, רק קבצים שתואמים לביטוי הרגולרי הזה נשמרים במטמון. הביטוי הרגולרי מותאם לנתיבי קבצים בפורמט bucket_name/object_key. מידע נוסף זמין במאמר בנושא שליטה באפשרות השמירה במטמון ברמת הקובץ באמצעות ביטויים רגולריים. ערך מחרוזת שמייצג ביטוי רגולרי. ""
המספר המקסימלי של goroutines שאפשר ליצור בכל זמן נתון בכל משימות ההורדה של הקבצים.
  • מספר שלם
  • ‫-1: מציין הורדות מקבילות ללא הגבלה.
  • ‫0: השבתה של הורדות מקבילות. אפשר להשתמש בפרמטר הזה רק אם לא מעבירים את הפרמטר --enable-parallel-downloads או אם מעבירים אותו כ-false.
 פי שניים ממספר ליבות המעבד במחשב או 16, הגבוה מביניהם.
מספר בקשות ההורדה בו-זמנית לכל קובץ. מספר שלם 16
מציינת ביטים של הרשאות לקבצים, על בסיס אוקטלי. מספר שלם בין 000 ל-777 (כולל). 644
מריצה את הפקודה gcsfuse בחזית. ערך בוליאני: true, false. false
מציינת מי הבעלים של מזהה הקבוצה (GID) של כל צמתי inode.
  • מספר שלם שמייצג GID.
  • ‫-1: נעשה שימוש ב-GID של הצד שקורא.
 -1
מציגה עזרה לגבי Cloud Storage FUSE. ללא ללא
מציגה את גרסת Cloud Storage FUSE שהתקנתם. ללא ללא
מציינת כמה זמן צד הלקוח ב-HTTP ב-Cloud Storage FUSE יכול לחכות לקבלת תשובה מהשרת לפני שהזמן הקצוב יסתיים. משך, לדוגמה: 1h10m10s למשך שעה, 10 דקות ו-10 שניות. הערך 0s מציין שאין זמן קצוב לתפוגה. 0s
הפקודה הזו גורמת ל-Cloud Storage FUSE להתעלם מאותות הפרעה של המערכת, כמו SIGINT שמופעל על ידי Control+C. ההגדרה הזו מונעת מהאותות להפסיק פעולות שנמצאות בתהליך. ערך בוליאני: true, false. true
כולל באופן מרומז תיקיות ותיקיות מנוהלות. מידע נוסף זמין במאמר קבצים וספריות במאמרי העזרה של Cloud Storage FUSE GitHub. ערך בוליאני: true, false. false

ההגדרה הזו מפעילה את מטמון הרשימה ומגדירה את אורך החיים (TTL) בשניות של רשומות רשימה שנשמרו במטמון. מטמון הרשימה נשמר בזיכרון במטמון הדפים, שמנוהל על ידי ליבת המערכת על סמך הזיכרון הזמין.
  • מספר שלם שמייצג שניות, לדוגמה: 10 (10 שניות).
  • ‫0: השבתה של שמירת רשימות במטמון.
  • ‫-1: דילוג על תפוגת הרשומה והחזרת תגובת הרשימה מהמטמון תמיד, אם היא זמינה.
 0
מציינת נתיב מוחלט לקובץ מפתח ה-JSON של פרטי הכניסה לצורך אימות בקשות ב-Cloud Storage. כברירת מחדל, אימות הבקשות ב-Cloud Storage FUSE מתבצע באמצעות Application Default Credentials. נתיב, לדוגמה: /home/example_user/gcloud-key.json. אם האפשרות הזו לא מוגדרת, נעשה שימוש בפרטי הכניסה שמוגדרים כברירת מחדל באפליקציה.
מציינת את מגבלת רוחב הפס שבה Cloud Storage FUSE יכול לקרוא נתונים מ-Cloud Storage. היא נמדדת במשך חלון זמן של 30 שניות. מספר נקודה צפה. -1 מציין שאין מגבלה. -1
מציינת מגבלת ביצוע של מספר הפעולות לשנייה, שנמדדת במשך חלון זמן של 30 שניות. מספר נקודה צפה. -1 מציין שאין מגבלה. -1
מציינת את הקובץ לאחסון יומנים שאפשר לנתח באמצעות Fluentd. נתיב, לדוגמה: /tmp/user-example-bucket-gcsfuse-logs.txt. ‫stdout כש-Cloud Storage FUSE פועל בחזית או syslog כש-Cloud Storage FUSE פועל ברקע
מציינת את הפורמט של קובץ היומן.
  • text
  • json
 json
המספר המקסימלי של קובצי יומן מסובבים שיישארו, לא כולל הקובץ הפעיל שבו נרשמים היומנים.
  • מספר שלם
  • ‫0: שומר את כל קובצי היומן שהוחלפו
 10
ההגדרה קובעת אם קובצי יומן מסובבים דחוסים באמצעות gzip. ערך בוליאני: true, false. true
הגודל המקסימלי במגה-בייט (MB) שקבצי יומן יכולים להגיע אליו לפני שהם עוברים רוטציה. מספר שלם. הערך המינימלי הוא 1. 512