אתם יכולים להשתמש בשירות המנוהל של Cloud Firestore לייצוא ולייבוא כדי לשחזר נתונים שנמחקו בטעות, ולייצא נתונים לעיבוד אופליין. אפשר לייצא את כל המסמכים או רק קבוצות ספציפיות של אוספים. באופן דומה, אפשר לייבא את כל הנתונים מייצוא או רק קבוצות ספציפיות של אוספים. אפשר לייבא נתונים שיוצאו ממסד נתונים אחד של Cloud Firestore למסד נתונים אחר של Cloud Firestore. אפשר גם לטעון את נתוני הייצוא של Cloud Firestore ל-BigQuery.
בדף הזה מוסבר איך לייצא ולייבא מסמכי Cloud Firestore באמצעות שירות הייצוא והייבוא המנוהל ו-Cloud Storage. שירות הייצוא והייבוא המנוהל של Cloud Firestore זמין דרך כלי שורת הפקודה gcloud ודרך ה-API של Cloud Firestore (REST, RPC).
לפני שמתחילים
כדי להשתמש בשירות המנוהל לייצוא ולייבוא, צריך לבצע את הפעולות הבאות:
- הפעלת החיוב בפרויקט ב-Google Cloud רק בפרויקטים ב-Google Cloud שמופעל בהם חיוב אפשר להשתמש בפונקציונליות של ייצוא וייבוא.
- יוצרים קטגוריה של Cloud Storage לפרויקט במיקום שקרוב למיקום של מסד הנתונים ב-Cloud Firestore. אי אפשר להשתמש בקטגוריה שבה מופעלת התכונה "מגיש הבקשה משלם" או בקטגוריית Rapid לצורך פעולות ייצוא וייבוא.
-
מוודאים שיש לחשבון את ההרשאות הנדרשות ל-Cloud Firestore ול-Cloud Storage. אם אתם הבעלים של הפרויקט, לחשבון שלכם יש את ההרשאות הנדרשות. אחרת, התפקידים הבאים נותנים את ההרשאות שנדרשות לפעולות ייצוא וייבוא ולגישה אל Cloud Storage:
- תפקידים ב-Cloud Firestore:
Owner,Cloud Datastore OwnerאוCloud Datastore Import Export Admin Cloud Storage תפקידים:
OwnerאוStorage Admin
- תפקידים ב-Cloud Firestore:
הרשאות של סוכן שירות
פעולות הייצוא והייבוא משתמשות בסוכן שירות של Cloud Firestore כדי לאשר פעולות של Cloud Storage. השם של סוכן השירות Cloud Firestore מורכב לפי המוסכמה הבאה:
- סוכן שירות של Cloud Firestore
service-PROJECT_NUMBER@gcp-sa-firestore.iam.gserviceaccount.com
למידע נוסף על סוכני שירות, קראו את המאמר סוכני שירות.
סוכן השירות Cloud Firestore צריך גישה לקטגוריה Cloud Storage שמשמשת לפעולת ייצוא או ייבוא. אם הקטגוריה של Cloud Storage נמצאת באותו פרויקט שבו נמצא מסד הנתונים של Cloud Firestore, סוכן השירות של Cloud Firestore יכול לגשת לקטגוריה כברירת מחדל.
אם הקטגוריה Cloud Storage נמצאת בפרויקט אחר, צריך לתת לסוכן השירות Cloud Firestore גישה לקטגוריה Cloud Storage.
הקצאת תפקידים לסוכן השירות
אפשר להשתמש בכלי שורת הפקודה gsutil כדי להקצות את אחד מהתפקידים הבאים. לדוגמה, כדי להקצות את התפקיד "אדמין של Storage" לסוכן השירות Cloud Firestore, מריצים את הפקודה הבאה:
gsutil iam ch serviceAccount:service-PROJECT_NUMBER@gcp-sa-firestore.iam.gserviceaccount.com:roles/storage.admin \ gs://[BUCKET_NAME]
מחליפים את PROJECT_NUMBER במספר הפרויקט, שמשמש כשם של סוכן השירות של Cloud Firestore. כדי לראות את שם סוכן השירות, קראו את המאמר הצגת שם סוכן השירות.
אפשר גם להקצות את התפקיד הזה באמצעות מסוף Google Cloud.
הצגת השם של סוכן השירות
אפשר לראות את החשבון שבו משתמשות פעולות הייבוא והייצוא כדי לאשר בקשות מהדף Import/Export במסוף Google Cloud. אתם יכולים גם לראות אם מסד הנתונים משתמש בסוכן השירות של Cloud Firestore או בחשבון השירות הקודם של App Engine.
- החשבון המורשה מופיע לצד התווית משימות הייבוא/הייצוא פועלות בתור.
סוכן השירות צריך את התפקיד Storage Admin בקטגוריה Cloud Storage כדי להשתמש בה לפעולת הייצוא או הייבוא.
הגדרת gcloud לפרויקט
אפשר להתחיל פעולות ייבוא וייצוא דרך מסוף Google Cloud או דרך כלי שורת הפקודה gcloud. כדי להשתמש ב-gcloud, מגדירים את כלי שורת הפקודה ומתחברים לפרויקט באחת מהדרכים הבאות:
נכנסים ל-
gcloudממסוף Google Cloud באמצעות Cloud Shell.מוודאים ש-
gcloudמוגדר לפרויקט הנכון:gcloud config set project [PROJECT_ID]
ייצוא נתונים
פעולת ייצוא מעתיקה מסמכים ממסד הנתונים לקבוצת קבצים בקטגוריה של Cloud Storage. חשוב לזכור שהייצוא הוא לא תמונת מצב מדויקת של מסד הנתונים שנוצרה בשעת התחלת הייצוא. הייצוא עשוי לכלול שינויים שבוצעו בזמן שהפעולה רצה.
ייצוא כל המסמכים
Google Cloud Console
נכנסים לדף Databases במסוף Google Cloud.
בוחרים את מסד הנתונים הרצוי מרשימת מסדי הנתונים.
בתפריט הניווט, לוחצים על ייבוא/ייצוא.
לוחצים על ייצוא.
לוחצים על האפשרות ייצוא של כל מסד הנתונים.
בקטע Choose Destination, מזינים את השם של קטגוריית Cloud Storage או משתמשים בכפתור Browse כדי לבחור קטגוריה.
לוחצים על ייצוא.
המסוף חוזר לדף ייבוא/ייצוא. אם הפעולה מתחילה, הדף מוסיף רשומה לדף הייבוא והייצוא האחרונים. אם הפעולה נכשלת, מוצגת בדף הודעת שגיאה.
gcloud
כדי לייצא את כל המסמכים במסד הנתונים, משתמשים בפקודה firestore export ומחליפים את [BUCKET_NAME] בשם של קטגוריית Cloud Storage. מוסיפים את הדגל --async כדי למנוע מהכלי gcloud להמתין עד שהפעולה תסתיים.
gcloud firestore export gs://[BUCKET_NAME] \ --database=[DATABASE]
מחליפים את מה שכתוב בשדות הבאים:
BUCKET_NAME: ארגון הייצוא על ידי הוספת קידומת לקובץ אחרי שם הקטגוריה, לדוגמהBUCKET_NAME/my-exports-folder/export-name. אם לא תציינו תחילית לקובץ, שירות הייצוא המנוהל ייצור אחת על סמך חותמת הזמן הנוכחית.
DATABASE: שם מסד הנתונים שממנו רוצים לייצא את המסמכים. למסד הנתונים שמוגדר כברירת מחדל, משתמשים ב---database='(default)'.
אחרי שמתחילים פעולת ייצוא, סגירת הטרמינל לא מבטלת את הפעולה. מידע נוסף זמין בקטע ביטול פעולה.
ייצוא קבוצות ספציפיות של אוספים
Google Cloud Console
נכנסים לדף Databases במסוף Google Cloud.
בוחרים את מסד הנתונים הרצוי מרשימת מסדי הנתונים.
בתפריט הניווט, לוחצים על ייבוא/ייצוא.
לוחצים על ייצוא.
לוחצים על האפשרות ייצוא של קבוצת אוספים אחת או יותר. בתפריט, בוחרים קבוצה אחת או יותר של אוספים.
בקטע Choose Destination, מזינים את השם של קטגוריית Cloud Storage או משתמשים בכפתור Browse כדי לבחור קטגוריה.
לוחצים על ייצוא.
המסוף חוזר לדף ייבוא/ייצוא. אם הפעולה מתחילה, הדף מוסיף רשומה לדף הייבוא והייצוא האחרונים. אם הפעולה נכשלת, מוצגת בדף הודעת שגיאה.
gcloud
כדי לייצא קבוצות ספציפיות של אוספים, משתמשים בדגל --collection-ids. הפעולה מייצאת רק את קבוצות האוספים עם המזהים שצוינו. קבוצת אוספים כוללת את כל האוספים ואוספי המשנה שהמזהה של האוסף הסופי שלהם הוא המזהה של קבוצת האוספים.
gcloud firestore export gs://[BUCKET_NAME] \ --collection-ids=[COLLECTION_GROUP_ID_1],[COLLECTION_GROUP_ID_2] \ --database=[DATABASE]
לדוגמה, אפשר לעצב אוסף restaurants במסד הנתונים foo כך שיכלול כמה אוספי משנה, כמו ratings, reviews או outlets. כדי לייצא את קבוצת האוספים reviews, צריך לציין אותה במפורש:
gcloud firestore export gs://[BUCKET_NAME] \ --collection-ids=reviews \ --database='cymbal'
אם מציינים במקום זאת את restaurants, המסמכים באוסף המשני reviews לא ייצאו.
ייצוא מחותמת זמן של PITR
אתם יכולים לייצא את מסד הנתונים אל Cloud Storage מנתוני PITR.
אפשר לייצא נתוני PITR שבהם חותמת הזמן היא חותמת זמן של דקה שלמה בשבעת הימים האחרונים, אבל לא לפני earliestVersionTime. אם הנתונים כבר לא קיימים בחותמת הזמן שצוינה, פעולת הייצוא תיכשל.
פעולת הייצוא של PITR תומכת בכל המסננים, כולל ייצוא של כל המסמכים וייצוא של קבוצות ספציפיות של אוספים.
לפני שמייצאים נתוני PITR, חשוב לשים לב לנקודות הבאות:
- ציינו את חותמת הזמן בפורמט RFC 3339. לדוגמה,
2023-05-26T10:20:00.00Z. - חשוב לוודא שחותמת הזמן שציינתם היא חותמת זמן של דקה שלמה בשבעת הימים האחרונים, אבל לא לפני
earliestVersionTime. אם הנתונים כבר לא קיימים בחותמת הזמן שצוינה, נוצרת שגיאה. - לא תחויבו על ייצוא PITR שנכשל.
המסוף
-
נכנסים לדף Databases במסוף Google Cloud.
כניסה לדף Databases - בוחרים מסד נתונים מרשימת מסדי הנתונים.
- בתפריט הניווט, לוחצים על ייבוא/ייצוא.
- לוחצים על ייצוא.
- מגדירים את מקור הייצוא כדי לייצא את כל מסד הנתונים או רק קבוצות ספציפיות של אוספים.
בקטע Choose the state of your database to export, בוחרים באפשרות Export from an earlier point in time.
בוחרים את השעה של תמונת המצב שרוצים לייצא.
- בקטע Destination, מזינים את השם של קטגוריית Cloud Storage או משתמשים בכפתור Browse כדי לבחור קטגוריה.
-
לוחצים על ייצוא.
המסוף חוזר לדף ייבוא/ייצוא. אם הפעולה מתחילה, נוספת רשומה לדף הייבוא והייצוא האחרונים. אם הפעולה נכשלת, תוצג הודעת שגיאה בדף.
gcloud
אתם יכולים לייצא את מסד הנתונים אל Cloud Storage מנתוני PITR באמצעות הפקודה gcloud firestore export.
מייצאים את מסד הנתונים ומציינים את הפרמטר snapshot-time לחותמת זמן של שחזור. מריצים את הפקודה הבאה כדי לייצא את מסד הנתונים לקטגוריה.
gcloud firestore export gs://[BUCKET_NAME_PATH] \ --snapshot-time=[PITR_TIMESTAMP]
כאשר PITR_TIMESTAMP היא חותמת זמן של PITR ברמת פירוט של דקות, לדוגמה, 2023-05-26T10:20:00.00Z.
מוסיפים את הדגל --collection-ids כדי לייצא קבוצות ספציפיות של אוספים.
ייבוא נתונים
אחרי שמייצאים קבצים אל Cloud Storage, אפשר לייבא את המסמכים שבקבצים האלה בחזרה לפרויקט או לפרויקט אחר. חשוב לזכור את הנקודות הבאות לגבי פעולות ייבוא:
כשמייבאים נתונים, האינדקסים הנדרשים מתעדכנים באמצעות הגדרות האינדקס הנוכחיות של מסד הנתונים. הייצוא לא מכיל הגדרות של אינדקסים.
פעולות ייבוא לא מקצות מזהי מסמכים חדשים. הייבוא מתבצע באמצעות המזהים שתועדו בזמן הייצוא. בזמן הייבוא של מסמך, המזהה שלו שמור כדי למנוע התנגשויות בין מזהים. אם כבר קיים מסמך עם אותו מזהה, הייבוא מחליף את המסמך הקיים.
אם מסמך במסד הנתונים לא מושפע מהייבוא, הוא יישאר במסד הנתונים אחרי הייבוא.
פעולות ייבוא לא מפעילות פונקציות של Cloud Functions. מאזינים של תמונת מצב מקבלים עדכונים שקשורים לפעולות ייבוא.
לפני הייבוא, אל תוסיפו מסמכי Cloud Firestore חדשים שלא היו בקובצי הפלט המקוריים של הייצוא, ואל תסירו מסמכים קיימים מקובצי GCS. אם תעשו את זה, הייבוא ייכשל.
שם הקובץ
.overall_export_metadataצריך להיות זהה לשם של תיקיית ההורה שלו:gs://BUCKET_NAME/OPTIONAL_NAMESPACE_PATH/PARENT_FOLDER_NAME/PARENT_FOLDER_NAME.overall_export_metadataאם אתם מעבירים או מעתיקים את קובצי הפלט של הייצוא, הקפידו לשמור על אותו שם קובץ של PARENT_FOLDER_NAME ו-
.overall_export_metadata.
ייבוא כל המסמכים מקובץ ייצוא
Google Cloud Console
נכנסים לדף Databases במסוף Google Cloud.
בוחרים את מסד הנתונים הרצוי מרשימת מסדי הנתונים.
בתפריט הניווט, לוחצים על ייבוא/ייצוא.
לוחצים על ייבוא.
בשדה Filename, מזינים את שם הקובץ של קובץ
.overall_export_metadataמפעולת ייצוא שהושלמה. אפשר להשתמש בלחצן עיון כדי לבחור את הקובץ.לוחצים על ייבוא.
המסוף חוזר לדף ייבוא/ייצוא. אם הפעולה מתחילה, הדף מוסיף רשומה לדף הייבוא והייצוא האחרונים. אם הפעולה נכשלת, מוצגת בדף הודעת שגיאה.
gcloud
משתמשים בפקודה firestore import כדי לייבא מסמכים מפעולת ייצוא קודמת.
gcloud firestore import gs://[BUCKET_NAME]/[EXPORT_PREFIX]/ --database=[DATABASE]
מחליפים את מה שכתוב בשדות הבאים:
BUCKET_NAME/EXPORT_PREFIX: המיקום של קובצי הייצוא.
DATABASE: שם מסד הנתונים. למסד הנתונים שמוגדר כברירת מחדל, משתמשים ב---database='(default)'.
לדוגמה:
gcloud firestore import gs://my-bucket/2017-05-25T23:54:39_76544/ --database='cymbal'
אתם יכולים לאמת את המיקום של קובצי הייצוא בדפדפן Cloud Storage במסוף Google Cloud:
אחרי שמתחילים פעולת ייבוא, סגירת הטרמינל לא מבטלת את הפעולה. אפשר לקרוא מידע נוסף במאמר ביטול פעולה.
ייבוא קבוצות ספציפיות של אוספים
Google Cloud Console
אי אפשר לבחור קבוצות ספציפיות של אוספים במסוף. במקום זאת, אתם צריכים להשתמש ב-gcloud.
gcloud
כדי לייבא קבוצות ספציפיות של אוספים מקבוצה של קובצי ייצוא, משתמשים בדגל --collection-ids. הפעולה מייבאת רק את קבוצות האוספים עם המזהים שצוינו. קבוצת אוספים כוללת את כל האוספים ואוספי המשנה שהמזהה של האוסף הסופי שלהם הוא המזהה של קבוצת האוספים. מציינים את שם מסד הנתונים באמצעות הדגל --database. למסד הנתונים שמוגדר כברירת מחדל, משתמשים ב---database='(default)'.
אפשר לייבא קבוצות ספציפיות של אוספים רק אם מייצאים קבוצות ספציפיות של אוספים. אי אפשר לייבא קבוצות ספציפיות של אוספים מתוך ייצוא של כל המסמכים.
gcloud firestore import gs://[BUCKET_NAME]/[EXPORT_PREFIX]/ \ --collection-ids=[COLLECTION_GROUP_ID_1],[COLLECTION_GROUP_ID_2] \ --database=[DATABASE]
ייבוא של ייצוא PITR
מייבאים את מסד הנתונים שיוצא לפי השלבים שמפורטים בקטע ייבוא כל המסמכים. אם מסמך כלשהו כבר קיים במסד הנתונים, הוא יוחלף.
ניהול פעולות ייצוא וייבוא
אחרי שמתחילים פעולת ייצוא או ייבוא, Cloud Firestore מקצה לפעולה שם ייחודי. אתם יכולים להשתמש בשם הפעולה כדי למחוק, לבטל או לבדוק את הסטטוס של הפעולה.
שמות הפעולות מתחילים בקידומת projects/[PROJECT_ID]/databases/(default)/operations/, לדוגמה:
projects/my-project/databases/(default)/operations/ASA1MTAwNDQxNAgadGx1YWZlZAcSeWx0aGdpbi1zYm9qLW5pbWRhEgopEg
עם זאת, אפשר להשמיט את הקידומת כשמציינים שם של פעולה בפקודות describe, cancel ו-delete.
הצגת רשימה של כל פעולות הייצוא והייבוא
Google Cloud Console
אפשר לראות רשימה של פעולות הייצוא והייבוא האחרונות בדף Import/Export במסוף Google Cloud.
נכנסים לדף Databases במסוף Google Cloud.
בוחרים את מסד הנתונים הרצוי מרשימת מסדי הנתונים.
בתפריט הניווט, לוחצים על ייבוא/ייצוא.
gcloud
כדי לראות את כל פעולות הייצוא והייבוא שפועלות ושהסתיימו לאחרונה, משתמשים בפקודה operations list:
gcloud firestore operations list
בדיקת סטטוס הפעולה
Google Cloud Console
אפשר לראות את הסטטוס של פעולת ייצוא או ייבוא שבוצעה לאחרונה בדף Import/Export במסוף Google Cloud.
נכנסים לדף Databases במסוף Google Cloud.
בוחרים את מסד הנתונים הרצוי מרשימת מסדי הנתונים.
בתפריט הניווט, לוחצים על ייבוא/ייצוא.
gcloud
משתמשים בפקודה operations describe כדי להציג את הסטטוס של פעולת הייצוא או הייבוא.
gcloud firestore operations describe [OPERATION_NAME]
הערכת זמן הסיום
בקשה לסטטוס של פעולה ממושכת מחזירה את המדדים workEstimated ו-workCompleted. כל אחד מהמדדים האלה מוחזר גם במספר הבייטים וגם במספר הישויות:
השדה
workEstimatedמציג את המספר הכולל המשוער של בייטים ומסמכים שפעולה תעבד. יכול להיות שהמדד הזה לא יופיע ב-Cloud Firestore אם המערכת לא יכולה ליצור אומדן.
workCompletedמציג את מספר הבייטים והמסמכים שעובדו עד עכשיו. אחרי שהפעולה מסתיימת, הערך מציג את המספר הכולל של הבייטים והמסמכים שעובדו בפועל, שיכול להיות גדול מהערך שלworkEstimated.
כדי לקבל הערכה גסה של ההתקדמות, מחלקים את workCompleted ב-workEstimated. יכול להיות שההערכה הזו לא מדויקת, כי היא תלויה באיסוף נתונים סטטיסטיים שמתעכב.
ביטול פעולה
Google Cloud Console
אפשר לבטל פעולת ייצוא או ייבוא שפועלת בדף Import/Export במסוף Google Cloud.
נכנסים לדף Databases במסוף Google Cloud.
בוחרים את מסד הנתונים הרצוי מרשימת מסדי הנתונים.
בתפריט הניווט, לוחצים על ייבוא/ייצוא. בטבלה ייבוא וייצוא מהזמן האחרון, פעולות שפועלות כרגע כוללות את הלחצן ביטול בעמודה הושלם. לוחצים על Cancel כדי להפסיק את הפעולה. הלחצן משתנה להודעה Cancelling ואז ל-Cancelled כשהפעולה נפסקת לגמרי.

gcloud
משתמשים בפקודה operations cancel כדי לעצור פעולה שמתבצעת:
gcloud firestore operations cancel [OPERATION_NAME]
ביטול של פעולה שמתבצעת לא מבטל את הפעולה. פעולת ייצוא שבוטלה תשאיר את המסמכים שכבר יוצאו ב-Cloud Storage, ופעולת ייבוא שבוטלה תשאיר במקומם את העדכונים שכבר בוצעו במסד הנתונים. אי אפשר לייבא ייצוא שהושלם באופן חלקי.
מחיקת פעולה
כדי להסיר פעולה מרשימת הפעולות האחרונות, משתמשים בפקודה gcloud firestore operations delete. הפקודה הזו לא תמחק קובצי ייצוא מ-Cloud Storage.
gcloud firestore operations delete [OPERATION_NAME]
חיוב ותמחור של פעולות ייצוא וייבוא
כדי להשתמש בשירות המנוהל לייצוא ולייבוא, צריך להפעיל את החיוב בפרויקט ב-Google Cloud.
פעולות ייצוא וייבוא מחויבות על קריאה וכתיבה של מסמכים, לפי התעריפים שמפורטים בתמחור של Cloud Firestore. פעולות ייצוא כרוכות בפעולת קריאה אחת לכל מסמך שמייצאים. פעולות ייבוא כרוכות בפעולת כתיבה אחת לכל מסמך שיובא.
קובצי הפלט שמאוחסנים ב-Cloud Storage נכללים בעלויות אחסון הנתונים ב-Cloud Storage.
פעולות ייצוא או ייבוא לא יפעילו את ההתראות של תקציב Google Cloud עד לסיום הפעולות. פעולות ייצוא וייבוא לא ישפיעו על השימוש שמוצג בקטע השימוש במסוף.
צפייה בעלויות הייצוא והייבוא
פעולות הייצוא והייבוא מחילות את התווית goog-firestoremanaged:exportimport על פעולות שמחויבות. בדף דוחות חיוב ב-Cloud, אתם יכולים להשתמש בתווית הזו כדי לראות את העלויות שקשורות לפעולות הייבוא והייצוא:

ייצוא אל BigQuery
אפשר לטעון נתונים מייצוא של Cloud Firestore אל BigQuery, אבל רק אם ציינתם מסנן collection-ids. טעינת נתונים מייצוא של Cloud Firestore
מגבלה של BigQuery עמודות
ב-BigQuery יש מגבלה של 10,000 עמודות לכל טבלה. פעולות הייצוא של Cloud Firestore יוצרות סכימת טבלה של BigQuery לכל קבוצת אוספים. בסכימה הזו, כל שם שדה ייחודי בקבוצת אוספים הופך לעמודה בסכימה. אם הסכימה BigQuery של קבוצת אוספים חורגת מ-10,000 עמודות, פעולת הייצוא של Cloud Firestore מנסה לא לחרוג ממגבלת העמודות על ידי התייחסות לשדות המפה כבייטים. אם ההמרה הזו מקטינה את מספר העמודות לפחות מ-10,000, אפשר לטעון את הנתונים ל-BigQuery, אבל אי אפשר לשלוח שאילתות לשדות המשנה שבתוך שדות המפה. אם מספר העמודות עדיין חורג מ-10,000, פעולת הייצוא לא יוצרת סכימה של BigQuery לקבוצת האוספים, ואי אפשר לטעון את הנתונים שלה ל-BigQuery.
פורמט הייצוא וקובצי המטא-נתונים
הפלט של ייצוא מנוהל משתמש בפורמט היומן של LevelDB.
קובצי מטא-נתונים
פעולת ייצוא יוצרת קובץ מטא-נתונים לכל קבוצת אוספים שציינתם. בדרך כלל, קובצי המטא-נתונים נקראים ALL_NAMESPACES_KIND_[COLLECTION_GROUP_ID].export_metadata.
קובצי המטא-נתונים הם מאגרי אחסון לפרוטוקולים, ואפשר לפענח אותם באמצעות הקומפיילר של פרוטוקול protoc.
לדוגמה, אפשר לפענח קובץ מטא-נתונים כדי לזהות את קבוצות האוספים שקובצי הייצוא מכילים:
protoc --decode_raw < export0.export_metadata
העברת סוכן שירות
ב-Cloud Firestore נעשה שימוש בסוכן שירות של Cloud Firestore כדי לאשר פעולות ייבוא וייצוא, במקום להשתמש בחשבון השירות של App Engine. סוכן השירות וחשבון השירות משתמשים במוסכמות הבאות לגבי מתן שמות:
- סוכן שירות של Cloud Firestore
service-PROJECT_NUMBER@gcp-sa-firestore.iam.gserviceaccount.com
בעבר, ב-Cloud Firestore נעשה שימוש בחשבון השירות שמוגדר כברירת מחדל של App Engine במקום בסוכן השירות של Cloud Firestore. אם מסד הנתונים שלכם עדיין משתמש בחשבון השירות App Engine כדי לייבא או לייצא נתונים, מומלץ לפעול לפי ההוראות בקטע הזה כדי לעבור לשימוש בסוכן השירות Cloud Firestore.
- חשבון שירות אחד (App Engine)
PROJECT_ID@appspot.gserviceaccount.com
עדיף להשתמש בסוכן השירות Cloud Firestore כי הוא ספציפי ל-Cloud Firestore. חשבון השירות App Engine משותף ליותר משירות אחד.
הצגת החשבון המורשה
בדף Import/Export במסוף Google Cloud אפשר לראות באיזה חשבון משתמשים לפעולות הייבוא והייצוא כדי לאשר בקשות. אתם יכולים גם לבדוק אם מסד הנתונים כבר משתמש בסוכן השירות של Cloud Firestore.
-
נכנסים לדף Databases במסוף Google Cloud.
- בוחרים את מסד הנתונים הרצוי מרשימת מסדי הנתונים.
-
בתפריט הניווט, לוחצים על ייבוא/ייצוא.
- החשבון המורשה מופיע לצד התווית משימות הייבוא/הייצוא פועלות בתור.
אם בפרויקט שלכם לא משתמשים בסוכן השירות Cloud Firestore, אתם יכולים לעבור לסוכן השירות Cloud Firestore באחת מהשיטות הבאות:
- העברת פרויקט על ידי בדיקה ועדכון של הרשאות הקטגוריה ב-Cloud Storage (מומלץ).
- מוסיפים אילוץ מדיניות ברמת הארגון שמשפיע על כל הפרויקטים בארגון.
השיטה הראשונה עדיפה כי היא מגבילה את היקף ההשפעה לפרויקט אחד ב-Cloud Firestore. השיטה השנייה פחות מומלצת כי היא לא מעבירה את ההרשאות הקיימות בקטגוריית Cloud Storage. עם זאת, הוא מציע תאימות אבטחה ברמת הארגון.
העברה באמצעות בדיקה ועדכון של הרשאות הקטגוריה ב-Cloud Storage
תהליך ההעברה כולל שני שלבים:
- עדכון ההרשאות של קטגוריית Cloud Storage. פרטים נוספים מופיעים בקטע הבא.
- מאשרים את ההעברה לסוכן השירות Cloud Firestore.
הרשאות של סוכן שירות לקטגוריה
בכל פעולת ייצוא או ייבוא שמשתמשת בקטגוריה של Cloud Storage בפרויקט אחר, צריך לתת לסוכן השירות של Cloud Firestore הרשאות לקטגוריה הזו. לדוגמה, פעולות שמעבירות נתונים לפרויקט אחר צריכות לגשת לקטגוריה בפרויקט האחר. אחרת, הפעולות האלה ייכשלו אחרי המעבר לשימוש בסוכן השירות של Cloud Firestore.
תהליכי עבודה של ייבוא וייצוא שנשארים באותו פרויקט לא דורשים שינויים בהרשאות. כברירת מחדל, לסוכן השירות Cloud Firestore יש גישה לקטגוריות באותו פרויקט.
מעדכנים את ההרשאות של Cloud Storage קטגוריות מפרויקטים אחרים כדי לתת גישה לסוכן השירות service-PROJECT_NUMBER@gcp-sa-firestore.iam.gserviceaccount.com. מקצים לסוכן השירות את התפקיד Firestore Service Agent.
התפקיד Firestore Service Agent מעניק הרשאות קריאה וכתיבה לקטגוריה של Cloud Storage. אם אתם צריכים לתת רק הרשאות קריאה או רק הרשאות כתיבה, השתמשו בתפקיד בהתאמה אישית.
תהליך ההעברה שמתואר בקטע הבא עוזר לזהות קטגוריות ב-Cloud Storage שאולי צריך לעדכן את ההרשאות שלהן.
העברת פרויקט לסוכן השירות של Firestore
כדי לעבור מחשבון השירות App Engine לסוכן השירות Cloud Firestore, צריך לבצע את השלבים הבאים: אחרי שההעברה מסתיימת, אי אפשר לבטל אותה.
-
נכנסים לדף Databases במסוף Google Cloud.
- בוחרים את מסד הנתונים הרצוי מרשימת מסדי הנתונים.
-
בתפריט הניווט, לוחצים על ייבוא/ייצוא.
-
אם הפרויקט עדיין לא הועבר לסוכן השירות Cloud Firestore, יופיע באנר שמתאר את ההעברה וכפתור Check Bucket Status. השלב הבא יעזור לכם לזהות ולתקן שגיאות פוטנציאליות בהרשאות.
לוחצים על Check Bucket Status.
מופיע תפריט עם האפשרות להשלים את ההעברה ורשימה של קטגוריות ב-Cloud Storage. יכול להיות שיעברו כמה דקות עד שהרשימה תיטען.
הרשימה הזו כוללת קטגוריות ששימשו לאחרונה לפעולות ייבוא וייצוא, אבל כרגע לא נותנות הרשאות קריאה וכתיבה לסוכן השירות Cloud Firestore.
- שימו לב לשם של חשבון המשתמש של סוכן השירות של Cloud Firestore בפרויקט. השם של סוכן השירות מופיע מתחת לתווית Service agent to give access to.
-
לכל קטגוריה ברשימה שתשמש לפעולות ייבוא או ייצוא בעתיד, מבצעים את הפעולות הבאות:
-
בשורה של הקטגוריה הזו בטבלה, לוחצים על תיקון. דף ההרשאות של הקטגוריה ייפתח בכרטיסייה חדשה.
- לוחצים על הוספה.
- בשדה New principals, מזינים את השם של סוכן השירות של Cloud Firestore.
- בשדה Select a role, בוחרים באפשרות Service Agents > Firestore Service Agent.
- לוחצים על שמירה.
- חוזרים לכרטיסייה עם דף הייבוא/ייצוא של Cloud Firestore.
- חוזרים על השלבים האלה בשביל קטגוריות אחרות ברשימה. חשוב לעיין בכל הדפים ברשימה.
-
-
לוחצים על Migrate to Firestore Service Agent. אם עדיין יש קטגוריות עם בדיקות הרשאה שנכשלו, צריך לאשר את ההעברה בלחיצה על Migrate.
תופיע התראה כשההעברה תסתיים. אי אפשר לבטל את ההעברה.
הצגת סטטוס ההעברה
כדי לבדוק את סטטוס ההעברה של הפרויקט:
-
נכנסים לדף Databases במסוף Google Cloud.
- בוחרים את מסד הנתונים הרצוי מרשימת מסדי הנתונים.
-
בתפריט הניווט, לוחצים על ייבוא/ייצוא.
-
מחפשים את חשבון המשתמש לצד התווית משימות הייבוא/הייצוא פועלות בתור.
אם החשבון הראשי הוא
service-PROJECT_NUMBER@gcp-sa-firestore.iam.gserviceaccount.com, הפרויקט כבר הועבר לסוכן השירות Cloud Firestore. אי אפשר לבטל את ההעברה.אם הפרויקט לא הועבר, בחלק העליון של הדף יופיע באנר עם הלחצן Check Bucket Status. כדי להשלים את ההעברה, קראו את המאמר מעבר לסוכן השירות של Firestore.
הוספת אילוץ מדיניות ברמת הארגון
-
מגדירים את האילוץ הבא במדיניות של הארגון:
דרישה לסוכן שירות של Firestore לייבוא או לייצוא (
firestore.requireP4SAforImportExport).האילוץ הזה מחייב שפעולות הייבוא והייצוא ישתמשו בסוכן השירות Cloud Firestore כדי לאשר בקשות. כדי להגדיר את האילוץ הזה, קראו את המאמר יצירה וניהול של מדיניות הארגון .
החלת האילוץ הזה של מדיניות הארגון לא מעניקה באופן אוטומטי את ההרשאות המתאימות לקטגוריית Cloud Storage לסוכן השירות של Cloud Firestore.
אם האילוץ יוצר שגיאות הרשאה בתהליכי עבודה של ייבוא או ייצוא, אתם יכולים להשבית אותו כדי לחזור להשתמש בחשבון השירות שמוגדר כברירת מחדל. אחרי בדיקה ועדכון של ההרשאות לקטגוריה Cloud Storage, אפשר להפעיל שוב את האילוץ.