ייבוא וייצוא של נתונים

אתם יכולים להשתמש בשירות המנוהל לייצוא ולייבוא כדי לשחזר נתונים שנמחקו בטעות ולייצא נתונים לעיבוד אופליין. אתם יכולים לייצא את כל המסמכים או רק אוספים ספציפיים. באופן דומה, אפשר לייבא את כל הנתונים מייצוא או רק אוספים ספציפיים. אפשר לייבא נתונים שמיוצאים ממסד נתונים אחד של Cloud Firestore עם תאימות ל-MongoDB למסד נתונים אחר של Cloud Firestore עם תאימות ל-MongoDB. אפשר גם לטעון קובצי ייצוא של MongoDB עם תאימות ל-Cloud Firestore אל BigQuery.

בדף הזה מוסבר איך לייצא ולייבא מסמכים עם תאימות ל-MongoDB ב-Cloud Firestore באמצעות שירות הייצוא והייבוא המנוהל ו-Cloud Storage. שירות הייצוא והייבוא המנוהל של Cloud Firestore עם תאימות ל-MongoDB זמין באמצעות כלי שורת הפקודה gcloud ו-Cloud Firestore עם MongoDB API (REST, ‏ RPC).

לפני שמתחילים

כדי להשתמש בשירות המנוהל לייצוא ולייבוא, צריך לבצע את המשימות הבאות:

1. מפעילים את החיוב בפרויקט Google Cloud. רק בפרויקטים שמופעל בהם חיוב אפשר להשתמש בפונקציונליות של ייצוא וייבוא.Google Cloud
2. יוצרים קטגוריה Cloud Storage לפרויקט במיקום שקרוב למיקום מסד הנתונים של Cloud Firestore עם תאימות ל-MongoDB. אי אפשר להשתמש בקטגוריה שבה מופעלת התכונה 'מגיש הבקשה משלם' לצורך פעולות ייצוא וייבוא.

3. מוודאים שיש לחשבון שלכם את ההרשאות הנדרשות ל-Cloud Firestore עם תאימות ל-MongoDB ול-Cloud Storage. אם אתם הבעלים של הפרויקט, יש לחשבון שלכם את ההרשאות הנדרשות. אחרת, התפקידים הבאים מעניקים את ההרשאות הנדרשות לפעולות ייצוא וייבוא ולגישה אל Cloud Storage:

   • Cloud Firestore עם תפקידי תאימות ל-MongoDB: ‫Owner, ‏Cloud Datastore Owner או Cloud Datastore Import Export Admin

   • תפקידים ב-Cloud Storage: Owner או Storage Admin

הרשאות של סוכן שירות

פעולות ייצוא וייבוא משתמשות בסוכן שירות Cloud Firestore כדי לאשר Cloud Storage פעולות. סוכן השירות Cloud Firestore משתמש במוסכמת מתן השמות הבאה:

Cloud Firestore סוכן שירות

service-PROJECT_NUMBER@gcp-sa-firestore.iam.gserviceaccount.com

מידע נוסף על סוכני שירות זמין במאמר סוכני שירות.

לסוכן השירות Cloud Firestore נדרשת גישה לקטגוריה Cloud Storage שמשמשת לייצוא או לייבוא. אם הקטגוריה Cloud Storage נמצאת באותו פרויקט כמו מסד הנתונים Cloud Firestore, סוכן השירות Cloud Firestore יכול לגשת לקטגוריה כברירת מחדל.

אם הקטגוריה Cloud Storage נמצאת בפרויקט אחר, צריך לתת לסוכן השירות Cloud Firestore גישה לקטגוריה Cloud Storage.

הקצאת תפקידים לסוכן השירות

אפשר להשתמש בכלי שורת הפקודה gsutil כדי להקצות אחד מהתפקידים שבהמשך. לדוגמה, כדי להקצות את התפקיד 'אדמין של Storage' לסוכן השירות Cloud Firestore, מריצים את הפקודה הבאה:

gsutil iam ch serviceAccount:service-PROJECT_NUMBER@gcp-sa-firestore.iam.gserviceaccount.com:roles/storage.admin \
    gs://[BUCKET_NAME]

מחליפים את PROJECT_NUMBER במספר הפרויקט, שמשמש לקביעת השם של סוכן השירות Cloud Firestore. כדי לראות את שם סוכן השירות, אפשר לעיין במאמר בנושא הצגת שם סוכן השירות.

לחלופין, אפשר להקצות את התפקיד הזה באמצעות מסוף Google Cloud.

הצגת השם של סוכן השירות

בדף Import/Export במסוף Google Cloud אפשר לראות את החשבון שבו משתמשים פעולות הייבוא והייצוא כדי לאשר בקשות. אפשר גם לראות אם מסד הנתונים משתמש בסוכן השירות Cloud Firestore או בחשבון השירות מדור קודם App Engine.

1. החשבון המורשה מוצג ליד התווית הפעלת משימות ייבוא/ייצוא בתור.

לסוכן השירות צריכה להיות הרשאת Storage Admin לדלי Cloud Storage שבו ישתמשו לפעולת הייצוא או הייבוא.

הגדרה של gcloud לפרויקט

אפשר להתחיל פעולות ייבוא וייצוא דרך מסוף Google Cloud או דרך כלי שורת הפקודה gcloud. כדי להשתמש ב-gcloud, צריך להגדיר את כלי שורת הפקודה ולהתחבר לפרויקט באחת מהדרכים הבאות:

• ניגשים אל gcloud ממסוף Google Cloud באמצעות Cloud Shell.

  התחלה Cloud Shell

  מוודאים שהמכשיר gcloud מוגדר לפרויקט הנכון:

  gcloud config set project [PROJECT_ID]
  

• מתקינים ומפעילים את Google Cloud SDK.

ייבוא נתונים

אחרי שקבצי הייצוא יהיו ב-Cloud Storage, תוכלו לייבא מסמכים מהקבצים האלה בחזרה לפרויקט או לפרויקט אחר. חשוב לזכור את הנקודות הבאות לגבי פעולות ייבוא:

• כשמייבאים נתונים, המערכת מעדכנת את האינדקסים הנדרשים באמצעות הגדרות האינדקס הנוכחיות של מסד הנתונים. ייצוא לא מכיל הגדרות אינדקס.

• בייבוא לא מוקצים מזהי מסמכים חדשים. הייבוא מתבסס על המזהים שנאספו בזמן הייצוא. במהלך ייבוא מסמך, המזהה שלו שמור כדי למנוע התנגשויות מזהים. אם כבר קיים מסמך עם אותו מזהה, תהליך הייבוא יחליף את המסמך הקיים.

• אם מסמך במסד הנתונים שלכם לא מושפע מייבוא, הוא יישאר במסד הנתונים אחרי הייבוא.

• שם הקובץ .overall_export_metadata חייב להיות זהה לשם תיקיית האב שלו:

  gs://BUCKET_NAME/OPTIONAL_NAMESPACE_PATH/PARENT_FOLDER_NAME/PARENT_FOLDER_NAME.overall_export_metadata

  אם מעבירים או מעתיקים את קובצי הפלט של ייצוא, צריך לוודא ששם הקובץ PARENT_FOLDER_NAME זהה לשם הקובץ .overall_export_metadata.

• ייבוא למסד נתונים של Cloud Firestore עם תאימות ל-MongoDB מייצוא עם אוספי משנה נכשל כי אוספי משנה לא נתמכים ב-Cloud Firestore עם תאימות ל-MongoDB.

• ייבוא למסד נתונים במהדורת Standard של Cloud Firestore מייצוא עם סוגי BSON נכשל כי סוגי BSON לא נתמכים במהדורת Standard של Cloud Firestore.

• כשמייבאים נתונים למסד נתונים עם תאימות ל-MongoDB ב-Cloud Firestore, אי אפשר לייבא נתונים ממרחבי שמות שאינם ברירת המחדל (Datastore API).

  מותר לייבא למסד נתונים עם תאימות ל-MongoDB ב-Cloud Firestore מקובצי נתונים שמכילים מרחבי שמות שאינם ברירת המחדל, רק אם פעולת הייצוא כללה מסנן --namespace-ids עם מרחב השמות שמוגדר כברירת מחדל. רק נתונים ממרחב השמות שמוגדר כברירת מחדל מיובאים.

ייבוא כל המסמכים מקובץ ייצוא

gcloud firestore import gs://[BUCKET_NAME]/[EXPORT_PREFIX]/ --database=[DATABASE]

gcloud firestore import gs://my-bucket/2017-05-25T23:54:39_76544/ --database='cymbal'

ייבוא אוספים ספציפיים

  gcloud firestore import gs://[BUCKET_NAME]/[EXPORT_PREFIX]/ \
  --collection-ids=[COLLECTION_ID_1],[COLLECTION_ID_2] \
  --database=[DATABASE]

ייבוא מייצוא עם נתונים של PITR

כדי לייבא נתוני PITR, פועלים לפי השלבים שמפורטים במאמר בנושא ייבוא כל המסמכים או ייבוא אוספים ספציפיים. אם מסמך כלשהו כבר קיים במסד הנתונים, הוא יוחלף.

ייצוא נתונים

פעולת ייצוא מעתיקה מסמכים במסד הנתונים שלכם לקבוצת קבצים בקטגוריה של Cloud Storage. חשוב לדעת שייצוא הוא לא תמונת מצב מדויקת של מסד הנתונים שצולמה בזמן תחילת הייצוא. יכול להיות שייצוא יכלול שינויים שבוצעו בזמן שהפעולה רצה.

ייצוא כל המסמכים

  gcloud firestore export gs://[BUCKET_NAME] \
  --database=[DATABASE]

ייצוא של קולקציות ספציפיות

gcloud firestore export gs://[BUCKET_NAME] \
--collection-ids=[COLLECTION_ID_1],[COLLECTION_ID_2] \
--database=[DATABASE]

gcloud firestore export gs://[BUCKET_NAME] \
--collection-ids=restaurants,reviews \
--database='cymbal'

ייצוא מחותמת זמן של PITR

אפשר לייצא את מסד הנתונים אל Cloud Storage מתוך נתוני PITR. אפשר לייצא נתונים מ-PITR עם חותמת זמן של דקה שלמה מ-7 הימים האחרונים, אבל לא לפני earliestVersionTime. אם הנתונים כבר לא קיימים בחותמת הזמן שצוינה, פעולת הייצוא תיכשל.

פעולת הייצוא של PITR תומכת בכל המסננים, כולל ייצוא של כל המסמכים וייצוא של אוספים ספציפיים.

לפני שמייצאים נתונים של PITR, חשוב לשים לב לנקודות הבאות:

• צריך לציין את חותמת הזמן בפורמט RFC 3339. לדוגמה, 2020-09-01T23:59:30.234233Z.
• חשוב לוודא שחותמת הזמן שציינתם היא חותמת זמן של דקה שלמה במהלך שבעת הימים האחרונים, אבל לא לפני earliestVersionTime. אם הנתונים כבר לא קיימים בחותמת הזמן שצוינה, נוצרת שגיאה.
• לא נחייב אתכם על ייצוא PITR שנכשל.

gcloud firestore export gs://[BUCKET_NAME_PATH] \
    --snapshot-time=[PITR_TIMESTAMP]

ניהול פעולות ייצוא וייבוא

אחרי שמתחילים פעולת ייצוא או ייבוא, Cloud Firestore עם תאימות ל-MongoDB מקצה לפעולה שם ייחודי. אפשר להשתמש בשם הפעולה כדי למחוק, לבטל או לבדוק את הסטטוס של הפעולה.

שמות הפעולות מתחילים בקידומת projects/[PROJECT_ID]/databases/[DATABASE_ID]/operations/, לדוגמה:

projects/my-project/databases/my-database/operations/ASA1MTAwNDQxNAgadGx1YWZlZAcSeWx0aGdpbi1zYm9qLW5pbWRhEgopEg

עם זאת, אפשר להשמיט את הקידומת כשמציינים שם פעולה עבור הפקודות describe, cancel ו-delete.

הצגת רשימה של כל פעולות הייצוא והייבוא

gcloud firestore operations list

בדיקת סטטוס הפעולה

gcloud firestore operations describe [OPERATION_NAME]

הערכת משך הזמן עד לסיום

בקשה לסטטוס של פעולה ממושכת מחזירה את המדדים workEstimated ו-workCompleted. כל אחד מהמדדים האלה מוחזר גם כמספר בייטים וגם כמספר ישויות:

• workEstimated מציג את המספר הכולל המשוער של בייטים ומסמכים שהפעולה תעבד. יכול להיות שהמדד הזה לא יופיע ב-Cloud Firestore עם תאימות ל-MongoDB אם לא ניתן להעריך אותו.

• ‫workCompleted מציג את מספר הבייטים והמסמכים שעובדו עד עכשיו. אחרי שהפעולה מסתיימת, הערך שמוצג הוא המספר הכולל של הבייטים והמסמכים שעברו עיבוד בפועל, ויכול להיות שהוא גדול מהערך של workEstimated.

כדי לקבל אומדן גס של ההתקדמות, מחלקים את workCompleted ב-workEstimated. יכול להיות שההערכה הזו לא מדויקת, כי היא מבוססת על איסוף נתונים סטטיסטיים עם עיכוב.

ביטול פעולה

gcloud firestore operations cancel [OPERATION_NAME]

ביטול של פעולה שמתבצעת לא מבטל את הפעולה. אם מבטלים פעולת ייצוא, המסמכים שכבר יוצאו יישארו ב-Cloud Storage. אם מבטלים פעולת ייבוא, העדכונים שכבר בוצעו במסד הנתונים יישארו במקומם. אי אפשר לייבא ייצוא שהושלם באופן חלקי.

מחיקת פעולה

כדי להסיר פעולה מהרשימה של הפעולות האחרונות, משתמשים בפקודה gcloud firestore operations delete. הפקודה הזו לא תמחק קבצים של ייצוא מ-Cloud Storage.

gcloud firestore operations delete [OPERATION_NAME]

חיוב ותמחור של פעולות ייצוא וייבוא

כדי להשתמש בשירות המנוהל לייצוא ולייבוא, צריך להפעיל חיוב בפרויקט Google Cloud.

פעולות ייצוא וייבוא כרוכות בחיוב על יחידות קריאה ויחידות כתיבה, לפי התעריפים שמפורטים בתמחור של Cloud Firestore עם תאימות ל-MongoDB.

קבצי הפלט שמאוחסנים ב-Cloud Storage נכללים בעלויות אחסון הנתונים ב-Cloud Storage.

פעולות ייצוא או ייבוא לא יפעילו התראות על Google Cloud תקציב עד שהן יסתיימו. פעולות ייצוא וייבוא לא ישפיעו על השימוש שמוצג בקטע השימוש במסוף.

צפייה בעלויות של ייצוא וייבוא

פעולות ייצוא וייבוא מחילות את התווית goog-firestoremanaged:exportimportעל פעולות שחויבו. בדף Cloud Billing reports, אפשר להשתמש בתווית הזו כדי לראות את העלויות שקשורות לפעולות ייבוא וייצוא:

ייצוא אל BigQuery

אפשר לטעון נתונים מייצוא של Cloud Firestore עם תאימות ל-MongoDB אל BigQuery, אבל רק אם ציינתם מסנן collection-ids. מידע נוסף זמין במאמר בנושא טעינת נתונים מ-Cloud Firestore באמצעות ייצואים שתואמים ל-MongoDB.

כשמעלים ל-BigQuery נתונים של תאימות ל-MongoDB מ-Cloud Firestore, סוגי הנתונים של BSON מיוצגים באמצעות סוג הנתונים STRING.

מגבלת העמודות BigQuery

‫BigQuery מטיל מגבלה של 10,000 עמודות לכל טבלה. פעולות ייצוא של Cloud Firestore עם תאימות ל-MongoDB יוצרות סכימת טבלה BigQuery לכל אוסף. בסכימה הזו, כל שם שדה ייחודי באוסף הופך לעמודה בסכימה.

אם סכימת BigQuery של אוסף חורגת מ-10,000 עמודות, פעולת הייצוא של Cloud Firestore עם תאימות ל-MongoDB תנסה להישאר מתחת למגבלת העמודות על ידי התייחסות לשדות של מפות כבייטים. אם ההמרה הזו מביאה את מספר העמודות מתחת ל-10,000, אפשר לטעון את הנתונים אל BigQuery, אבל אי אפשר לשלוח שאילתות לגבי שדות המשנה בשדות המיפוי. אם מספר העמודות עדיין גדול מ-10,000, פעולת הייצוא לא יוצרת סכימה של BigQuery לקולקציה, ואי אפשר לטעון את הנתונים שלה ל-BigQuery.

ייצוא של קובצי פורמט ומטא-נתונים

הפלט של ייצוא מנוהל הוא בפורמט יומן LevelDB.

קובצי מטא-נתונים

פעולת ייצוא יוצרת קובץ מטא-נתונים לכל אוסף שאתם מציינים. בדרך כלל קובצי המטא-נתונים נקראים ALL_NAMESPACES_KIND_[COLLECTION_GROUP_ID].export_metadata.

קבצי המטא-נתונים הם מאגרי פרוטוקולים, ואפשר לפענח אותם באמצעות קומפיילר הפרוטוקולים של protoc. לדוגמה, אפשר לפענח קובץ מטא-נתונים כדי לדעת אילו אוספים מכילים קובצי הייצוא:

protoc --decode_raw < export0.export_metadata