כדי להעביר נתונים ממסד נתונים של Firestore במהדורת Standard למסד נתונים של Firestore במהדורת Enterprise, מומלץ להשתמש באחת מהאפשרויות הבאות:
תכונות הייבוא והייצוא. קובצי הנתונים מפעולת ייבוא תואמים גם למהדורת Enterprise וגם למהדורת Standard.
התבנית
firestore-to-firestoreDataflow. שירות Dataflow מאפשר ליצור פייפליינים, והתבניתfirestore-to-firestoreיוצרת פייפליין באצווה בין מסדי נתונים של Cloud Firestore.
ייבוא וייצוא היא האפשרות הפשוטה יותר להפעלה, עם פחות אפשרויות הגדרה.
התבנית Dataflow מאפשרת יותר התאמה אישית. אפשר להרחיב את קוד התבנית כדי לבצע העברות חלקיות או לשנות נתונים. אתם יכולים גם לשלוט במספר ה-workers ובגודל שלהם.
שתי האפשרויות תומכות בהעברות בין פרויקטים ואזורים.
העברת נתונים באמצעות ייצוא וייבוא
כדי להעביר נתונים באמצעות פעולות ייצוא וייבוא, קראו את המאמר ייצוא וייבוא של נתונים. כדי להעביר נתונים למסד נתונים בפרויקט אחר, קראו את המאמר העברת נתונים בין פרויקטים.
העברת נתונים באמצעות התבנית של Dataflow
כדי להעביר נתונים באמצעות התבנית firestore-to-firestore Dataflow, פועלים לפי ההוראות הבאות.
לפני שמתחילים
לפני שמתחילים את העברת הנתונים, צריך לוודא ששחזור המערכת מנקודה מסוימת בזמן (PITR) מופעל במסד הנתונים של המקור. המשימה Dataflow משתמשת ב-PITR כדי לקרוא נתונים בחותמת זמן של PITR. אם PITR מושבת, המשימה נכשלת אם היא פועלת יותר משעה.
כדי להשתמש בתבנית הזו, צריך להפעיל את ה-API של
datastore.googleapis.com.מקצים את התפקידים הנדרשים שמתוארים בקטע הבא.
התפקידים הנדרשים
כדי להעביר נתונים ממסד נתונים אחד לאחר, מקצים את התפקידים הבאים. יכול להיות שתוכלו לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים:
- כדי לקבל את ההרשאות שנדרשות ליצירת מסד נתונים חדש ולגישה לנתוני Cloud Firestore, בקשו מהאדמין להקצות לכם את התפקיד בעלים של Cloud Datastore (
roles/datastore.owner) בניהול זהויות והרשאות גישה (IAM) בפרויקט. -
כדי לתת למשימה ב-Dataflow גישת קריאה וכתיבה למסדי הנתונים ב-Cloud Firestore, מקצים לחשבון השירות של ה-worker VM ב-Dataflow (לדוגמה,
PROJECT_NUMBER-compute@) את התפקיד משתמש ב-Cloud Datastore (roles/datastore.user) ב-IAM בפרויקט.למידע נוסף על אבטחה ב-Dataflow, קראו את המאמר אבטחה והרשאות ב-Dataflow.
מידע נוסף על הקצאת תפקידי IAM מופיע במאמר ניהול הגישה לפרויקטים, לתיקיות ולארגונים.
1. יצירת מסד נתונים חדש במהדורת Firestore Enterprise
כדי להעביר נתונים ממסד נתונים במהדורת Standard למסד נתונים במהדורת Enterprise, קודם צריך ליצור את מסד הנתונים של היעד במהדורת Enterprise. יצירת מסד נתונים
2. הפעלת התבנית Dataflow firestore-to-firestore
מגדירים ומריצים את משימת Dataflow באמצעות התבנית firestore-to-firestore.
התבניות תומכות בהעברה של מסד הנתונים כולו או רק של קבוצות אוספים ספציפיות.
מגבלות
חשוב לשים לב למגבלות הבאות של התבנית firestore-to-firestore
Dataflow:
- מסד הנתונים של המקור חייב להיות מסד נתונים במהדורת Standard.
- ההעברה קוראת נתונים בזמן קריאה ספציפי. מומלץ להפעיל שחזור מערכת מנקודה מסוימת בזמן (PITR) במסד הנתונים של המקור. אם PITR לא מופעל, תוקף הנתונים יפוג אחרי שעה, וייתכן שזה לא יספיק להשלמת העברת הנתונים. PITR מאריך את שמירת הנתונים לשבעה ימים.
- האינדקסים לא מועברים.
המשימה Dataflow לא מעבירה הגדרות של מסדי נתונים, כמו מדיניות של משך חיים (TTL), גיבויים, PITR ומפתחות הצפנה בניהול הלקוח (CMEK).
צריך לקבוע את ההגדרות האלה במסד הנתונים החדש. כדי להאיץ את העברת הנתונים, המתינו עד לסיום ההעברה לפני שתגדירו את TTL, הגיבויים ו-PITR במסד הנתונים של היעד.
בדוגמאות הבאות מוסבר איך להריץ את התבנית באמצעות Google Cloud CLI.
העברת כל הנתונים
כדי להעביר את כל הנתונים, משתמשים בפקודה הבאה:
gcloud dataflow flex-template run "JOB_NAME" \ --project "PROJECT" \ --template-file-gcs-location gs://dataflow-templates-REGION_NAME/VERSION/flex/Cloud_Firestore_to_Firestore \ --region REGION_NAME \ --parameters "sourceProjectId=SOURCE_PROJECT_ID" \ --parameters "sourceDatabaseId=SOURCE_DATABASE_ID" \ --parameters "destinationProjectId=DESTINATION_PROJECT_ID" \ --parameters "destinationDatabaseId=DESTINATION_DATABASE_ID" \ --parameters "readTime=READ_TIME"
מחליפים את מה שכתוב בשדות הבאים:
-
JOB_NAME: שם למשימה. -
PROJECT: מזהה הפרויקט ב-Google Cloud. -
REGION_NAME: המיקום ב-Google Cloud שבו רוצים להריץ את משימת ה-Dataflow. כדאי לבחור מיקום שקרוב למסדי הנתונים שלכם.
VERSION: גרסת התבנית שבה רוצים להשתמש. אפשר להשתמש בערכים הבאים:-
latestכדי להשתמש בגרסה העדכנית של התבנית, שזמינה בתיקיית ההורה ללא תאריך בקטגוריה – gs://dataflow-templates-REGION_NAME/latest/ - שם הגרסה, כמו
2023-09-12-00_RC00, כדי להשתמש בגרסה ספציפית של התבנית, שנמצאת בתיקיית הנתונים המתאימה מתאריך ספציפי בקטגוריה – gs://dataflow-templates-REGION_NAME/
-
SOURCE_PROJECT_ID: המזהה של פרויקט המקור ב-Google Cloud שמכיל את מסד הנתונים של Firestore Standard Edition.
SOURCE_DATABASE_ID: המזהה של מסד הנתונים של Cloud Firestore המקור.
DESTINATION_PROJECT_ID: המזהה של פרויקט Google Cloud היעד של מסד הנתונים החדש ב-Cloud Firestore.
DESTINATION_DATABASE_ID: המזהה של מסד הנתונים של Cloud Firestore ביעד.
READ_TIME: חותמת הזמן לקריאת נתונים ממסד הנתונים של המקור. צריך להגדיר חותמת זמן בפורמט RFC 3339, ברמת פירוט של דקות, למשל2026-05-15T16:31:00.00Z.חותמת הזמן התקינה המוקדמת ביותר תלויה בהגדרות של שחזור המערכת מנקודה מסוימת בזמן (PITR). איך מקבלים את הזמן של הגרסה המוקדמת ביותר
העברת קבוצות של אוספים שצוינו
כדי להעביר רק קבוצות מסוימות של אוספים, משתמשים בפקודה הבאה:
gcloud dataflow jobs run "JOB_NAME" \ --project "PROJECT" \ --gcs-location gs://dataflow-templates-REGION_NAME/VERSION/Cloud_Firestore_to_Firestore \ --region REGION_NAME \ --parameters "sourceProjectId=SOURCE_PROJECT_ID" \ --parameters "sourceDatabaseId=SOURCE_DATABASE_ID" \ --parameters "collectionGroupIds=COLLECTION_GROUP_IDS" \ --parameters "destinationProjectId=DESTINATION_PROJECT_ID" \ --parameters "destinationDatabaseId=DESTINATION_DATABASE_ID" \ --parameters "readTime=READ_TIME"
מחליפים את מה שכתוב בשדות הבאים:
-
JOB_NAME: שם למשימה. -
PROJECT: מזהה הפרויקט ב-Google Cloud. -
REGION_NAME: המיקום ב-Google Cloud שבו רוצים להריץ את משימת ה-Dataflow. כדאי לבחור מיקום שקרוב למסדי הנתונים שלכם.
VERSION: גרסת התבנית שבה רוצים להשתמש. אפשר להשתמש בערכים הבאים:latestכדי להשתמש בגרסה העדכנית של התבנית, שזמינה בתיקיית הנתונים ללא תאריך ספציפי בקטגוריה – gs://dataflow-templates-REGION_NAME/latest/- שם הגרסה, כמו
2023-09-12-00_RC00, כדי להשתמש בגרסה ספציפית של התבנית, שנמצאת בתיקיית הנתונים המתאימה מתאריך ספציפי בקטגוריה – gs://dataflow-templates-REGION_NAME/
SOURCE_PROJECT_ID: מזהה הפרויקט Google Cloud במקור שמכיל את מסד הנתונים של Firestore Standard Edition.
SOURCE_DATABASE_ID: המזהה של מסד הנתונים של Cloud Firestore המקור.
COLLECTION_GROUP_IDS: רשימה מופרדת בפסיקים של מזהי קבוצות של אוספים שרוצים להעביר.אוספי משנה לא נכללים באופן רקורסיבי. לדוגמה, אם מציינים את קבוצת האוספים
users, ההעברה לא תכלול את אוסף המשנהmessagesב-/users/userid/messages, אלא אם מציינים גם את קבוצת האוספיםmessages.
DESTINATION_PROJECT_ID: המזהה של פרויקט Google Cloud היעד של מסד הנתונים החדש ב-Cloud Firestore.
DESTINATION_DATABASE_ID: המזהה של מסד הנתונים של Cloud Firestore ביעד.
READ_TIME: חותמת הזמן לקריאת נתונים ממסד הנתונים של המקור. צריך להגדיר חותמת זמן בפורמט RFC 3339, ברמת פירוט של דקות, למשל2026-05-15T16:31:00.00Z.חותמת הזמן התקינה המוקדמת ביותר תלויה בהגדרות של שחזור המערכת מנקודה מסוימת בזמן (PITR). איך מקבלים את הזמן של הגרסה המוקדמת ביותר
3. הגדרת מסד הנתונים
המשימה firestore-to-firestore מעבירה רק נתונים.
אינדקסים והגדרות אחרות של מסד הנתונים לא מועברים. בנוסף להעברת הנתונים, כדאי להגדיר את הדברים הבאים במסד הנתונים החדש:
אינדקסים: במסדי נתונים של Firestore Enterprise Edition לא נדרשים אינדקסים כדי להריץ שאילתות, ולא נוצרים אינדקסים אוטומטיים כברירת מחדל. כדי ליצור אינדקסים לשאילתות, אפשר להיעזר במקורות המידע הבאים:
- סקירה כללית על אינדקסים במהדורת Firestore Enterprise
- אופטימיזציה של ביצועי השאילתות באמצעות אינדקסים.
- אתם יכולים להשתמש ב-CLI של Firebase כדי לייצא אינדקסים ולפרוס אותם במסד הנתונים החדש.
- אתם יכולים להשתמש ב-Query Insights כדי לזהות שאילתות שאפשר לבצע להן אופטימיזציה באמצעות אינדקס.
גיבויים: הגדרת גיבויים.
PITR: הפעילו את PITR.
אחרי שתגדירו את מסד הנתונים, תוכלו להמשיך לבדוק את האפליקציה עם מסד הנתונים החדש. כדי להשלים את ההעברה, צריך לעדכן את האפליקציות כך שישתמשו במסד הנתונים החדש.
פתרון בעיות
במסדי נתונים גדולים, יכול להיות שהמשימה תיכשל אם היא תקרא יותר מדי נתונים בבת אחת. כדי לפתור את הבעיה:
מגדילים את הערך של
maxNumWorkers.
המאמרים הבאים
- מידע ולמידה על שליחת שאילתות על נתונים באמצעות פעולות בצינור עיבוד נתונים
- איך מבצעים אופטימיזציה של שאילתות ב-Firestore Enterprise
- איך מתבצעת התאמה לעומס (scaling) של מסד נתונים במהדורת Enterprise.