Firestore के स्टैंडर्ड वर्शन वाले डेटाबेस से Firestore के एंटरप्राइज़ वर्शन वाले डेटाबेस में डेटा माइग्रेट करने के लिए, हमारा सुझाव है कि आप इनमें से किसी एक विकल्प का इस्तेमाल करें:
इंपोर्ट और एक्सपोर्ट करने की सुविधाएं. इंपोर्ट की गई डेटा फ़ाइलें, Enterprise और Standard, दोनों वर्शन के साथ काम करती हैं.
firestore-to-firestoreDataflow टेंप्लेट. Dataflow सेवा की मदद से, डेटा पाइपलाइन बनाई जा सकती हैं. साथ ही,firestore-to-firestoreटेंप्लेट, Cloud Firestore डेटाबेस के बीच एक बैच पाइपलाइन बनाता है.
इंपोर्ट और एक्सपोर्ट करना, कम कॉन्फ़िगरेशन विकल्पों के साथ काम करने का आसान तरीका है.
Dataflow टेंप्लेट को ज़्यादा पसंद के मुताबिक बनाया जा सकता है. डेटा को कुछ हद तक माइग्रेट करने या उसे बदलने के लिए, टेंप्लेट कोड को बढ़ाया जा सकता है. आपके पास वर्कर की संख्या और साइज़ को कंट्रोल करने का विकल्प भी होता है.
दोनों विकल्पों की मदद से, प्रोजेक्ट और इलाकों के बीच माइग्रेशन किया जा सकता है.
डेटा एक्सपोर्ट और इंपोर्ट करके माइग्रेट करना
एक्सपोर्ट और इंपोर्ट की कार्रवाइयों की मदद से डेटा माइग्रेट करने के लिए, डेटा एक्सपोर्ट और इंपोर्ट करना लेख पढ़ें. डेटा को किसी दूसरे प्रोजेक्ट के डेटाबेस में ले जाने के लिए, डेटा को एक प्रोजेक्ट से दूसरे प्रोजेक्ट में ले जाना लेख पढ़ें.
Dataflow टेंप्लेट का इस्तेमाल करके डेटा माइग्रेट करना
firestore-to-firestore Dataflow टेंप्लेट का इस्तेमाल करके डेटा माइग्रेट करने के लिए, यहां दिए गए निर्देशों का पालन करें.
शुरू करने से पहले
डेटा माइग्रेशन शुरू करने से पहले, पक्का करें कि सोर्स डेटाबेस पर पिछले समय की रिकवरी (पीआईटीआर) की सुविधा चालू हो. Dataflow जॉब, पीआईटीआर टाइमस्टैंप पर डेटा को पढ़ने के लिए पीआईटीआर का इस्तेमाल करता है. अगर पीआईटीआर की सुविधा बंद है, तो एक घंटे से ज़्यादा समय तक चलने पर जॉब पूरा नहीं हो पाता.
इस टेंप्लेट का इस्तेमाल करने के लिए,
datastore.googleapis.comएपीआई चालू होना चाहिए.अगले सेक्शन में बताई गई ज़रूरी भूमिकाएं असाइन करें.
ज़रूरी भूमिकाएं
डेटा को एक डेटाबेस से दूसरे डेटाबेस में माइग्रेट करने के लिए, ये भूमिकाएं असाइन करें. आपको कस्टम भूमिका या पहले से तय अन्य भूमिकाओं के ज़रिए भी ज़रूरी अनुमतियां मिल सकती हैं:
- नया डेटाबेस बनाने और Cloud Firestore डेटा को ऐक्सेस करने के लिए ज़रूरी अनुमतियां पाने के लिए, अपने एडमिन से कहें कि वह आपको आपके प्रोजेक्ट पर Cloud Datastore के मालिक (
roles/datastore.owner) की पहचान और ऐक्सेस मैनेजमेंट (आईएएम) भूमिका दे. -
Dataflow जॉब को अपने Cloud Firestore डेटाबेस में डेटा पढ़ने और लिखने का ऐक्सेस देने के लिए, अपने प्रोजेक्ट पर Dataflow वर्कर सेवा खाते (उदाहरण के लिए,
PROJECT_NUMBER-compute@) को Cloud Datastore उपयोगकर्ता (roles/datastore.user) IAM भूमिका असाइन करें.Dataflow की सुरक्षा के बारे में ज़्यादा जानने के लिए, Dataflow की सुरक्षा और अनुमतियां देखें.
आईएएम की भूमिकाएं देने के बारे में ज़्यादा जानने के लिए, प्रोजेक्ट, फ़ोल्डर, और संगठनों का ऐक्सेस मैनेज करना लेख पढ़ें.
1. Firestore Enterprise वर्शन का नया डेटाबेस बनाना
स्टैंडर्ड वर्शन के डेटाबेस से एंटरप्राइज़ वर्शन के डेटाबेस में डेटा माइग्रेट करने के लिए, आपको सबसे पहले एंटरप्राइज़ वर्शन का डेस्टिनेशन डेटाबेस बनाना होगा. डेटाबेस बनाना देखें.
2. Dataflow firestore-to-firestore टेंप्लेट चलाएं
firestore-to-firestore टेंप्लेट की मदद से, Dataflow जॉब को कॉन्फ़िगर करें और चलाएं.
टेंप्लेट की मदद से, पूरे डेटाबेस या सिर्फ़ तय किए गए कलेक्शन ग्रुप को माइग्रेट किया जा सकता है.
सीमाएं
firestore-to-firestore
Dataflow टेंप्लेट के लिए, इन सीमाओं को ध्यान में रखें:
- सोर्स डेटाबेस, स्टैंडर्ड वर्शन वाला डेटाबेस होना चाहिए.
- माइग्रेशन, डेटा को रीड-टाइम के हिसाब से पढ़ता है. हमारा सुझाव है कि सोर्स डेटाबेस में पिछले समय की रिकवरी (पीआईटीआर) की सुविधा चालू करें. अगर पीआईटीआर की सुविधा चालू नहीं है, तो डेटा एक घंटे के बाद मिट जाता है. ऐसा हो सकता है कि डेटा माइग्रेशन पूरा करने के लिए, यह समय काफ़ी न हो. पीआईटीआर, डेटा के रखरखाव की अवधि को सात दिनों तक बढ़ा देता है.
- इंडेक्स माइग्रेट नहीं किए जाते.
Dataflow जॉब, डेटाबेस के कॉन्फ़िगरेशन को माइग्रेट नहीं करता है. जैसे, टाइम टू लिव (टीटीएल) नीतियां, बैकअप, पीआईटीआर, और ग्राहक की ओर से मैनेज की जाने वाली एन्क्रिप्शन कुंजियां (सीएमईके).
आपको नए डेटाबेस पर ये सेटिंग कॉन्फ़िगर करनी होंगी. डेटा माइग्रेशन की स्पीड बढ़ाने के लिए, माइग्रेशन पूरा होने तक इंतज़ार करें. इसके बाद, डेस्टिनेशन डेटाबेस पर टीटीएल, बैकअप, और पीआईटीआर को कॉन्फ़िगर करें.
यहां दिए गए उदाहरणों में, Google Cloud CLI का इस्तेमाल करके टेंप्लेट को चलाने का तरीका बताया गया है.
पूरा डेटा माइग्रेट करें
पूरा डेटा माइग्रेट करने के लिए, इस निर्देश का इस्तेमाल करें:
gcloud dataflow flex-template run "JOB_NAME" \ --project "PROJECT" \ --template-file-gcs-location gs://dataflow-templates-REGION_NAME/VERSION/flex/Cloud_Firestore_to_Firestore \ --region REGION_NAME \ --parameters "sourceProjectId=SOURCE_PROJECT_ID" \ --parameters "sourceDatabaseId=SOURCE_DATABASE_ID" \ --parameters "destinationProjectId=DESTINATION_PROJECT_ID" \ --parameters "destinationDatabaseId=DESTINATION_DATABASE_ID" \ --parameters "readTime=READ_TIME"
इनकी जगह ये डालें:
JOB_NAME: जॉब का नाम.PROJECT: आपके Google Cloud प्रोजेक्ट का आईडी.REGION_NAME: वह Google Cloud जगह जहां आपको Dataflow जॉब चलाना है. अपने डेटाबेस के आस-पास की कोई जगह चुनें.VERSION: टेंप्लेट का वह वर्शन जिसे आपको इस्तेमाल करना है. इन वैल्यू का इस्तेमाल किया जा सकता है:latest, ताकि टेंप्लेट के नए वर्शन का इस्तेमाल किया जा सके. यह वर्शन, बकेट में मौजूद बिना तारीख वाले पैरंट फ़ोल्डर में उपलब्ध है— gs://dataflow-templates-REGION_NAME/latest/- वर्शन का नाम, जैसे कि
2023-09-12-00_RC00, ताकि टेंप्लेट के किसी खास वर्शन का इस्तेमाल किया जा सके. यह वर्शन, बकेट में तारीख के हिसाब से बनाए गए पैरंट फ़ोल्डर में मौजूद होता है— gs://dataflow-templates-REGION_NAME/
SOURCE_PROJECT_ID: सोर्स Google Cloud प्रोजेक्ट का आईडी, जिसमें Firestore के स्टैंडर्ड वर्शन का डेटाबेस मौजूद है.SOURCE_DATABASE_ID: सोर्स Cloud Firestore डेटाबेस का आईडी.DESTINATION_PROJECT_ID: नए Cloud Firestore डेटाबेस के लिए, डेस्टिनेशन Google Cloud प्रोजेक्ट का आईडी.DESTINATION_DATABASE_ID: डेस्टिनेशन Cloud Firestore डेटाबेस का आईडी.READ_TIME: सोर्स डेटाबेस से डेटा पढ़ने के लिए टाइमस्टैंप. इसे आरएफ़सी 3339 फ़ॉर्मैट में टाइमस्टैंप पर सेट करें. इसमें मिनट की जानकारी भी शामिल होनी चाहिए, जैसे कि2026-05-15T16:31:00.00Z.सबसे पुराना मान्य टाइमस्टैंप, पिछले समय की रिकवरी (पीआईटीआर) की सेटिंग पर निर्भर करता है. सबसे पुराने वर्शन का समय पाएं देखें.
चुने गए कलेक्शन ग्रुप माइग्रेट करना
सिर्फ़ कुछ कलेक्शन ग्रुप माइग्रेट करने के लिए, इस निर्देश का इस्तेमाल करें:
gcloud dataflow jobs run "JOB_NAME" \ --project "PROJECT" \ --gcs-location gs://dataflow-templates-REGION_NAME/VERSION/Cloud_Firestore_to_Firestore \ --region REGION_NAME \ --parameters "sourceProjectId=SOURCE_PROJECT_ID" \ --parameters "sourceDatabaseId=SOURCE_DATABASE_ID" \ --parameters "collectionGroupIds=COLLECTION_GROUP_IDS" \ --parameters "destinationProjectId=DESTINATION_PROJECT_ID" \ --parameters "destinationDatabaseId=DESTINATION_DATABASE_ID" \ --parameters "readTime=READ_TIME"
इनकी जगह ये डालें:
JOB_NAME: जॉब का नाम.PROJECT: आपके Google Cloud प्रोजेक्ट का आईडी.REGION_NAME: वह Google Cloud जगह जहां आपको Dataflow जॉब चलाना है. अपने डेटाबेस के आस-पास की कोई जगह चुनें.VERSION: टेंप्लेट का वह वर्शन जिसे आपको इस्तेमाल करना है. इन वैल्यू का इस्तेमाल किया जा सकता है:latest, ताकि टेंप्लेट के नए वर्शन का इस्तेमाल किया जा सके. यह वर्शन, बकेट में मौजूद बिना तारीख वाले पैरंट फ़ोल्डर में उपलब्ध है— gs://dataflow-templates-REGION_NAME/latest/- वर्शन का नाम, जैसे कि
2023-09-12-00_RC00, ताकि टेंप्लेट के किसी खास वर्शन का इस्तेमाल किया जा सके. यह वर्शन, बकेट में तारीख के हिसाब से बनाए गए पैरंट फ़ोल्डर में नेस्ट किया गया होता है— gs://dataflow-templates-REGION_NAME/
SOURCE_PROJECT_ID: सोर्स Google Cloud प्रोजेक्ट का आईडी, जिसमें Firestore स्टैंडर्ड वर्शन का डेटाबेस मौजूद है.SOURCE_DATABASE_ID: सोर्स Cloud Firestore डेटाबेस का आईडी.COLLECTION_GROUP_IDS: माइग्रेट किए जाने वाले कलेक्शन ग्रुप के आईडी की कॉमा लगाकर अलग की गई लिस्ट.सब-कलेक्शन को बार-बार शामिल नहीं किया जाता. उदाहरण के लिए, अगर आपने
usersकलेक्शन ग्रुप की जानकारी दी है, तो माइग्रेशन में/users/userid/messagesपर मौजूदmessagesसब-कलेक्शन शामिल नहीं होगा. ऐसा तब तक होगा, जब तकmessagesकलेक्शन ग्रुप की जानकारी नहीं दी जाती.DESTINATION_PROJECT_ID: नए Cloud Firestore डेटाबेस के लिए, डेस्टिनेशन Google Cloud प्रोजेक्ट का आईडी.DESTINATION_DATABASE_ID: डेस्टिनेशन Cloud Firestore डेटाबेस का आईडी.READ_TIME: सोर्स डेटाबेस से डेटा पढ़ने का टाइमस्टैंप. इसे आरएफ़सी 3339 फ़ॉर्मैट में टाइमस्टैंप पर सेट करें. इसमें मिनट की जानकारी भी शामिल होनी चाहिए, जैसे कि2026-05-15T16:31:00.00Z.सबसे पुराना मान्य टाइमस्टैंप, पिछले समय की रिकवरी (पीआईटीआर) की सेटिंग पर निर्भर करता है. सबसे पुराने वर्शन का समय पाएं देखें.
3. डेटाबेस को कॉन्फ़िगर करना
firestore-to-firestore जॉब सिर्फ़ डेटा माइग्रेट करता है.
इंडेक्स और अन्य डेटाबेस सेटिंग माइग्रेट नहीं की जाती हैं. डेटा माइग्रेट करने के अलावा, नए डेटाबेस पर ये चीज़ें कॉन्फ़िगर करें:
इंडेक्स: Firestore Enterprise वर्शन के डेटाबेस में क्वेरी चलाने के लिए, इंडेक्स की ज़रूरत नहीं होती. साथ ही, ये डिफ़ॉल्ट रूप से अपने-आप इंडेक्स नहीं बनाते. अपनी क्वेरी के लिए इंडेक्स बनाने के लिए, यह तरीका अपनाएं:
- Firestore Enterprise वर्शन के इंडेक्स की खास जानकारी.
- इंडेक्स की मदद से क्वेरी की परफ़ॉर्मेंस को ऑप्टिमाइज़ करना.
- Firebase सीएलआई का इस्तेमाल करके, इंडेक्स एक्सपोर्ट किए जा सकते हैं और उन्हें नए डेटाबेस में डिप्लॉय किया जा सकता है.
- क्वेरी इनसाइट का इस्तेमाल करके, ऐसी क्वेरी की पहचान करें जिन्हें इंडेक्स की मदद से ऑप्टिमाइज़ किया जा सकता है.
टीटीएल: टीटीएल की नीतियां बनाएं.
बैकअप: बैकअप सेट अप करें.
पीआईटीआर: पीआईटीआर की सुविधा चालू करें.
डेटाबेस को कॉन्फ़िगर करने के बाद, नए डेटाबेस के साथ अपने ऐप्लिकेशन की जांच जारी रखी जा सकती है. माइग्रेशन की प्रोसेस पूरी करने के लिए, अपने ऐप्लिकेशन अपडेट करें, ताकि वे नए डेटाबेस का इस्तेमाल कर सकें.
समस्या का हल
बड़े डेटाबेस के लिए, अगर एक बार में बहुत ज़्यादा डेटा पढ़ा जाता है, तो हो सकता है कि जॉब पूरा न हो पाए. इसे ठीक करने के लिए:
maxNumWorkersकी वैल्यू बढ़ाएं.
आगे क्या करना है
- पाइपलाइन ऑपरेशन की मदद से, डेटा क्वेरी करने के बारे में जानें.
- Firestore Enterprise वर्शन में क्वेरी ऑप्टिमाइज़ करने का तरीका जानें
- जानें कि Enterprise वर्शन का डेटाबेस कैसे स्केल होता है.