Firestore Standard এডিশন ডেটাবেস থেকে Firestore Enterprise এডিশন ডেটাবেসে ডেটা মাইগ্রেট করতে, আমরা নিম্নলিখিত বিকল্পগুলির মধ্যে একটি ব্যবহার করার সাজেশন দিই:
ইমপোর্ট ও এক্সপোর্ট ফিচার। ইম্পোর্ট অপারেশন থেকে পাওয়া ডেটা ফাইল Enterprise সংস্করণ এবং Standard সংস্করণ, উভয়ের সাথেই মানানসই।
firestore-to-firestoreDataflow টেমপ্লেট। Dataflow পরিষেবা আপনাকে ডেটা পাইপলাইন তৈরি করতে দেয় এবংfirestore-to-firestoreটেমপ্লেট Cloud Firestore ডেটাবেসের মধ্যে একটি ব্যাচ পাইপলাইন তৈরি করে।
কম কনফিগারেশন বিকল্পের সাথে চালানোর জন্য ইম্পোর্ট ও এক্সপোর্ট হল সহজ বিকল্প।
Dataflow টেমপ্লেট আরও কাস্টমাইজ করা যায়। আংশিক মাইগ্রেশন বা ডেটা ট্রান্সফর্ম করার জন্য আপনি টেমপ্লেট কোড বাড়াতে পারেন। এছাড়াও, আপনি ওয়ার্কারের সংখ্যা ও সাইজ নিয়ন্ত্রণ করতে পারবেন।
দুটি বিকল্পই প্রোজেক্ট ও অঞ্চল জুড়ে মাইগ্রেশন সাপোর্ট করে।
এক্সপোর্ট ও ইমপোর্ট করার মাধ্যমে ডেটা মাইগ্রেট করা
এক্সপোর্ট ও ইমপোর্ট অপারেশনের মাধ্যমে ডেটা মাইগ্রেট করতে, ডেটা এক্সপোর্ট ও ইমপোর্ট করুন বিকল্প দেখুন। অন্য প্রোজেক্টের ডেটাবেসে ডেটা সরাতে, প্রোজেক্টের মধ্যে ডেটা সরান দেখুন।
Dataflow টেমপ্লেট ব্যবহার করে ডেটা মাইগ্রেট করা
firestore-to-firestore Dataflow টেমপ্লেটের মাধ্যমে ডেটা মাইগ্রেট করতে নিম্নলিখিত নির্দেশাবলী অনুসরণ করুন।
শুরু করার আগে
ডেটা মাইগ্রেশন শুরু করার আগে, সোর্স ডেটাবেসে পয়েন্ট-ইন-টাইম রিকভারি (PITR) চালু করা আছে কিনা তা নিশ্চিত করুন। Dataflow জব PITR টাইমস্ট্যাম্পে ডেটা পড়ার জন্য PITR ব্যবহার করে। PITR বন্ধ করা থাকলে, এক ঘণ্টার বেশি সময় ধরে চলা জবটি ব্যর্থ হয়।
এই টেমপ্লেট ব্যবহার করতে হলে
datastore.googleapis.comAPI চালু করতে হবে।পরবর্তী বিভাগে বর্ণিত প্রয়োজনীয় ভূমিকাগুলি অ্যাসাইন করুন।
প্রয়োজনীয় ভূমিকা
একটি ডেটাবেস থেকে অন্য ডেটাবেসে ডেটা মাইগ্রেট করতে, নিম্নলিখিত ভূমিকাগুলি অ্যাসাইন করুন। এছাড়াও, আপনি কাস্টম ভূমিকা বা আগে থেকে নির্ধারিত অন্যান্য ভূমিকার মাধ্যমে প্রয়োজনীয় অনুমতি পেতে পারেন:
- নতুন ডেটাবেস তৈরি করা এবং Cloud Firestore ডেটা অ্যাক্সেস করার জন্য প্রয়োজনীয় অনুমতি পেতে, আপনার অ্যাডমিনিস্ট্রেটরকে আপনার প্রোজেক্টে
Cloud Datastore-এর মালিক
(
roles/datastore.owner) আইডেন্টিটি ও অ্যাক্সেস ম্যানেজমেন্ট (IAM) ভূমিকা প্রদান করতে বলুন। -
Dataflow জবকে আপনার Cloud Firestore ডেটাবেসে রিড ও রাইট অ্যাক্সেস দিতে, আপনার প্রোজেক্টে Dataflow ওয়ার্কার সার্ভিস অ্যাকাউন্টকে (যেমন,
PROJECT_NUMBER-compute@) Cloud Datastore ব্যবহারকারী (roles/datastore.user) IAM ভূমিকা অ্যাসাইন করুন।Dataflow-এর নিরাপত্তা সম্পর্কে আরও জানতে, Dataflow-এর নিরাপত্তা ও অনুমতি দেখুন।
IAM ভূমিকা প্রদান করা সম্পর্কে আরও তথ্যের জন্য, প্রোজেক্ট, ফোল্ডার এবং সংস্থার অ্যাক্সেস ম্যানেজ করুন দেখুন।
১. নতুন Firestore Enterprise এডিশন ডেটাবেস তৈরি করুন
Standard এডিশন ডেটাবেস থেকে Enterprise এডিশন ডেটাবেসে ডেটা মাইগ্রেট করতে, আপনাকে প্রথমে Enterprise এডিশন ডেস্টিনেশন ডেটাবেস তৈরি করতে হবে। ডেটাবেস তৈরি করুন বিকল্প দেখুন।
২. Dataflow firestore-to-firestore টেমপ্লেট রান করুন
firestore-to-firestore টেমপ্লেট ব্যবহার করে আপনার Dataflow জব কনফিগার ও রান করুন।
টেমপ্লেটটি সম্পূর্ণ ডেটাবেস বা শুধুমাত্র নির্দিষ্ট কালেকশন গ্রুপ মাইগ্রেট করতে সাহায্য করে।
সীমাবদ্ধতা
firestore-to-firestore
Dataflow টেমপ্লেটের জন্য নিম্নলিখিত সীমাবদ্ধতাগুলি বিবেচনা করুন:
- সোর্স ডেটাবেসটি অবশ্যই একটি স্ট্যান্ডার্ড এডিশন ডেটাবেস হতে হবে।
- মাইগ্রেশন একটি নির্দিষ্ট রিড-টাইমে ডেটা পড়ে। আমরা সোর্স ডেটাবেসে পয়েন্ট-ইন-টাইম রিকভারি (PITR) চালু করার সাজেশন দিই। PITR চালু না থাকলে, এক ঘণ্টা পরে ডেটার মেয়াদ শেষ হয়ে যায় এবং ডেটা মাইগ্রেশন সম্পূর্ণ করার জন্য সেই সময় যথেষ্ট নাও হতে পারে। PITR ডেটার রেকর্ড রাখার সময়সীমা সাত দিন পর্যন্ত বাড়ায়।
- ইন্ডেক্স মাইগ্রেট করা হয়নি।
Dataflow জব ডেটাবেস কনফিগারেশন মাইগ্রেট করে না, যেমন টাইম টু লাইভ (TTL) নীতি, ব্যাক-আপ, PITR এবং গ্রাহক-পরিচালিত এনক্রিপশন কী (CMEK)।
আপনাকে নতুন ডেটাবেসে এইসব সেটিংস কনফিগার করতে হবে। ডেটা মাইগ্রেশনের স্পিড উন্নত করতে, ডেস্টিনেশন ডেটাবেসে TTL, ব্যাক-আপ ও PITR কনফিগার করার জন্য মাইগ্রেশন সম্পূর্ণ হওয়া পর্যন্ত অপেক্ষা করুন।
Google Cloud CLI ব্যবহার করে কীভাবে টেমপ্লেট রান করতে হয় তা নিম্নলিখিত উদাহরণ থেকে দেখানো হয়েছে।
সব ডেটা মাইগ্রেট করুন
সব ডেটা মাইগ্রেট করতে, নিম্নলিখিত কমান্ড ব্যবহার করুন:
gcloud dataflow flex-template run "JOB_NAME" \ --project "PROJECT" \ --template-file-gcs-location gs://dataflow-templates-REGION_NAME/VERSION/flex/Cloud_Firestore_to_Firestore \ --region REGION_NAME \ --parameters "sourceProjectId=SOURCE_PROJECT_ID" \ --parameters "sourceDatabaseId=SOURCE_DATABASE_ID" \ --parameters "destinationProjectId=DESTINATION_PROJECT_ID" \ --parameters "destinationDatabaseId=DESTINATION_DATABASE_ID" \ --parameters "readTime=READ_TIME"
নিম্নলিখিতগুলি পরিবর্তন করুন:
JOB_NAME: কাজের নাম।PROJECT: আপনার Google Cloud প্রোজেক্টের আইডি।REGION_NAME: আপনি যে Google Cloud লোকেশনে Dataflow জব চালাতে চান। আপনার ডেটাবেসের কাছাকাছি কোনও লোকেশন ব্যবহার করুন।VERSION: আপনি টেমপ্লেটের যে ভার্সন ব্যবহার করতে চান। আপনি নিম্নলিখিত ভ্যালু ব্যবহার করতে পারবেন:latestযাতে টেমপ্লেটের লেটেস্ট ভার্সন ব্যবহার করা যায়, যা বাকেটের তারিখ উল্লেখ না করা পেরেন্ট ফোল্ডারে উপলভ্য— gs://dataflow-templates-REGION_NAME/latest/- ভার্সনের নাম, যেমন
2023-09-12-00_RC00, টেমপ্লেটের নির্দিষ্ট ভার্সন ব্যবহার করতে, যা বাকেটে সংশ্লিষ্ট তারিখের মূল ফোল্ডারে নেস্ট করা থাকে— gs://dataflow-templates-REGION_NAME/
SOURCE_PROJECT_ID: Firestore স্ট্যান্ডার্ড এডিশন ডেটাবেস আছে এমন সোর্স Google Cloud প্রোজেক্টের আইডি।SOURCE_DATABASE_ID: সোর্স Cloud Firestore ডেটাবেসের আইডি।DESTINATION_PROJECT_ID: নতুন Cloud Firestore ডেটাবেসের জন্য ডেস্টিনেশন Google Cloud প্রোজেক্টের আইডি।DESTINATION_DATABASE_ID: ডেস্টিনেশন Cloud Firestore ডেটাবেসের আইডি।READ_TIME: সোর্স ডেটাবেস থেকে ডেটা পড়ার টাইমস্ট্যাম্প। RFC 3339 ফর্ম্যাটে টাইমস্ট্যাম্পে সেট করুন, মিনিট গ্র্যানুলারিটিতে যেমন2026-05-15T16:31:00.00Z।সবচেয়ে পুরনো বৈধ টাইমস্ট্যাম্প আপনার পয়েন্ট-ইন-টাইম রিকভারি (PITR) সেটিংসের উপর নির্ভর করে। সবচেয়ে পুরনো ভার্সনের সময় পান দেখুন।
নির্দিষ্ট কালেকশন গ্রুপ মাইগ্রেট করুন
শুধুমাত্র নির্দিষ্ট কালেকশন গ্রুপ মাইগ্রেট করতে, নিম্নলিখিত কমান্ড ব্যবহার করুন:
gcloud dataflow jobs run "JOB_NAME" \ --project "PROJECT" \ --gcs-location gs://dataflow-templates-REGION_NAME/VERSION/Cloud_Firestore_to_Firestore \ --region REGION_NAME \ --parameters "sourceProjectId=SOURCE_PROJECT_ID" \ --parameters "sourceDatabaseId=SOURCE_DATABASE_ID" \ --parameters "collectionGroupIds=COLLECTION_GROUP_IDS" \ --parameters "destinationProjectId=DESTINATION_PROJECT_ID" \ --parameters "destinationDatabaseId=DESTINATION_DATABASE_ID" \ --parameters "readTime=READ_TIME"
নিম্নলিখিতগুলি পরিবর্তন করুন:
JOB_NAME: কাজের নাম।PROJECT: আপনার Google Cloud প্রোজেক্টের আইডি।REGION_NAME: আপনি যে Google Cloud লোকেশনে Dataflow জব চালাতে চান। আপনার ডেটাবেসের কাছাকাছি কোনও লোকেশন ব্যবহার করুন।VERSION: আপনি টেমপ্লেটের যে ভার্সন ব্যবহার করতে চান। আপনি নিম্নলিখিত ভ্যালু ব্যবহার করতে পারবেন:latestযাতে টেমপ্লেটের লেটেস্ট ভার্সন ব্যবহার করা যায়, যা বাকেটের তারিখ উল্লেখ না করা পেরেন্ট ফোল্ডারে উপলভ্য— gs://dataflow-templates-REGION_NAME/latest/- টেমপ্লেটের নির্দিষ্ট ভার্সন ব্যবহার করতে, ভার্সনের নাম, যেমন
2023-09-12-00_RC00, যা বাকেটে সংশ্লিষ্ট তারিখের মূল ফোল্ডারে নেস্ট করা থাকে— gs://dataflow-templates-REGION_NAME/
SOURCE_PROJECT_ID: সোর্স Google Cloud প্রোজেক্টের আইডি যাতে Firestore Standard এডিশন ডেটাবেস আছে।SOURCE_DATABASE_ID: সোর্স Cloud Firestore ডেটাবেসের আইডি।COLLECTION_GROUP_IDS: মাইগ্রেট করার জন্য কমা দিয়ে আলাদা করা কালেকশন গ্রুপ আইডির তালিকা।সাব-কালেকশন রিকার্সিভভাবে অন্তর্ভুক্ত করা হয় না। যেমন, আপনি যদি
usersকালেকশন গ্রুপ নির্দিষ্ট করেন, তাহলে মাইগ্রেশনে/users/userid/messages-এmessagesসাব-কালেকশন অন্তর্ভুক্ত হবে না, যদি না আপনিmessagesকালেকশন গ্রুপও নির্দিষ্ট করেন।DESTINATION_PROJECT_ID: নতুন Cloud Firestore ডেটাবেসের জন্য ডেস্টিনেশন Google Cloud প্রোজেক্টের আইডি।DESTINATION_DATABASE_ID: ডেস্টিনেশন Cloud Firestore ডেটাবেসের আইডি।READ_TIME: সোর্স ডেটাবেস থেকে ডেটা পড়ার টাইমস্ট্যাম্প। RFC 3339 ফর্ম্যাটে টাইমস্ট্যাম্পে সেট করুন, মিনিট গ্র্যানুলারিটিতে যেমন2026-05-15T16:31:00.00Z।সবচেয়ে পুরনো বৈধ টাইমস্ট্যাম্প আপনার পয়েন্ট-ইন-টাইম রিকভারি (PITR) সেটিংসের উপর নির্ভর করে। সবচেয়ে পুরনো ভার্সনের সময় পান দেখুন।
৩. ডেটাবেস কনফিগার করুন
firestore-to-firestore জব শুধুমাত্র ডেটা মাইগ্রেট করে।
ইনডেক্স এবং অন্যান্য ডেটাবেস সেটিংস মাইগ্রেট করা হয় না। ডেটা মাইগ্রেট করার পাশাপাশি, নতুন ডেটাবেসে নিম্নলিখিতগুলি কনফিগার করার কথা বিবেচনা করুন:
ইনডেক্স: Firestore Enterprise এডিশন ডেটাবেসে কোয়েরি রান করার জন্য ইনডেক্সের প্রয়োজন হয় না এবং ডিফল্ট হিসেবে অটোমেটিক ইনডেক্স তৈরি করে না। আপনার কোয়েরির জন্য ইনডেক্স তৈরি করতে নিম্নলিখিত তথ্য দেখুন:
- Firestore Enterprise এডিশন ইনডেক্স ওভারভিউ।
- ইনডেক্সের মাধ্যমে কোয়েরি পারফর্ম্যান্স অপ্টিমাইজ করুন।
- আপনি Firebase CLI ব্যবহার করে ইনডেক্স এক্সপোর্ট করতে এবং নতুন ডেটাবেসে তা ডেপ্লয় করতে পারবেন।
- কোয়েরি ইনসাইট ব্যবহার করে এমন কোয়েরি শনাক্ত করুন যা আপনি ইন্ডেক্সের মাধ্যমে অপ্টিমাইজ করতে পারবেন।
TTL: TTL নীতি তৈরি করুন।
ব্যাক-আপ: ব্যাক-আপ সেট-আপ করুন।
PITR: PITR চালু করুন।
আপনার ডেটাবেস কনফিগার করার পরে, আপনি নতুন ডেটাবেসের সাথে আপনার অ্যাপ পরীক্ষা করা চালিয়ে যেতে পারেন। সম্পূর্ণ মাইগ্রেশনের জন্য, নতুন ডেটাবেস ব্যবহার করতে আপনার অ্যাপ্লিকেশন আপডেট করুন।
সমস্যার সমাধান
বড় ডেটাবেসের ক্ষেত্রে, একবারে অনেক বেশি ডেটা পড়লে, কাজ সম্পূর্ণ নাও হতে পারে। এই সমস্যার সমাধান করতে:
maxNumWorkersভ্যালু বাড়ান।
এর পরে কী করতে হবে
- Pipeline অপারেশন-এর মাধ্যমে ডেটা কোয়েরি করা সম্পর্কে জানুন।
- কীভাবে Firestore Enterprise সংস্করণে কোয়েরি অপ্টিমাইজ করবেন সেই সম্পর্কে জানুন
- Enterprise এডিশন ডেটাবেস কীভাবে স্কেল করে তা বুঝুন।