หากต้องการย้ายข้อมูลจากฐานข้อมูล Firestore รุ่น Standard ไปยังฐานข้อมูล Firestore รุ่น Enterprise เราขอแนะนำให้ใช้ตัวเลือกใดตัวเลือกหนึ่งต่อไปนี้
ฟีเจอร์นำเข้าและส่งออก ไฟล์ข้อมูลจากการดำเนินการนำเข้าจะใช้ได้กับทั้งรุ่น Enterprise และรุ่น Standard
เทมเพลต Dataflow ของ
firestore-to-firestoreบริการ Dataflow ช่วยให้คุณสร้าง Data Pipeline ได้ และเทมเพลตfirestore-to-firestoreจะสร้างไปป์ไลน์แบบกลุ่มระหว่างฐานข้อมูล Cloud Firestore
การนำเข้าและส่งออกเป็นตัวเลือกที่ง่ายกว่าในการเรียกใช้โดยมีตัวเลือกการกำหนดค่าน้อยกว่า
เทมเพลต Dataflow ปรับแต่งได้มากกว่า คุณสามารถขยายโค้ดเทมเพลตเพื่อทำการย้ายข้อมูลบางส่วนหรือเปลี่ยนรูปแบบข้อมูลได้ นอกจากนี้ คุณยังควบคุมจำนวนและขนาดของเวิร์กเกอร์ได้ด้วย
ทั้ง 2 ตัวเลือกนี้รองรับการย้ายข้อมูลข้ามโปรเจ็กต์และภูมิภาค
ย้ายข้อมูลด้วยการส่งออกและนำเข้า
หากต้องการย้ายข้อมูลด้วยการดำเนินการส่งออกและนำเข้า โปรดดูหัวข้อส่งออกและนำเข้าข้อมูล หากต้องการย้ายข้อมูลไปยังฐานข้อมูลในโปรเจ็กต์อื่น โปรดดูหัวข้อย้ายข้อมูลระหว่างโปรเจ็กต์
ย้ายข้อมูลด้วยเทมเพลต Dataflow
ทำตามวิธีการต่อไปนี้เพื่อย้ายข้อมูลด้วยเทมเพลต firestore-to-firestore Dataflow
ก่อนเริ่มต้น
ก่อนเริ่มการย้ายข้อมูล ให้ตรวจสอบว่าได้เปิดใช้การกู้คืนช่วงเวลา (PITR) ในฐานข้อมูลต้นทางแล้ว งาน Dataflow ใช้ PITR เพื่ออ่านข้อมูลที่การประทับเวลา PITR หากปิดใช้ PITR งานจะดำเนินการไม่สำเร็จหากใช้เวลานานกว่า 1 ชั่วโมง
ต้องเปิดใช้
datastore.googleapis.comAPI เพื่อใช้เทมเพลตนี้มอบหมายบทบาทที่จำเป็นตามที่อธิบายไว้ในส่วนถัดไป
บทบาทที่จำเป็น
หากต้องการย้ายข้อมูลจากฐานข้อมูลหนึ่งไปยังอีกฐานข้อมูลหนึ่ง ให้มอบหมายบทบาทต่อไปนี้ นอกจากนี้ คุณยังรับสิทธิ์ที่จำเป็นผ่านบทบาทที่กำหนดเองหรือบทบาทอื่นๆ ที่กำหนดไว้ล่วงหน้าได้ด้วย ดังนี้
- หากต้องการรับสิทธิ์ที่จำเป็นในการสร้างฐานข้อมูลใหม่และเข้าถึงข้อมูล Cloud Firestore โปรดขอให้ผู้ดูแลระบบมอบบทบาท Identity and Access Management (IAM) เป็นเจ้าของ Cloud Datastore (
roles/datastore.owner) ในโปรเจ็กต์ของคุณ -
หากต้องการให้งาน Dataflow มีสิทธิ์อ่านและเขียนในฐานข้อมูล Cloud Firestore ให้มอบหมายบัญชีบริการของผู้ปฏิบัติงาน Dataflow (เช่น
PROJECT_NUMBER-compute@) เป็นบทบาท IAM ผู้ใช้ Cloud Datastore (roles/datastore.user) ในโปรเจ็กต์ดูข้อมูลเพิ่มเติมเกี่ยวกับความปลอดภัยของ Dataflow ได้ที่หัวข้อความปลอดภัยและสิทธิ์ของ Dataflow
ดูข้อมูลเพิ่มเติมเกี่ยวกับการให้บทบาท IAM ได้ที่หัวข้อจัดการการเข้าถึงโปรเจ็กต์ โฟลเดอร์ และองค์กร
1. สร้างฐานข้อมูล Firestore รุ่น Enterprise ใหม่
หากต้องการย้ายข้อมูลจากฐานข้อมูลรุ่น Standard ไปยังฐานข้อมูลรุ่น Enterprise คุณต้องสร้างฐานข้อมูลปลายทางรุ่น Enterprise ก่อน ดูหัวข้อสร้างฐานข้อมูล
2. เรียกใช้เทมเพลต Dataflow firestore-to-firestore
กำหนดค่าและเรียกใช้งาน Dataflow ด้วยเทมเพลต firestore-to-firestore
เทมเพลตรองรับการย้ายข้อมูลทั้งฐานข้อมูลหรือเฉพาะกลุ่มคอลเล็กชันที่ระบุ
ข้อจำกัด
โปรดพิจารณาข้อจำกัดต่อไปนี้สำหรับเทมเพลต firestore-to-firestore
Dataflow
- ฐานข้อมูลต้นทางต้องเป็นฐานข้อมูลรุ่น Standard
- การย้ายข้อมูลจะอ่านข้อมูล ณ เวลาอ่านที่เฉพาะเจาะจง เราขอแนะนำให้เปิดใช้การกู้คืนช่วงเวลา (PITR) ในฐานข้อมูลต้นทาง หากไม่ได้เปิดใช้ PITR ข้อมูลจะหมดอายุหลังจากผ่านไป 1 ชั่วโมง และอาจมีเวลาไม่เพียงพอสำหรับการย้ายข้อมูลให้เสร็จสมบูรณ์ PITR จะขยายการเก็บรักษาข้อมูลเป็น 7 วัน
- ระบบจะไม่ย้ายข้อมูลดัชนี
งาน Dataflow จะไม่ย้ายข้อมูลการกำหนดค่าฐานข้อมูล เช่น นโยบายอายุการใช้งาน (TTL), ข้อมูลสำรอง, PITR และคีย์การเข้ารหัสที่จัดการโดยลูกค้า (CMEK)
คุณต้องกำหนดการตั้งค่าเหล่านี้ในฐานข้อมูลใหม่ หากต้องการเพิ่มความเร็วในการย้ายข้อมูล ให้รอจนกว่าการย้ายข้อมูลจะเสร็จสิ้นจึงค่อยกำหนดค่า TTL, ข้อมูลสำรอง และ PITR ในฐานข้อมูลปลายทาง
ตัวอย่างต่อไปนี้แสดงวิธีเรียกใช้เทมเพลตโดยใช้ Google Cloud CLI
ย้ายข้อมูลทั้งหมด
หากต้องการย้ายข้อมูลทั้งหมด ให้ใช้คำสั่งต่อไปนี้
gcloud dataflow flex-template run "JOB_NAME" \ --project "PROJECT" \ --template-file-gcs-location gs://dataflow-templates-REGION_NAME/VERSION/flex/Cloud_Firestore_to_Firestore \ --region REGION_NAME \ --parameters "sourceProjectId=SOURCE_PROJECT_ID" \ --parameters "sourceDatabaseId=SOURCE_DATABASE_ID" \ --parameters "destinationProjectId=DESTINATION_PROJECT_ID" \ --parameters "destinationDatabaseId=DESTINATION_DATABASE_ID" \ --parameters "readTime=READ_TIME"
แทนที่ค่าต่อไปนี้
JOB_NAME: ชื่อของงานPROJECT: รหัสของโปรเจ็กต์ Google CloudREGION_NAME: ตำแหน่ง Google Cloud ที่ต้องการเรียกใช้งาน Dataflow ใช้ตำแหน่งที่อยู่ใกล้กับฐานข้อมูลของคุณVERSION: เวอร์ชันของเทมเพลตที่ต้องการใช้ คุณใช้ค่าต่อไปนี้ได้latestเพื่อใช้เทมเพลตเวอร์ชันล่าสุด ซึ่งมีอยู่ในโฟลเดอร์หลักที่ไม่มีวันที่ในที่เก็บข้อมูล gs://dataflow-templates-REGION_NAME/latest/- ชื่อเวอร์ชัน เช่น
2023-09-12-00_RC00เพื่อใช้เวอร์ชันที่เฉพาะเจาะจงของเทมเพลต ซึ่งจะซ้อนอยู่ในโฟลเดอร์หลักที่ลงวันที่ที่เกี่ยวข้องในที่เก็บข้อมูล gs://dataflow-templates-REGION_NAME/
SOURCE_PROJECT_ID: รหัสของโปรเจ็กต์ Google Cloud ต้นทางที่มีฐานข้อมูล Firestore Standard EditionSOURCE_DATABASE_ID: รหัสของฐานข้อมูล Cloud Firestore ต้นทางDESTINATION_PROJECT_ID: รหัสของโปรเจ็กต์ Google Cloud ปลายทางสำหรับฐานข้อมูล Cloud Firestore ใหม่DESTINATION_DATABASE_ID: รหัสของฐานข้อมูล Cloud Firestore ปลายทางREAD_TIME: การประทับเวลาเพื่ออ่านข้อมูลจากฐานข้อมูลต้นทาง ตั้งค่าเป็นการประทับเวลาในรูปแบบ RFC 3339 โดยมีความละเอียดระดับนาที เช่น2026-05-15T16:31:00.00Zการประทับเวลาที่ถูกต้องที่เร็วที่สุดจะขึ้นอยู่กับการตั้งค่าการกู้คืนช่วงเวลา (PITR) โปรดดูหัวข้อรับเวลาของเวอร์ชันแรกสุด
ย้ายข้อมูลกลุ่มคอลเล็กชันที่ระบุ
หากต้องการย้ายข้อมูลเฉพาะกลุ่มคอลเล็กชันบางกลุ่ม ให้ใช้คำสั่งต่อไปนี้
gcloud dataflow jobs run "JOB_NAME" \ --project "PROJECT" \ --gcs-location gs://dataflow-templates-REGION_NAME/VERSION/Cloud_Firestore_to_Firestore \ --region REGION_NAME \ --parameters "sourceProjectId=SOURCE_PROJECT_ID" \ --parameters "sourceDatabaseId=SOURCE_DATABASE_ID" \ --parameters "collectionGroupIds=COLLECTION_GROUP_IDS" \ --parameters "destinationProjectId=DESTINATION_PROJECT_ID" \ --parameters "destinationDatabaseId=DESTINATION_DATABASE_ID" \ --parameters "readTime=READ_TIME"
แทนที่ค่าต่อไปนี้
JOB_NAME: ชื่อของงานPROJECT: รหัสของโปรเจ็กต์ Google CloudREGION_NAME: ตำแหน่ง Google Cloud ที่ต้องการเรียกใช้งาน Dataflow ใช้ตำแหน่งที่อยู่ใกล้กับฐานข้อมูลของคุณVERSION: เวอร์ชันของเทมเพลตที่ต้องการใช้ คุณใช้ค่าต่อไปนี้ได้latestเพื่อใช้เทมเพลตเวอร์ชันล่าสุด ซึ่งอยู่ในโฟลเดอร์หลักที่ไม่มีวันที่ในที่เก็บข้อมูล gs://dataflow-templates-REGION_NAME/latest/- ชื่อเวอร์ชัน เช่น
2023-09-12-00_RC00เพื่อใช้เทมเพลตเวอร์ชันที่เฉพาะเจาะจง ซึ่งจะซ้อนอยู่ในโฟลเดอร์หลักที่ลงวันที่ตามลำดับในที่เก็บข้อมูล gs://dataflow-templates-REGION_NAME/
SOURCE_PROJECT_ID: รหัสของโปรเจ็กต์ Google Cloud ต้นทางที่มีฐานข้อมูล Firestore Standard EditionSOURCE_DATABASE_ID: รหัสของฐานข้อมูล Cloud Firestore ต้นทางCOLLECTION_GROUP_IDS: รายการรหัสกลุ่มคอลเล็กชันที่คั่นด้วยคอมมาที่จะย้ายข้อมูลแต่จะไม่รวมคอลเล็กชันย่อยซ้ำ ตัวอย่างเช่น หากคุณระบุกลุ่มคอลเล็กชัน
usersการย้ายข้อมูลจะไม่รวมคอลเล็กชันย่อยmessagesที่/users/userid/messagesเว้นแต่คุณจะระบุกลุ่มคอลเล็กชันmessagesด้วยDESTINATION_PROJECT_ID: รหัสของโปรเจ็กต์ Google Cloud ปลายทางสำหรับฐานข้อมูล Cloud Firestore ใหม่DESTINATION_DATABASE_ID: รหัสของฐานข้อมูล Cloud Firestore ปลายทางREAD_TIME: การประทับเวลาเพื่ออ่านข้อมูลจากฐานข้อมูลต้นทาง ตั้งค่าเป็นการประทับเวลาในรูปแบบ RFC 3339 โดยมีความละเอียดระดับนาที เช่น2026-05-15T16:31:00.00Zการประทับเวลาที่ถูกต้องที่เร็วที่สุดจะขึ้นอยู่กับการตั้งค่าการกู้คืนช่วงเวลา (PITR) โปรดดูหัวข้อรับเวลาของเวอร์ชันแรกสุด
3. กำหนดค่าฐานข้อมูล
งาน firestore-to-firestore จะย้ายข้อมูลเท่านั้น
ระบบจะไม่ย้ายข้อมูลดัชนีและการตั้งค่าฐานข้อมูลอื่นๆ นอกจากการย้ายข้อมูลแล้ว ให้พิจารณากำหนดค่าต่อไปนี้ในฐานข้อมูลใหม่
ดัชนี: ฐานข้อมูล Firestore รุ่น Enterprise ไม่จำเป็นต้องใช้ดัชนีเพื่อเรียกใช้การค้นหาอย่างเคร่งครัด และจะไม่สร้างดัชนีอัตโนมัติโดยค่าเริ่มต้น ดูวิธีสร้างดัชนีสำหรับการค้นหาได้ที่หัวข้อต่อไปนี้
- ภาพรวมดัชนี Firestore Enterprise Edition
- เพิ่มประสิทธิภาพการค้นหาด้วยดัชนี
- คุณสามารถใช้ Firebase CLI เพื่อส่งออกดัชนีและทำให้ใช้งานได้ในฐานข้อมูลใหม่
- ใช้ข้อมูลเชิงลึกเกี่ยวกับการค้นหาเพื่อระบุการค้นหาที่คุณสามารถเพิ่มประสิทธิภาพด้วยดัชนีได้
TTL: สร้างนโยบาย TTL
การสำรองข้อมูล: ตั้งค่าการสำรองข้อมูล
PITR: เปิดใช้ PITR
หลังจากกำหนดค่าฐานข้อมูลแล้ว คุณจะทดสอบแอปด้วยฐานข้อมูลใหม่ต่อได้ หากต้องการย้ายข้อมูลให้เสร็จสมบูรณ์ ให้อัปเดตแอปพลิเคชันเพื่อใช้ฐานข้อมูลใหม่
การแก้ปัญหา
สำหรับฐานข้อมูลขนาดใหญ่ งานอาจล้มเหลวหากอ่านข้อมูลมากเกินไปในครั้งเดียว วิธีแก้ไขปัญหานี้
ขั้นตอนถัดไป
- ดูข้อมูลเกี่ยวกับการค้นหาข้อมูลด้วยการดำเนินการไปป์ไลน์
- ดูวิธีเพิ่มประสิทธิภาพการค้นหาใน Firestore รุ่น Enterprise
- ทำความเข้าใจวิธีที่ฐานข้อมูลรุ่น Enterprise ปรับขนาด