ย้ายข้อมูลจากรุ่น Standard ไปยังรุ่น Enterprise

หากต้องการย้ายข้อมูลจากฐานข้อมูล Firestore รุ่น Standard ไปยังฐานข้อมูล Firestore รุ่น Enterprise เราขอแนะนำให้ใช้ตัวเลือกใดตัวเลือกหนึ่งต่อไปนี้

  • ฟีเจอร์นำเข้าและส่งออก ไฟล์ข้อมูลจากการดำเนินการนำเข้าจะใช้ได้กับทั้งรุ่น Enterprise และรุ่น Standard

  • เทมเพลต Dataflow ของ firestore-to-firestore บริการ Dataflow ช่วยให้คุณสร้าง Data Pipeline ได้ และเทมเพลต firestore-to-firestore จะสร้างไปป์ไลน์แบบกลุ่มระหว่างฐานข้อมูล Cloud Firestore

การนำเข้าและส่งออกเป็นตัวเลือกที่ง่ายกว่าในการเรียกใช้โดยมีตัวเลือกการกำหนดค่าน้อยกว่า

เทมเพลต Dataflow ปรับแต่งได้มากกว่า คุณสามารถขยายโค้ดเทมเพลตเพื่อทำการย้ายข้อมูลบางส่วนหรือเปลี่ยนรูปแบบข้อมูลได้ นอกจากนี้ คุณยังควบคุมจำนวนและขนาดของเวิร์กเกอร์ได้ด้วย

ทั้ง 2 ตัวเลือกนี้รองรับการย้ายข้อมูลข้ามโปรเจ็กต์และภูมิภาค

ย้ายข้อมูลด้วยการส่งออกและนำเข้า

หากต้องการย้ายข้อมูลด้วยการดำเนินการส่งออกและนำเข้า โปรดดูหัวข้อส่งออกและนำเข้าข้อมูล หากต้องการย้ายข้อมูลไปยังฐานข้อมูลในโปรเจ็กต์อื่น โปรดดูหัวข้อย้ายข้อมูลระหว่างโปรเจ็กต์

ย้ายข้อมูลด้วยเทมเพลต Dataflow

ทำตามวิธีการต่อไปนี้เพื่อย้ายข้อมูลด้วยเทมเพลต firestore-to-firestore Dataflow

ก่อนเริ่มต้น

  1. ก่อนเริ่มการย้ายข้อมูล ให้ตรวจสอบว่าได้เปิดใช้การกู้คืนช่วงเวลา (PITR) ในฐานข้อมูลต้นทางแล้ว งาน Dataflow ใช้ PITR เพื่ออ่านข้อมูลที่การประทับเวลา PITR หากปิดใช้ PITR งานจะดำเนินการไม่สำเร็จหากใช้เวลานานกว่า 1 ชั่วโมง

  2. ต้องเปิดใช้ datastore.googleapis.com API เพื่อใช้เทมเพลตนี้

  3. มอบหมายบทบาทที่จำเป็นตามที่อธิบายไว้ในส่วนถัดไป

บทบาทที่จำเป็น

หากต้องการย้ายข้อมูลจากฐานข้อมูลหนึ่งไปยังอีกฐานข้อมูลหนึ่ง ให้มอบหมายบทบาทต่อไปนี้ นอกจากนี้ คุณยังรับสิทธิ์ที่จำเป็นผ่านบทบาทที่กำหนดเองหรือบทบาทอื่นๆ ที่กำหนดไว้ล่วงหน้าได้ด้วย ดังนี้

  1. หากต้องการรับสิทธิ์ที่จำเป็นในการสร้างฐานข้อมูลใหม่และเข้าถึงข้อมูล Cloud Firestore โปรดขอให้ผู้ดูแลระบบมอบบทบาท Identity and Access Management (IAM) เป็นเจ้าของ Cloud Datastore (roles/datastore.owner) ในโปรเจ็กต์ของคุณ
  2. หากต้องการให้งาน Dataflow มีสิทธิ์อ่านและเขียนในฐานข้อมูล Cloud Firestore ให้มอบหมายบัญชีบริการของผู้ปฏิบัติงาน Dataflow (เช่น PROJECT_NUMBER-compute@) เป็นบทบาท IAM ผู้ใช้ Cloud Datastore (roles/datastore.user) ในโปรเจ็กต์

    ดูข้อมูลเพิ่มเติมเกี่ยวกับความปลอดภัยของ Dataflow ได้ที่หัวข้อความปลอดภัยและสิทธิ์ของ Dataflow

ดูข้อมูลเพิ่มเติมเกี่ยวกับการให้บทบาท IAM ได้ที่หัวข้อจัดการการเข้าถึงโปรเจ็กต์ โฟลเดอร์ และองค์กร

1. สร้างฐานข้อมูล Firestore รุ่น Enterprise ใหม่

หากต้องการย้ายข้อมูลจากฐานข้อมูลรุ่น Standard ไปยังฐานข้อมูลรุ่น Enterprise คุณต้องสร้างฐานข้อมูลปลายทางรุ่น Enterprise ก่อน ดูหัวข้อสร้างฐานข้อมูล

2. เรียกใช้เทมเพลต Dataflow firestore-to-firestore

กำหนดค่าและเรียกใช้งาน Dataflow ด้วยเทมเพลต firestore-to-firestore เทมเพลตรองรับการย้ายข้อมูลทั้งฐานข้อมูลหรือเฉพาะกลุ่มคอลเล็กชันที่ระบุ

ข้อจำกัด

โปรดพิจารณาข้อจำกัดต่อไปนี้สำหรับเทมเพลต firestore-to-firestore Dataflow

  • ฐานข้อมูลต้นทางต้องเป็นฐานข้อมูลรุ่น Standard
  • การย้ายข้อมูลจะอ่านข้อมูล ณ เวลาอ่านที่เฉพาะเจาะจง เราขอแนะนำให้เปิดใช้การกู้คืนช่วงเวลา (PITR) ในฐานข้อมูลต้นทาง หากไม่ได้เปิดใช้ PITR ข้อมูลจะหมดอายุหลังจากผ่านไป 1 ชั่วโมง และอาจมีเวลาไม่เพียงพอสำหรับการย้ายข้อมูลให้เสร็จสมบูรณ์ PITR จะขยายการเก็บรักษาข้อมูลเป็น 7 วัน
  • ระบบจะไม่ย้ายข้อมูลดัชนี
  • งาน Dataflow จะไม่ย้ายข้อมูลการกำหนดค่าฐานข้อมูล เช่น นโยบายอายุการใช้งาน (TTL), ข้อมูลสำรอง, PITR และคีย์การเข้ารหัสที่จัดการโดยลูกค้า (CMEK)

    คุณต้องกำหนดการตั้งค่าเหล่านี้ในฐานข้อมูลใหม่ หากต้องการเพิ่มความเร็วในการย้ายข้อมูล ให้รอจนกว่าการย้ายข้อมูลจะเสร็จสิ้นจึงค่อยกำหนดค่า TTL, ข้อมูลสำรอง และ PITR ในฐานข้อมูลปลายทาง

ตัวอย่างต่อไปนี้แสดงวิธีเรียกใช้เทมเพลตโดยใช้ Google Cloud CLI

ย้ายข้อมูลทั้งหมด

หากต้องการย้ายข้อมูลทั้งหมด ให้ใช้คำสั่งต่อไปนี้

gcloud dataflow flex-template run "JOB_NAME" \
  --project "PROJECT" \
  --template-file-gcs-location gs://dataflow-templates-REGION_NAME/VERSION/flex/Cloud_Firestore_to_Firestore \
  --region REGION_NAME \
  --parameters "sourceProjectId=SOURCE_PROJECT_ID" \
  --parameters "sourceDatabaseId=SOURCE_DATABASE_ID" \
  --parameters "destinationProjectId=DESTINATION_PROJECT_ID" \
  --parameters "destinationDatabaseId=DESTINATION_DATABASE_ID" \
  --parameters "readTime=READ_TIME"

แทนที่ค่าต่อไปนี้

  • JOB_NAME: ชื่อของงาน
  • PROJECT: รหัสของโปรเจ็กต์ Google Cloud
  • REGION_NAME: ตำแหน่ง Google Cloud ที่ต้องการเรียกใช้งาน Dataflow ใช้ตำแหน่งที่อยู่ใกล้กับฐานข้อมูลของคุณ
  • VERSION: เวอร์ชันของเทมเพลตที่ต้องการใช้ คุณใช้ค่าต่อไปนี้ได้

    • latestเพื่อใช้เทมเพลตเวอร์ชันล่าสุด ซึ่งมีอยู่ในโฟลเดอร์หลักที่ไม่มีวันที่ในที่เก็บข้อมูล gs://dataflow-templates-REGION_NAME/latest/
    • ชื่อเวอร์ชัน เช่น 2023-09-12-00_RC00 เพื่อใช้เวอร์ชันที่เฉพาะเจาะจงของเทมเพลต ซึ่งจะซ้อนอยู่ในโฟลเดอร์หลักที่ลงวันที่ที่เกี่ยวข้องในที่เก็บข้อมูล gs://dataflow-templates-REGION_NAME/
  • SOURCE_PROJECT_ID: รหัสของโปรเจ็กต์ Google Cloud ต้นทางที่มีฐานข้อมูล Firestore Standard Edition

  • SOURCE_DATABASE_ID: รหัสของฐานข้อมูล Cloud Firestore ต้นทาง

  • DESTINATION_PROJECT_ID: รหัสของโปรเจ็กต์ Google Cloud ปลายทางสำหรับฐานข้อมูล Cloud Firestore ใหม่

  • DESTINATION_DATABASE_ID: รหัสของฐานข้อมูล Cloud Firestore ปลายทาง

  • READ_TIME: การประทับเวลาเพื่ออ่านข้อมูลจากฐานข้อมูลต้นทาง ตั้งค่าเป็นการประทับเวลาในรูปแบบ RFC 3339 โดยมีความละเอียดระดับนาที เช่น 2026-05-15T16:31:00.00Z

    การประทับเวลาที่ถูกต้องที่เร็วที่สุดจะขึ้นอยู่กับการตั้งค่าการกู้คืนช่วงเวลา (PITR) โปรดดูหัวข้อรับเวลาของเวอร์ชันแรกสุด

ย้ายข้อมูลกลุ่มคอลเล็กชันที่ระบุ

หากต้องการย้ายข้อมูลเฉพาะกลุ่มคอลเล็กชันบางกลุ่ม ให้ใช้คำสั่งต่อไปนี้

gcloud dataflow jobs run "JOB_NAME" \
  --project "PROJECT" \
  --gcs-location gs://dataflow-templates-REGION_NAME/VERSION/Cloud_Firestore_to_Firestore \
  --region REGION_NAME \
  --parameters "sourceProjectId=SOURCE_PROJECT_ID" \
  --parameters "sourceDatabaseId=SOURCE_DATABASE_ID" \
  --parameters "collectionGroupIds=COLLECTION_GROUP_IDS" \
  --parameters "destinationProjectId=DESTINATION_PROJECT_ID" \
  --parameters "destinationDatabaseId=DESTINATION_DATABASE_ID" \
  --parameters "readTime=READ_TIME"

แทนที่ค่าต่อไปนี้

  • JOB_NAME: ชื่อของงาน
  • PROJECT: รหัสของโปรเจ็กต์ Google Cloud
  • REGION_NAME: ตำแหน่ง Google Cloud ที่ต้องการเรียกใช้งาน Dataflow ใช้ตำแหน่งที่อยู่ใกล้กับฐานข้อมูลของคุณ
  • VERSION: เวอร์ชันของเทมเพลตที่ต้องการใช้ คุณใช้ค่าต่อไปนี้ได้

    • latestเพื่อใช้เทมเพลตเวอร์ชันล่าสุด ซึ่งอยู่ในโฟลเดอร์หลักที่ไม่มีวันที่ในที่เก็บข้อมูล gs://dataflow-templates-REGION_NAME/latest/
    • ชื่อเวอร์ชัน เช่น 2023-09-12-00_RC00 เพื่อใช้เทมเพลตเวอร์ชันที่เฉพาะเจาะจง ซึ่งจะซ้อนอยู่ในโฟลเดอร์หลักที่ลงวันที่ตามลำดับในที่เก็บข้อมูล gs://dataflow-templates-REGION_NAME/
  • SOURCE_PROJECT_ID: รหัสของโปรเจ็กต์ Google Cloud ต้นทางที่มีฐานข้อมูล Firestore Standard Edition

  • SOURCE_DATABASE_ID: รหัสของฐานข้อมูล Cloud Firestore ต้นทาง

  • COLLECTION_GROUP_IDS: รายการรหัสกลุ่มคอลเล็กชันที่คั่นด้วยคอมมาที่จะย้ายข้อมูล

    แต่จะไม่รวมคอลเล็กชันย่อยซ้ำ ตัวอย่างเช่น หากคุณระบุกลุ่มคอลเล็กชัน users การย้ายข้อมูลจะไม่รวมคอลเล็กชันย่อย messages ที่ /users/userid/messages เว้นแต่คุณจะระบุกลุ่มคอลเล็กชัน messages ด้วย

  • DESTINATION_PROJECT_ID: รหัสของโปรเจ็กต์ Google Cloud ปลายทางสำหรับฐานข้อมูล Cloud Firestore ใหม่

  • DESTINATION_DATABASE_ID: รหัสของฐานข้อมูล Cloud Firestore ปลายทาง

  • READ_TIME: การประทับเวลาเพื่ออ่านข้อมูลจากฐานข้อมูลต้นทาง ตั้งค่าเป็นการประทับเวลาในรูปแบบ RFC 3339 โดยมีความละเอียดระดับนาที เช่น 2026-05-15T16:31:00.00Z

    การประทับเวลาที่ถูกต้องที่เร็วที่สุดจะขึ้นอยู่กับการตั้งค่าการกู้คืนช่วงเวลา (PITR) โปรดดูหัวข้อรับเวลาของเวอร์ชันแรกสุด

3. กำหนดค่าฐานข้อมูล

งาน firestore-to-firestore จะย้ายข้อมูลเท่านั้น ระบบจะไม่ย้ายข้อมูลดัชนีและการตั้งค่าฐานข้อมูลอื่นๆ นอกจากการย้ายข้อมูลแล้ว ให้พิจารณากำหนดค่าต่อไปนี้ในฐานข้อมูลใหม่

หลังจากกำหนดค่าฐานข้อมูลแล้ว คุณจะทดสอบแอปด้วยฐานข้อมูลใหม่ต่อได้ หากต้องการย้ายข้อมูลให้เสร็จสมบูรณ์ ให้อัปเดตแอปพลิเคชันเพื่อใช้ฐานข้อมูลใหม่

การแก้ปัญหา

สำหรับฐานข้อมูลขนาดใหญ่ งานอาจล้มเหลวหากอ่านข้อมูลมากเกินไปในครั้งเดียว วิธีแก้ไขปัญหานี้

ขั้นตอนถัดไป