Để di chuyển dữ liệu từ cơ sở dữ liệu Firestore phiên bản Standard sang cơ sở dữ liệu Firestore phiên bản Enterprise, bạn nên sử dụng một trong các lựa chọn sau:
Tính năng nhập và xuất. Các tệp dữ liệu từ thao tác nhập đều tương thích với cả phiên bản Enterprise và phiên bản Standard.
Mẫu
firestore-to-firestoreDataflow. Dịch vụ Dataflow cho phép bạn xây dựng quy trình dữ liệu và mẫufirestore-to-firestoretạo quy trình theo lô giữa các cơ sở dữ liệu Cloud Firestore.
Nhập và xuất là lựa chọn đơn giản hơn để chạy với ít lựa chọn cấu hình hơn.
Mẫu Dataflow dễ tuỳ chỉnh hơn. Bạn có thể mở rộng mã mẫu để thực hiện di chuyển một phần hoặc chuyển đổi dữ liệu. Bạn cũng có thể kiểm soát số lượng và kích thước của worker.
Cả hai lựa chọn đều hỗ trợ di chuyển giữa các dự án và khu vực.
Di chuyển dữ liệu bằng cách xuất và nhập
Để di chuyển dữ liệu bằng các thao tác xuất và nhập, hãy xem phần Xuất và nhập dữ liệu. Để di chuyển dữ liệu sang cơ sở dữ liệu trong một dự án khác, hãy xem bài viết Di chuyển dữ liệu giữa các dự án.
Di chuyển dữ liệu bằng mẫu Dataflow
Hãy làm theo hướng dẫn sau để di chuyển dữ liệu bằng mẫu firestore-to-firestore Dataflow.
Trước khi bắt đầu
Trước khi bắt đầu di chuyển dữ liệu, hãy đảm bảo rằng bạn đã bật tính năng khôi phục tại thời điểm cụ thể (PITR) trên cơ sở dữ liệu nguồn. Công việc Dataflow sử dụng PITR để đọc dữ liệu tại một dấu thời gian PITR. Nếu bạn tắt tính năng PITR, thì công việc sẽ không thành công nếu chạy lâu hơn một giờ.
Bạn phải bật
datastore.googleapis.comAPI để sử dụng mẫu này.Chỉ định các vai trò bắt buộc được mô tả trong phần tiếp theo.
Vai trò bắt buộc
Để di chuyển dữ liệu từ cơ sở dữ liệu này sang cơ sở dữ liệu khác, hãy chỉ định các vai trò sau. Bạn cũng có thể nhận được các quyền cần thiết thông qua vai trò tuỳ chỉnh hoặc các vai trò được xác định trước khác:
- Để có được các quyền cần thiết để tạo cơ sở dữ liệu mới và truy cập vào dữ liệu Cloud Firestore, hãy yêu cầu quản trị viên cấp cho bạn vai trò Quản lý danh tính và quyền truy cập (IAM) Chủ sở hữu Cloud Datastore (
roles/datastore.owner) trong dự án của bạn. -
Để cấp cho công việc Dataflow quyền đọc và ghi vào cơ sở dữ liệu Cloud Firestore, hãy chỉ định tài khoản dịch vụ của trình thực thi Dataflow (ví dụ:
PROJECT_NUMBER-compute@) cho vai trò IAM Người dùng Cloud Datastore (roles/datastore.user) trong dự án của bạn.Để biết thêm thông tin về bảo mật Dataflow, hãy xem phần bảo mật và quyền Dataflow.
Để biết thêm thông tin về cách cấp vai trò IAM, hãy xem bài viết Quản lý quyền truy cập vào dự án, thư mục và tổ chức.
1. Tạo cơ sở dữ liệu Firestore Enterprise mới
Để di chuyển dữ liệu từ cơ sở dữ liệu phiên bản Standard sang cơ sở dữ liệu phiên bản Enterprise, trước tiên, bạn phải tạo cơ sở dữ liệu đích phiên bản Enterprise. Xem phần Tạo cơ sở dữ liệu.
2. Chạy mẫu Dataflow firestore-to-firestore
Định cấu hình và chạy công việc Dataflow bằng mẫu firestore-to-firestore.
Mẫu này hỗ trợ di chuyển toàn bộ cơ sở dữ liệu hoặc chỉ các nhóm tập hợp được chỉ định.
Hạn chế
Hãy xem xét các giới hạn sau đây đối với mẫu firestore-to-firestore
Dataflow:
- Cơ sở dữ liệu nguồn phải là cơ sở dữ liệu phiên bản Standard.
- Quá trình di chuyển sẽ đọc dữ liệu tại một thời điểm đọc cụ thể. Bạn nên bật tính năng khôi phục tại thời điểm (PITR) trong cơ sở dữ liệu nguồn. Nếu bạn không bật tính năng PITR, dữ liệu sẽ hết hạn sau một giờ và thời gian đó có thể không đủ để hoàn tất quá trình di chuyển dữ liệu. PITR kéo dài thời gian giữ lại dữ liệu lên 7 ngày.
- Chỉ mục không được di chuyển.
Công việc Dataflow không di chuyển các cấu hình cơ sở dữ liệu như chính sách về thời gian tồn tại (TTL), bản sao lưu, PITR và khoá mã hoá do khách hàng quản lý (CMEK).
Bạn phải định cấu hình các chế độ cài đặt này trên cơ sở dữ liệu mới. Để cải thiện tốc độ di chuyển dữ liệu, hãy đợi cho đến khi quá trình di chuyển hoàn tất rồi mới định cấu hình TTL, sao lưu và PITR trên cơ sở dữ liệu đích.
Các ví dụ sau đây minh hoạ cách chạy mẫu bằng Google Cloud CLI.
Di chuyển tất cả dữ liệu
Để di chuyển tất cả dữ liệu, hãy sử dụng lệnh sau:
gcloud dataflow flex-template run "JOB_NAME" \ --project "PROJECT" \ --template-file-gcs-location gs://dataflow-templates-REGION_NAME/VERSION/flex/Cloud_Firestore_to_Firestore \ --region REGION_NAME \ --parameters "sourceProjectId=SOURCE_PROJECT_ID" \ --parameters "sourceDatabaseId=SOURCE_DATABASE_ID" \ --parameters "destinationProjectId=DESTINATION_PROJECT_ID" \ --parameters "destinationDatabaseId=DESTINATION_DATABASE_ID" \ --parameters "readTime=READ_TIME"
Thay thế nội dung sau:
JOB_NAME: tên cho công việc.PROJECT: mã nhận dạng của dự án Google Cloud.REGION_NAME: vị trí Google Cloud nơi bạn muốn chạy công việc Dataflow. Sử dụng một vị trí gần cơ sở dữ liệu của bạn.VERSION: phiên bản mẫu mà bạn muốn sử dụng. Bạn có thể sử dụng các giá trị sau:latestđể sử dụng phiên bản mới nhất của mẫu, có trong thư mục mẹ không ghi ngày trong bộ chứa — gs://dataflow-templates-REGION_NAME/latest/- tên phiên bản, chẳng hạn như
2023-09-12-00_RC00, để sử dụng một phiên bản cụ thể của mẫu. Bạn có thể tìm thấy phiên bản này trong thư mục mẹ tương ứng theo ngày trong bộ chứa – gs://dataflow-templates-REGION_NAME/
SOURCE_PROJECT_ID: mã nhận dạng của dự án Google Cloud nguồn chứa cơ sở dữ liệu Firestore phiên bản Standard.SOURCE_DATABASE_ID: mã nhận dạng của cơ sở dữ liệu Cloud Firestore nguồn.DESTINATION_PROJECT_ID: mã nhận dạng của dự án Google Cloud đích cho cơ sở dữ liệu Cloud Firestore mới.DESTINATION_DATABASE_ID: mã nhận dạng của cơ sở dữ liệu Cloud Firestore đích.READ_TIME: dấu thời gian để đọc dữ liệu từ cơ sở dữ liệu nguồn. Đặt thành dấu thời gian theo định dạng RFC 3339, ở mức độ chi tiết theo phút, chẳng hạn như2026-05-15T16:31:00.00Z.Dấu thời gian hợp lệ sớm nhất phụ thuộc vào chế độ cài đặt khôi phục tại thời điểm cụ thể (PITR). Xem phần Lấy thời gian của phiên bản sớm nhất.
Di chuyển các nhóm bộ sưu tập được chỉ định
Để chỉ di chuyển một số nhóm tập hợp nhất định, hãy sử dụng lệnh sau:
gcloud dataflow jobs run "JOB_NAME" \ --project "PROJECT" \ --gcs-location gs://dataflow-templates-REGION_NAME/VERSION/Cloud_Firestore_to_Firestore \ --region REGION_NAME \ --parameters "sourceProjectId=SOURCE_PROJECT_ID" \ --parameters "sourceDatabaseId=SOURCE_DATABASE_ID" \ --parameters "collectionGroupIds=COLLECTION_GROUP_IDS" \ --parameters "destinationProjectId=DESTINATION_PROJECT_ID" \ --parameters "destinationDatabaseId=DESTINATION_DATABASE_ID" \ --parameters "readTime=READ_TIME"
Thay thế nội dung sau:
JOB_NAME: tên cho công việc.PROJECT: mã nhận dạng của dự án Google Cloud.REGION_NAME: vị trí Google Cloud nơi bạn muốn chạy công việc Dataflow. Sử dụng một vị trí gần cơ sở dữ liệu của bạn.VERSION: phiên bản mẫu mà bạn muốn sử dụng. Bạn có thể sử dụng các giá trị sau:latestđể sử dụng phiên bản mới nhất của mẫu, có trong thư mục mẹ không ghi ngày trong bộ chứa — gs://dataflow-templates-REGION_NAME/latest/- tên phiên bản, chẳng hạn như
2023-09-12-00_RC00, để sử dụng một phiên bản cụ thể của mẫu. Bạn có thể tìm thấy phiên bản này được lồng trong thư mục mẹ tương ứng theo ngày trong bộ chứa – gs://dataflow-templates-REGION_NAME/
SOURCE_PROJECT_ID: mã nhận dạng của dự án Google Cloud nguồn chứa cơ sở dữ liệu Firestore Standard Edition.SOURCE_DATABASE_ID: mã nhận dạng của cơ sở dữ liệu Cloud Firestore nguồn.COLLECTION_GROUP_IDS: danh sách được phân tách bằng dấu phẩy gồm các mã nhóm tập hợp cần di chuyển.Các tập hợp con không được đưa vào theo cách đệ quy. Ví dụ: nếu bạn chỉ định nhóm tập hợp
users, thì quá trình di chuyển sẽ không bao gồm tập hợp conmessagestại/users/userid/messagestrừ phi bạn cũng chỉ định nhóm tập hợpmessages.DESTINATION_PROJECT_ID: mã nhận dạng của dự án Google Cloud đích cho cơ sở dữ liệu Cloud Firestore mới.DESTINATION_DATABASE_ID: mã nhận dạng của cơ sở dữ liệu Cloud Firestore đích.READ_TIME: dấu thời gian để đọc dữ liệu từ cơ sở dữ liệu nguồn. Đặt thành dấu thời gian theo định dạng RFC 3339, ở mức độ chi tiết theo phút, chẳng hạn như2026-05-15T16:31:00.00Z.Dấu thời gian hợp lệ sớm nhất phụ thuộc vào chế độ cài đặt khôi phục tại thời điểm cụ thể (PITR). Xem phần Lấy thời gian của phiên bản sớm nhất.
3. Định cấu hình cơ sở dữ liệu
Tác vụ firestore-to-firestore chỉ di chuyển dữ liệu.
Chỉ mục và các chế độ cài đặt khác của cơ sở dữ liệu không được di chuyển. Ngoài việc di chuyển dữ liệu, hãy cân nhắc việc định cấu hình những mục sau trên cơ sở dữ liệu mới:
Chỉ mục: Cơ sở dữ liệu Firestore Enterprise không bắt buộc phải có chỉ mục để chạy truy vấn và không tạo chỉ mục tự động theo mặc định. Hãy xem phần sau đây để tạo chỉ mục cho truy vấn của bạn:
- Tổng quan về chỉ mục của phiên bản Firestore Enterprise.
- Tối ưu hoá hiệu suất truy vấn bằng chỉ mục.
- Bạn có thể sử dụng CLI Firebase để xuất chỉ mục và triển khai các chỉ mục đó vào cơ sở dữ liệu mới.
- Sử dụng Thông tin chi tiết về truy vấn để xác định những truy vấn mà bạn có thể tối ưu hoá bằng chỉ mục.
TTL: Tạo chính sách TTL.
Sao lưu: Thiết lập tính năng sao lưu.
PITR: Bật PITR.
Sau khi định cấu hình cơ sở dữ liệu, bạn có thể tiếp tục kiểm thử ứng dụng bằng cơ sở dữ liệu mới. Để di chuyển hoàn toàn, hãy cập nhật ứng dụng của bạn để sử dụng cơ sở dữ liệu mới.
Khắc phục sự cố
Đối với cơ sở dữ liệu lớn, công việc có thể không thành công nếu đọc quá nhiều dữ liệu cùng một lúc. Cách giải quyết vấn đề này:
Tăng giá trị
maxNumWorkers.
Bước tiếp theo
- Tìm hiểu về cách truy vấn dữ liệu bằng các thao tác trong quy trình.
- Tìm hiểu cách tối ưu hoá truy vấn trong phiên bản Firestore Enterprise
- Tìm hiểu cách mở rộng cơ sở dữ liệu của phiên bản Enterprise.