Firestore Standard 버전 데이터베이스에서 Firestore Enterprise 버전 데이터베이스로 데이터를 마이그레이션하려면 다음 옵션 중 하나를 사용하는 것이 좋습니다.
가져오기 및 내보내기 기능 가져오기 작업의 데이터 파일은 Enterprise 버전 및 Standard 버전과 모두 호환됩니다.
firestore-to-firestoreDataflow 템플릿 Dataflow 서비스를 사용하면 데이터 파이프라인을 빌드할 수 있으며firestore-to-firestore템플릿은 Cloud Firestore 데이터베이스 간에 일괄 파이프라인을 만듭니다.
가져오기 및 내보내기는 구성 옵션이 적어 더 간단하게 실행할 수 있는 옵션입니다.
Dataflow 템플릿은 더 자유롭게 맞춤설정할 수 있습니다. 템플릿 코드를 확장하여 부분 마이그레이션을 수행하거나 데이터를 변환할 수 있습니다. 작업자 수와 크기를 제어할 수도 있습니다.
두 옵션 모두 프로젝트 및 리전 간 마이그레이션을 지원합니다.
내보내기 및 가져오기를 사용하여 데이터 이전
내보내기 및 가져오기 작업으로 데이터를 마이그레이션하려면 데이터 내보내기 및 가져오기를 참조하세요. 데이터를 다른 프로젝트의 데이터베이스로 이동하려면 프로젝트 간 데이터 이동을 참조하세요.
Dataflow 템플릿을 사용하여 데이터 이전하기
다음 안내에 따라 firestore-to-firestore Dataflow 템플릿을 사용하여 데이터를 마이그레이션합니다.
시작하기 전에
데이터 마이그레이션을 시작하기 전에 소스 데이터베이스에서 PITR(point-in-time recovery)이 사용 설정되어 있는지 확인합니다. Dataflow 작업은 PITR을 사용하여 PITR 타임스탬프에서 데이터를 읽습니다. PITR이 사용 중지된 경우 작업이 1시간 넘게 실행되면 실패합니다.
이 템플릿을 사용하려면
datastore.googleapis.comAPI를 사용 설정해야 합니다.다음 섹션에 설명된 필수 역할을 할당합니다.
필요한 역할
한 데이터베이스에서 다른 데이터베이스로 데이터를 마이그레이션하려면 다음 역할을 할당합니다. 커스텀 역할 또는 다른 사전 정의된 역할을 통해 필요한 권한을 얻을 수도 있습니다.
- 새 데이터베이스를 만들고 Cloud Firestore 데이터에 액세스하는 데 필요한 권한을 얻으려면 관리자에게 프로젝트에 대한 Cloud Datastore 소유자(
roles/datastore.owner) Identity and Access Management(IAM) 역할을 부여해 달라고 요청하세요. -
Dataflow 작업에 Cloud Firestore 데이터베이스에 대한 읽기 및 쓰기 액세스 권한을 부여하려면 Dataflow 작업자 서비스 계정(예:
PROJECT_NUMBER-compute@)에 프로젝트에 대한 Cloud Datastore 사용자(roles/datastore.user) IAM 역할을 할당합니다.Dataflow 보안에 대한 자세한 내용은 Dataflow 보안 및 권한을 참조하세요.
IAM 역할 부여에 대한 자세한 내용은 프로젝트, 폴더, 조직에 대한 액세스 관리를 참조하세요.
1. 새 Firestore Enterprise 버전 데이터베이스 만들기
Standard 버전 데이터베이스에서 Enterprise 버전 데이터베이스로 데이터를 마이그레이션하려면 먼저 Enterprise 버전 대상 데이터베이스를 만들어야 합니다. 데이터베이스 만들기를 참조하세요.
2. Dataflow firestore-to-firestore 템플릿 실행
firestore-to-firestore 템플릿을 사용하여 Dataflow 작업을 구성하고 실행합니다.
템플릿은 전체 데이터베이스 또는 지정된 컬렉션 그룹만 마이그레이션하는 것을 지원합니다.
제한사항
firestore-to-firestore Dataflow 템플릿에는 다음과 같은 제한사항이 있습니다.
- 소스 데이터베이스는 Standard 버전 데이터베이스여야 합니다.
- 마이그레이션은 특정 읽기 시간에 데이터를 읽습니다. 소스 데이터베이스에서 PITR(point-in-time recovery)을 사용 설정하는 것이 좋습니다. PITR이 사용 설정되지 않으면 데이터가 1시간 후에 만료되며 데이터 마이그레이션을 완료하기에 충분한 시간이 아닐 수 있습니다. PITR은 데이터 보관 기간을 7일로 연장합니다.
- 색인은 이전되지 않습니다.
Dataflow 작업은 TTL(수명) 정책, 백업, PITR, 고객 관리 암호화 키(CMEK)와 같은 데이터베이스 구성을 마이그레이션하지 않습니다.
새 데이터베이스에서 이러한 설정을 구성해야 합니다. 데이터 마이그레이션 속도를 높이려면 마이그레이션이 완료될 때까지 기다린 후 대상 데이터베이스에서 TTL, 백업, PITR을 구성합니다.
다음 예시에서는 Google Cloud CLI를 사용하여 템플릿을 실행하는 방법을 보여줍니다.
모든 데이터 이전
모든 데이터를 이전하려면 다음 명령어를 사용합니다.
gcloud dataflow flex-template run "JOB_NAME" \ --project "PROJECT" \ --template-file-gcs-location gs://dataflow-templates-REGION_NAME/VERSION/flex/Cloud_Firestore_to_Firestore \ --region REGION_NAME \ --parameters "sourceProjectId=SOURCE_PROJECT_ID" \ --parameters "sourceDatabaseId=SOURCE_DATABASE_ID" \ --parameters "destinationProjectId=DESTINATION_PROJECT_ID" \ --parameters "destinationDatabaseId=DESTINATION_DATABASE_ID" \ --parameters "readTime=READ_TIME"
다음을 바꿉니다.
JOB_NAME: 작업 이름.PROJECT: Google Cloud 프로젝트의 ID입니다.REGION_NAME: Dataflow 작업을 실행할 Google Cloud 위치입니다. 데이터베이스와 가까운 위치를 사용합니다.VERSION: 사용할 템플릿 버전입니다. 다음 값을 사용할 수 있습니다.latest: 버킷의 날짜가 지정되지 않은 상위 폴더(gs://dataflow-templates-REGION_NAME/latest/)에서 사용할 수 있는 최신 버전의 템플릿을 사용합니다.- 버전 이름(예:
2023-09-12-00_RC00): 버킷의 날짜가 지정된 해당 상위 폴더(gs://dataflow-templates-REGION_NAME/)에 중첩되어 있는 특정 버전의 템플릿을 사용합니다.
SOURCE_PROJECT_ID: Firestore Standard 버전 데이터베이스가 포함된 소스 Google Cloud 프로젝트의 ID입니다.SOURCE_DATABASE_ID: 소스 Cloud Firestore 데이터베이스의 ID입니다.DESTINATION_PROJECT_ID: 새 Cloud Firestore 데이터베이스의 대상 Google Cloud 프로젝트 ID입니다.DESTINATION_DATABASE_ID: 대상 Cloud Firestore 데이터베이스의 ID입니다.READ_TIME: 소스 데이터베이스에서 데이터를 읽을 타임스탬프입니다. RFC 3339 형식의 타임스탬프로 설정합니다(분 단위, 예:2026-05-15T16:31:00.00Z).가장 이른 유효한 타임스탬프는 PITR(point-in-time recovery) 설정에 따라 달라집니다. 가장 초기 버전 시간 가져오기를 참조하세요.
지정된 컬렉션 그룹 마이그레이션
특정 컬렉션 그룹만 마이그레이션하려면 다음 명령어를 사용합니다.
gcloud dataflow jobs run "JOB_NAME" \ --project "PROJECT" \ --gcs-location gs://dataflow-templates-REGION_NAME/VERSION/Cloud_Firestore_to_Firestore \ --region REGION_NAME \ --parameters "sourceProjectId=SOURCE_PROJECT_ID" \ --parameters "sourceDatabaseId=SOURCE_DATABASE_ID" \ --parameters "collectionGroupIds=COLLECTION_GROUP_IDS" \ --parameters "destinationProjectId=DESTINATION_PROJECT_ID" \ --parameters "destinationDatabaseId=DESTINATION_DATABASE_ID" \ --parameters "readTime=READ_TIME"
다음을 바꿉니다.
JOB_NAME: 작업 이름.PROJECT: Google Cloud 프로젝트의 ID입니다.REGION_NAME: Dataflow 작업을 실행할 Google Cloud 위치입니다. 데이터베이스와 가까운 위치를 사용합니다.VERSION: 사용할 템플릿 버전입니다. 다음 값을 사용할 수 있습니다.latest: 버킷의 날짜가 지정되지 않은 상위 폴더(gs://dataflow-templates-REGION_NAME/latest/)에서 사용할 수 있는 최신 버전의 템플릿을 사용합니다.- 버전 이름(예:
2023-09-12-00_RC00): 버킷의 날짜가 지정된 해당 상위 폴더(gs://dataflow-templates-REGION_NAME/)에 중첩되어 있는 특정 버전의 템플릿을 사용합니다.
SOURCE_PROJECT_ID: Firestore Standard 버전 데이터베이스가 포함된 소스 Google Cloud 프로젝트의 ID입니다.SOURCE_DATABASE_ID: 소스 Cloud Firestore 데이터베이스의 ID입니다.COLLECTION_GROUP_IDS: 마이그레이션할 컬렉션 그룹 ID의 쉼표로 구분된 목록입니다.하위 컬렉션은 재귀적으로 포함되지 않습니다. 예를 들어
users컬렉션 그룹을 지정하면messages컬렉션 그룹도 지정하지 않는 한 마이그레이션에/users/userid/messages의messages하위 컬렉션이 포함되지 않습니다.DESTINATION_PROJECT_ID: 새 Cloud Firestore 데이터베이스의 대상 Google Cloud 프로젝트 ID입니다.DESTINATION_DATABASE_ID: 대상 Cloud Firestore 데이터베이스의 ID입니다.READ_TIME: 소스 데이터베이스에서 데이터를 읽을 타임스탬프입니다. RFC 3339 형식의 타임스탬프로 설정합니다(분 단위, 예:2026-05-15T16:31:00.00Z).가장 이른 유효한 타임스탬프는 PITR(point-in-time recovery) 설정에 따라 달라집니다. 가장 초기 버전 시간 가져오기를 참조하세요.
3. 데이터베이스 구성
firestore-to-firestore 작업은 데이터만 마이그레이션합니다.
색인 및 기타 데이터베이스 설정은 이전되지 않습니다. 데이터를 마이그레이션하는 것 외에도 새 데이터베이스에서 다음을 구성하는 것이 좋습니다.
색인: Firestore Enterprise 버전 데이터베이스는 쿼리를 실행하는 데 색인이 반드시 필요하지 않으며 기본적으로 자동 색인을 생성하지 않습니다. 쿼리 색인을 만들려면 다음을 참조하세요.
- Firestore Enterprise 버전 색인 개요
- 색인으로 쿼리 성능 최적화
- Firebase CLI를 사용하여 색인을 내보내고 새 데이터베이스에 배포할 수 있습니다.
- 쿼리 통계를 사용하여 색인으로 최적화할 수 있는 쿼리를 식별합니다.
TTL: TTL 정책을 만듭니다.
백업: 백업을 설정합니다.
PITR: PITR을 사용 설정합니다.
데이터베이스를 구성한 후 새 데이터베이스로 앱을 계속 테스트할 수 있습니다. 마이그레이션을 완료하려면 새 데이터베이스를 사용하도록 애플리케이션을 업데이트합니다.
문제 해결
대규모 데이터베이스의 경우 한 번에 너무 많은 데이터를 읽으면 작업이 실패할 수 있습니다. 이 문제를 해결하려면 다음 안내를 따르세요.
maxNumWorkers값을 늘립니다.
다음 단계
- 파이프라인 작업으로 데이터를 쿼리하는 방법 알아보기
- Firestore Enterprise 버전에서 쿼리를 최적화하는 방법 알아보기
- Enterprise 버전 데이터베이스 확장 방법 이해