Firestore Standard sürümü veritabanındaki verileri Firestore Enterprise sürümü veritabanına taşımak için aşağıdaki seçeneklerden birini kullanmanızı öneririz:
İçe ve dışa aktarma özellikleri İçe aktarma işleminden elde edilen veri dosyaları hem Enterprise hem de Standard sürümüyle uyumludur.
firestore-to-firestoreDataflow şablonu. Dataflow hizmeti, Data Pipelines oluşturmanıza olanak tanır.firestore-to-firestoreşablonu ise Cloud Firestore veritabanları arasında toplu ardışık düzen oluşturur.
İçe ve dışa aktarma, daha az yapılandırma seçeneğiyle çalıştırabileceğiniz daha basit bir seçenektir.
Dataflow şablonu daha fazla özelleştirilebilir. Kısmi taşıma işlemleri gerçekleştirmek veya verileri dönüştürmek için şablon kodunu genişletebilirsiniz. Çalışan sayısını ve boyutunu da kontrol edebilirsiniz.
Her iki seçenek de projeler ve bölgeler arasında taşımayı destekler.
Dışa ve içe aktarma yoluyla veri taşıma
Dışa ve içe aktarma işlemleriyle veri taşımak için Verileri dışa ve içe aktarma başlıklı makaleyi inceleyin. Verileri başka bir projedeki veritabanına taşımak için Projeler arasında veri taşıma başlıklı makaleyi inceleyin.
Dataflow şablonuyla veri taşıma
firestore-to-firestore Dataflow şablonuyla veri taşımak için aşağıdaki talimatları uygulayın.
Başlamadan önce
Veri taşıma işlemine başlamadan önce kaynak veritabanında belirli bir noktadan önceyi kurtarma (PITR) özelliğinin etkinleştirildiğinden emin olun. Dataflow işi, verileri bir PITR zaman damgasındaki durumuna göre okumak için belirli bir zamandaki durum kurtarma özelliğini kullanır. PITR devre dışıysa iş bir saatten uzun sürerse başarısız olur.
Bu şablonu kullanmak için
datastore.googleapis.comAPI'nin etkinleştirilmesi gerekir.Bir sonraki bölümde açıklanan gerekli rolleri atayın.
Gerekli roller
Bir veritabanından diğerine veri taşımak için aşağıdaki rolleri atayın. Gerekli izinleri özel roller veya önceden tanımlanmış diğer roller aracılığıyla da alabilirsiniz:
- Yeni bir veritabanı oluşturmak ve Cloud Firestore verilerine erişmek için gereken izinleri almak istiyorsanız yöneticinizden projenizde Cloud Datastore Sahibi (
roles/datastore.owner) Identity and Access Management (IAM) rolünü vermesini isteyin. -
Dataflow işine Cloud Firestore veritabanlarınız için okuma ve yazma erişimi vermek üzere Dataflow çalışan hizmet hesabına (ör.
PROJECT_NUMBER-compute@) projenizdeki Cloud Datastore Kullanıcısı (roles/datastore.user) IAM rolünü atayın.Dataflow güvenliği hakkında daha fazla bilgi için Dataflow güvenliği ve izinleri başlıklı makaleyi inceleyin.
IAM rolleri verme hakkında daha fazla bilgi için Projelere, klasörlere ve kuruluşlara erişimi yönetme başlıklı makaleyi inceleyin.
1. Yeni bir Firestore Enterprise sürümü veritabanı oluşturma
Standard sürüm veritabanından Enterprise sürüm veritabanına veri taşımak için öncelikle Enterprise sürüm hedef veritabanını oluşturmanız gerekir. Veritabanı oluşturma başlıklı makaleyi inceleyin.
2. Dataflow firestore-to-firestore şablonunu çalıştırma
Dataflow işinizi firestore-to-firestore şablonuyla yapılandırıp çalıştırın.
Şablonlar, veritabanının tamamının veya yalnızca belirtilen koleksiyon gruplarının taşınmasını destekler.
Sınırlamalar
firestore-to-firestore
Dataflow şablonuyla ilgili aşağıdaki sınırlamaları göz önünde bulundurun:
- Kaynak veritabanı, Standard sürüm veritabanı olmalıdır.
- Taşıma işlemi, verileri belirli bir okuma zamanında okur. Kaynak veritabanında belirli bir noktadan önceyi kurtarma (PITR) özelliğini etkinleştirmenizi öneririz. PITR etkinleştirilmezse verilerin süresi bir saat sonra dolar ve bu süre, veri taşıma işleminin tamamlanması için yeterli olmayabilir. PITR, veri saklama süresini yedi güne uzatır.
- Dizinler taşınmaz.
Dataflow işi; yaşam süresi (TTL) politikaları, yedekler, PITR ve müşteri tarafından yönetilen şifreleme anahtarları (CMEK) gibi veritabanı yapılandırmalarını taşımaz.
Bu ayarları yeni veritabanında yapılandırmanız gerekir. Veri taşıma işleminin hızını artırmak için hedef veritabanında TTL, yedeklemeler ve PITR'yi yapılandırmadan önce taşıma işleminin tamamlanmasını bekleyin.
Aşağıdaki örneklerde, şablonun Google Cloud CLI kullanılarak nasıl çalıştırılacağı gösterilmektedir.
Tüm verileri taşıma
Tüm verileri taşımak için aşağıdaki komutu kullanın:
gcloud dataflow flex-template run "JOB_NAME" \ --project "PROJECT" \ --template-file-gcs-location gs://dataflow-templates-REGION_NAME/VERSION/flex/Cloud_Firestore_to_Firestore \ --region REGION_NAME \ --parameters "sourceProjectId=SOURCE_PROJECT_ID" \ --parameters "sourceDatabaseId=SOURCE_DATABASE_ID" \ --parameters "destinationProjectId=DESTINATION_PROJECT_ID" \ --parameters "destinationDatabaseId=DESTINATION_DATABASE_ID" \ --parameters "readTime=READ_TIME"
Aşağıdakini değiştirin:
JOB_NAME: İş için bir ad.PROJECT: Google Cloud projenizin kimliği.REGION_NAME: Dataflow işini çalıştırmak istediğiniz Google Cloud konum. Veritabanlarınıza yakın bir konum kullanın.VERSION: Kullanmak istediğiniz şablonun sürümü. Aşağıdaki değerleri kullanabilirsiniz:latestŞablonun en yeni sürümünü kullanmak için (Bu sürüm, paketteki tarih bilgisi içermeyen üst klasörde bulunur: gs://dataflow-templates-REGION_NAME/latest/)- Şablonun belirli bir sürümünü kullanmak için sürüm adı (ör.
2023-09-12-00_RC00). Bu sürüm, paketteki ilgili tarihli üst klasörde iç içe yerleştirilmiş olarak bulunabilir: gs://dataflow-templates-REGION_NAME/
SOURCE_PROJECT_ID: Firestore Standard sürüm veritabanını içeren kaynak Google Cloud projesinin kimliği.SOURCE_DATABASE_ID: Kaynak Cloud Firestore veritabanının kimliği.DESTINATION_PROJECT_ID: Yeni Cloud Firestore veritabanı için hedef Google Cloud projesinin kimliği.DESTINATION_DATABASE_ID: Hedef Cloud Firestore veritabanının kimliği.READ_TIME: Kaynak veritabanından verilerin okunacağı zaman damgası. RFC 3339 biçiminde, dakika ayrıntı düzeyinde (ör.2026-05-15T16:31:00.00Z) bir zaman damgası olarak ayarlanır.Geçerli en erken zaman damgası, belirli bir noktadan önceyi kurtarma (PITR) ayarlarınıza bağlıdır. En eski sürümün zamanını alma bölümünü inceleyin.
Belirtilen koleksiyon gruplarını taşıma
Yalnızca belirli koleksiyon gruplarını taşımak için aşağıdaki komutu kullanın:
gcloud dataflow jobs run "JOB_NAME" \ --project "PROJECT" \ --gcs-location gs://dataflow-templates-REGION_NAME/VERSION/Cloud_Firestore_to_Firestore \ --region REGION_NAME \ --parameters "sourceProjectId=SOURCE_PROJECT_ID" \ --parameters "sourceDatabaseId=SOURCE_DATABASE_ID" \ --parameters "collectionGroupIds=COLLECTION_GROUP_IDS" \ --parameters "destinationProjectId=DESTINATION_PROJECT_ID" \ --parameters "destinationDatabaseId=DESTINATION_DATABASE_ID" \ --parameters "readTime=READ_TIME"
Aşağıdakini değiştirin:
JOB_NAME: İş için bir ad.PROJECT: Google Cloud projenizin kimliği.REGION_NAME: Dataflow işini çalıştırmak istediğiniz Google Cloud konum. Veritabanlarınıza yakın bir konum kullanın.VERSION: Kullanmak istediğiniz şablonun sürümü. Aşağıdaki değerleri kullanabilirsiniz:- Şablonun en yeni sürümünü kullanmak için
latest. Bu sürüm, paketteki tarih içermeyen üst klasörde bulunur: gs://dataflow-templates-REGION_NAME/latest/ - Şablonun belirli bir sürümünü kullanmak için sürüm adı (ör.
2023-09-12-00_RC00). Bu sürüm, paketteki ilgili tarihli üst klasörde iç içe yerleştirilmiş olarak bulunabilir: gs://dataflow-templates-REGION_NAME/
- Şablonun en yeni sürümünü kullanmak için
SOURCE_PROJECT_ID: Firestore Standard sürümü veritabanını içeren kaynak Google Cloud projesinin kimliği.SOURCE_DATABASE_ID: Kaynak Cloud Firestore veritabanının kimliği.COLLECTION_GROUP_IDS: Taşınacak koleksiyon grubu kimliklerinin virgülle ayrılmış listesi.Alt koleksiyonlar yinelemeli olarak dahil edilmez. Örneğin,
userskoleksiyon grubunu belirtirseniz taşıma işlemi,messageskoleksiyon grubunu da belirtmediğiniz sürece/users/userid/messageskonumundaki birmessagesalt koleksiyonunu içermez.DESTINATION_PROJECT_ID: Yeni Cloud Firestore veritabanı için hedef Google Cloud projesinin kimliği.DESTINATION_DATABASE_ID: Hedef Cloud Firestore veritabanının kimliği.READ_TIME: Kaynak veritabanından verileri okumak için kullanılan zaman damgası. RFC 3339 biçiminde, dakika ayrıntı düzeyinde (ör.2026-05-15T16:31:00.00Z) bir zaman damgası olarak ayarlanır.Geçerli en erken zaman damgası, belirli bir noktadan önceyi kurtarma (PITR) ayarlarınıza bağlıdır. En eski sürümün zamanını alma bölümünü inceleyin.
3. Veritabanını yapılandırma
firestore-to-firestore işi yalnızca verileri taşır.
Dizinler ve diğer veritabanı ayarları taşınmaz. Verileri taşımaya ek olarak yeni veritabanında aşağıdakileri yapılandırmayı da düşünebilirsiniz:
Dizinler: Firestore Enterprise sürümü veritabanları, sorgu çalıştırmak için kesinlikle dizin gerektirmez ve varsayılan olarak otomatik dizin oluşturmaz. Sorgularınız için dizin oluşturmak üzere aşağıdakileri inceleyin:
- Firestore Enterprise sürümü dizinine genel bakış
- Dizinlerle sorgu performansını optimize etme
- Firebase KSA'yı kullanarak dizinleri dışa aktarabilir ve yeni veritabanına dağıtabilirsiniz.
- Dizinle optimize edebileceğiniz sorguları belirlemek için Sorgu Analizleri'ni kullanın.
Yedeklemeler: Yedeklemeleri ayarlayın.
PITR: PITR'yi etkinleştirin.
Veritabanınızı yapılandırdıktan sonra uygulamanızı yeni veritabanıyla test etmeye devam edebilirsiniz. Taşıma işlemini tamamlamak için uygulamalarınızı yeni veritabanını kullanacak şekilde güncelleyin.
Sorun giderme
Büyük veritabanlarında, tek seferde çok fazla veri okunursa iş başarısız olabilir. Bunu düzeltmek için:
maxNumWorkersdeğerini artırın.
Sırada ne var?
- Ardışık düzen işlemleri ile veri sorgulama hakkında bilgi edinin.
- Firestore Enterprise sürümünde sorguları optimize etme hakkında bilgi edinin.
- Enterprise sürümü veritabanının nasıl ölçeklendiğini anlama