جدولة عمليات تصدير البيانات

توضّح هذه الصفحة كيفية جدولة عمليات تصدير بياناتك Cloud Firestore. لتشغيل عمليات التصدير وفقًا لجدول زمني، ننصحك باستخدام Cloud Functions وCloud Scheduler.

قبل البدء

قبل جدولة عمليات تصدير البيانات المُدارة، عليك إكمال المهام التالية:

  1. تفعيل الفوترة لمشروعك Google Cloud. لا يمكن استخدام ميزة التصدير والاستيراد إلا في مشاريع Google Cloud التي تم تفعيل الفوترة فيها.
  2. تتطلّب عمليات التصدير حزمة وجهة Cloud Storage. أنشِئ حزمةCloud Storage في موقع جغرافي قريب من Cloud Firestore موقع قاعدة بياناتك. لا يمكنك استخدام حزمة "الدفع حسب الطلب" لعمليات التصدير عمليات.

إنشاء دالة Cloud ووظيفة Cloud Scheduler

اتّبِع الخطوات التالية لإنشاء دالة Cloud في Node.js تبدأ عملية تصدير بيانات Cloud Firestore ووظيفة Cloud Scheduler لاستدعاء هذه الدالة:

Firebase CLI
  1. ثبِّت Firebase CLI. في دليل جديد، ابدأ CLI لـ Cloud Functions:

    firebase init functions --project PROJECT_ID
    1. اختَر JavaScript للغة.
    2. يمكنك تفعيل ESLint اختياريًا.
    3. أدخِل y لتثبيت التبعيات.
  2. استبدِل الرمز في الملف functions/index.js بالرمز التالي:

    const functions = require('firebase-functions');
    const firestore = require('@google-cloud/firestore');
    const client = new firestore.v1.FirestoreAdminClient();
    
    // Replace BUCKET_NAME
    const bucket = 'gs://BUCKET_NAME';
    
    exports.scheduledFirestoreExport = functions.pubsub
                                                .schedule('every 24 hours')
                                                .onRun((context) => {
    
      const projectId = process.env.GCP_PROJECT;
      const databaseName = 
        client.databasePath(projectId, '(default)');
    
      return client.exportDocuments({
        name: databaseName,
        outputUriPrefix: bucket,
        // Leave collectionIds empty to export all collections
        // or set to a list of collection IDs to export,
        // collectionIds: ['users', 'posts']
        collectionIds: []
        })
      .then(responses => {
        const response = responses[0];
        console.log(`Operation Name: ${response['name']}`);
      })
      .catch(err => {
        console.error(err);
        throw new Error('Export operation failed');
      });
    });
  3. في الرمز أعلاه، عدِّل ما يلي:
    • استبدِل BUCKET_NAME باسم الحزمة.
    • استبدِل YOUR_PROJECT_ID برقم تعريف مشروعك .
    • عدِّل every 24 hours لضبط جدول التصدير. استخدِم إما بنية AppEngine cron.yaml أو الـ تنسيق unix-cron ‏ (* * * * *).
    • عدِّل collectionIds: [] لتصدير مجموعات قوائم التسوق المحدّدة فقط. اتركها كما هي لتصدير جميع مجموعات قوائم التسوق.

  4. تفعيل الدالة المُجدوَلة:

    firebase deploy --only functions
Google Cloud Console
إنشاء دالة Cloud
  1. انتقِل إلى صفحة Cloud Functions في Google Cloud Console:

    الانتقال إلى Cloud Functions

  2. انقر على كتابة دالة
  3. أدخِل اسم دالة، مثل firestore-export
  4. ضِمن المشغِّل، اختَر Cloud Pub/Sub
  5. ضِمن الموضوع ، اختَر إنشاء موضوع جديد. أدخِل اسمًا لموضوع Pub/Sub، مثل initiateFirestoreExport. سجِّل اسم الموضوع لأنّك ستحتاج إليه لإنشاء وظيفة Cloud Scheduler.
  6. ضمن رمز المصدر ، اختَر محرّر مضمّن. أدخِل الرمز التالي ضِمن index.js
    const firestore = require('@google-cloud/firestore');
    const client = new firestore.v1.FirestoreAdminClient();
    // Replace BUCKET_NAME
    const bucket = 'gs://BUCKET_NAME'
    
    exports.scheduledFirestoreExport = (event, context) => {
      const databaseName = client.databasePath(
        YOUR_PROJECT_ID,
        '(default)'
      );
    
      return client
        .exportDocuments({
          name: databaseName,
          outputUriPrefix: bucket,
          // Leave collectionIds empty to export all collection groups
          // or define a list of collection group IDs:
          // collectionIds: ['users', 'posts']
          collectionIds: [],
        })
        .then(responses => {
          const response = responses[0];
          console.log(`Operation Name: ${response['name']}`);
          return response;
        })
        .catch(err => {
          console.error(err);
        });
    };
    في الرمز أعلاه، عدِّل ما يلي:
    • استبدِل BUCKET_NAME باسم الحزمة.
    • عدِّل collectionIds: [] لتصدير مجموعات قوائم التسوق المحدّدة فقط. اتركها كما هي لتصدير جميع مجموعات قوائم التسوق.

  7. ضِمن package.json، أضِف التبعية التالية:
    {
      "dependencies": {
        "@google-cloud/firestore": "^1.3.0"
      }
    }
  8. ضِمن الدالة المطلوب تنفيذها، أدخِل scheduledFirestoreExport، وهو اسم الدالة في index.js.
  9. انقر على إنشاء لنشر دالة Cloud.
إنشاء وظيفة Cloud Scheduler

بعد ذلك، أنشِئ وظيفة Cloud Scheduler تستدعي دالة Cloud:

  1. انتقِل إلى صفحة Cloud Scheduler في Google Cloud Console:

    الانتقال إلى Cloud Scheduler

  2. انقر على إنشاء وظيفة.
  3. أدخِل اسمًا للوظيفة، مثل scheduledFirestoreExport.
  4. أدخِل تكرارًا، مثلاً every 24 hours.
  5. اختَر منطقة زمنية.
  6. ضِمن الهدف ، اختَر Pub/Sub. في حقل الموضوع، أدخِل اسم موضوع Pub/Sub الذي حدّدته بجانب دالة Cloud، وهو initiateFirestoreExport في المثال أعلاه.
  7. في حقل الحمولة ، أدخِل start export. تتطلّب الوظيفة حمولة محدّدة، ولكن دالة Cloud أعلاه لا تستخدم هذه القيمة فعليًا.
  8. انقر على إنشاء.
في هذه المرحلة، تكون قد نشرت دالة Cloud وCloud Scheduler وظيفة، ولكن لا تزال دالة Cloud بحاجة إلى أذونات وصول لتنفيذ عمليات التصدير.

ضبط أذونات الوصول

بعد ذلك، امنح دالة Cloud إذنًا لبدء عمليات التصدير والكتابة في حزمة GCS.

تستخدم دالة Cloud هذه حساب الخدمة التلقائي لمشروعك للمصادقة على عمليات التصدير ومنح الإذن بها. عند إنشاء مشروع، يتم إنشاء حساب خدمة تلقائي لك بالاسم التالي:

PROJECT_ID@appspot.gserviceaccount.com

يحتاج حساب الخدمة هذا إلى إذن لبدء عملية تصدير والكتابة في حزمة Cloud Storage. لمنح هذه الأذونات، أسند أدوار IAM التالية إلى حساب الخدمة التلقائي:

  • Cloud Datastore Import Export Admin
  • دور Owner أو Storage Admin في الحزمة

يمكنك استخدام أداتَي سطر الأوامر gcloud وgsutil لإسناد هذه الأدوار.

إذا لم تكن هذه الأدوات مثبّتة، يمكنك الوصول إليها من Cloud Shell في Google Cloud Console:
بدء Cloud Shell

  1. أسند دور Cloud Datastore Import Export Admin. استبدِل PROJECT_ID، وشغِّل الأمر التالي:

    gcloud projects add-iam-policy-binding PROJECT_ID \
        --member serviceAccount:PROJECT_ID@appspot.gserviceaccount.com \
        --role roles/datastore.importExportAdmin
  2. أسند دور مشرف مساحة التخزين في الحزمة. استبدِل PROJECT_ID وBUCKET_NAME، وشغِّل الأمر التالي:

    gsutil iam ch serviceAccount:PROJECT_ID@appspot.gserviceaccount.com:admin \
        gs://BUCKET_NAME

إذا أوقفت حساب الخدمة التلقائي في App Engine أو حذفْته، سيفقد تطبيق App Engine إمكانية الوصول إلى قاعدة بيانات Cloud Firestore. إذا أوقفت حساب خدمة App Engine، يمكنك إعادة تفعيله، راجِع مقالة تفعيل حساب خدمة. إذا حذفت حساب خدمة App Engine خلال آخر 30 يومًا، يمكنك استعادة حساب الخدمة، راجِع مقالة إلغاء حذف حساب خدمة.

اختبار وظيفة Cloud Scheduler ودالة Cloud

يمكنك اختبار وظيفة Cloud Scheduler في صفحة Cloud Scheduler في Google Cloud Console.

  1. انتقِل إلى صفحة Cloud Scheduler في Google Cloud Console.
    الانتقال إلى Cloud Scheduler

  2. في صف وظيفة Cloud Scheduler الجديدة، انقر على تشغيل الآن.

    بعد بضع ثوانٍ، من المفترض أن تعدِّل وظيفة Cloud Scheduler عمود النتيجة إلى نجاح وآخر عملية تشغيل إلى الوقت الحالي. قد تحتاج إلى النقر على تحديث.

تؤكّد صفحة Cloud Scheduler فقط أنّ الوظيفة استدعت دالة Cloud. افتح صفحة دالة Cloud للاطّلاع على سجلّات الدالة.

عرض سجلّات دالة Cloud

لمعرفة ما إذا كانت دالة Cloud قد بدأت عملية تصدير بنجاح، افتح سجلّات الدالة:

وحدة تحكُّم Firebase

في وحدة تحكُّم Firebase، انتقِل إلى الاستضافة والخدمات بلا خادم > الدوال.

الانتقال إلى سجلّات الدوال

وحدة تحكم Google Cloud Platform

انتقِل إلى صفحة Cloud Functions في Google Cloud Console.

الانتقال إلى أداة عرض السجلّات

عرض مدى تقدّم عملية التصدير

يمكنك استخدام الأمر gcloud firestore operations list لعرض مدى تقدّم عمليات التصدير، راجِع مقالة إدارة عمليات التصدير والاستيراد.

بعد اكتمال عملية التصدير، يمكنك عرض ملفات الإخراج في حزمة Cloud Storage الخاصة بك:

فتح متصفّح Cloud Storage