برنامه ریزی صادرات داده ها

این صفحه نحوه زمان‌بندی صادرات داده‌های Cloud Firestore شما را شرح می‌دهد. برای اجرای صادرات بر اساس یک برنامه، توصیه می‌کنیم از Cloud Functions و Cloud Scheduler استفاده کنید.

قبل از اینکه شروع کنی

قبل از اینکه صادرات داده‌های مدیریت‌شده را برنامه‌ریزی کنید، باید کارهای زیر را انجام دهید:

  1. فعال کردن صورتحساب برای پروژه Google Cloud شما. فقط پروژه‌های Google Cloud که صورتحساب آنها فعال است می‌توانند از ویژگی صادرات و واردات استفاده کنند.
  2. عملیات صادرات به یک سطل Cloud Storage مقصد نیاز دارد. یک سطل Cloud Storage در مکانی نزدیک به محل پایگاه داده Cloud Firestore خود ایجاد کنید. شما نمی‌توانید از سطل Requester Pays برای عملیات صادرات استفاده کنید.

یک تابع ابری و یک کار Cloud Scheduler ایجاد کنید

برای ایجاد یک تابع ابری Node.js که خروجی گرفتن از داده‌های Cloud Firestore و یک کار Cloud Scheduler را برای فراخوانی آن تابع آغاز می‌کند، مراحل زیر را دنبال کنید:

رابط خط فرمان فایربیس
  1. رابط خط فرمان فایربیس (Firebase CLI) را نصب کنید . در یک دایرکتوری جدید، رابط خط فرمان (CLI) مربوط به Cloud Functions را مقداردهی اولیه کنید:

    firebase init functions --project PROJECT_ID
    1. برای زبان، جاوا اسکریپت را انتخاب کنید.
    2. در صورت تمایل، ESLint را فعال کنید.
    3. برای نصب وابستگی‌ها y وارد کنید.
  2. کد موجود در فایل functions/index.js را با کد زیر جایگزین کنید:

    const functions = require('firebase-functions');
    const firestore = require('@google-cloud/firestore');
    const client = new firestore.v1.FirestoreAdminClient();
    
    // Replace BUCKET_NAME
    const bucket = 'gs://BUCKET_NAME';
    
    exports.scheduledFirestoreExport = functions.pubsub
                                                .schedule('every 24 hours')
                                                .onRun((context) => {
    
      const projectId = process.env.GCP_PROJECT;
      const databaseName = 
        client.databasePath(projectId, '(default)');
    
      return client.exportDocuments({
        name: databaseName,
        outputUriPrefix: bucket,
        // Leave collectionIds empty to export all collections
        // or set to a list of collection IDs to export,
        // collectionIds: ['users', 'posts']
        collectionIds: []
        })
      .then(responses => {
        const response = responses[0];
        console.log(`Operation Name: ${response['name']}`);
      })
      .catch(err => {
        console.error(err);
        throw new Error('Export operation failed');
      });
    });
  3. در کد بالا، موارد زیر را اصلاح کنید:
    • به جای BUCKET_NAME نام باکت خود را قرار دهید.
    • به جای YOUR_PROJECT_ID شناسه پروژه خود را قرار دهید.
    • برای تنظیم برنامه‌ی خروجی، every 24 hours یکبار آن را تغییر دهید. از سینتکس AppEngine cron.yaml یا فرمت unix-cron ( * * * * * ) استفاده کنید.
    • collectionIds: [] تا فقط گروه‌های مجموعه مشخص‌شده را صادر کند. برای صادر کردن همه مجموعه‌ها، مقدار را به همان صورت باقی بگذارید.

  4. تابع زمان‌بندی‌شده را مستقر کنید:

    firebase deploy --only functions
کنسول گوگل کلود
یک تابع ابری ایجاد کنید
  1. به صفحه توابع ابری در کنسول گوگل کلود بروید:

    به توابع ابری بروید

  2. روی نوشتن یک تابع کلیک کنید
  3. نام تابعی مانند firestore-export را وارد کنید.
  4. در قسمت Trigger ، گزینه Cloud Pub/Sub را انتخاب کنید.
  5. در قسمت موضوع ، گزینه ایجاد موضوع جدید (Create new Topic) را انتخاب کنید. نامی برای موضوع اصلی/فرعی، مانند initiateFirestoreExport ، وارد کنید. نام موضوع را یادداشت کنید زیرا برای ایجاد کار Cloud Scheduler خود به آن نیاز دارید.
  6. در قسمت کد منبع ، ویرایشگر درون‌خطی (Inline editor) را انتخاب کنید. کد زیر را در قسمت index.js وارد کنید:
    const firestore = require('@google-cloud/firestore');
    const client = new firestore.v1.FirestoreAdminClient();
    // Replace BUCKET_NAME
    const bucket = 'gs://BUCKET_NAME'
    
    exports.scheduledFirestoreExport = (event, context) => {
      const databaseName = client.databasePath(
        YOUR_PROJECT_ID,
        '(default)'
      );
    
      return client
        .exportDocuments({
          name: databaseName,
          outputUriPrefix: bucket,
          // Leave collectionIds empty to export all collections
          // or define a list of collection IDs:
          // collectionIds: ['users', 'posts']
          collectionIds: [],
        })
        .then(responses => {
          const response = responses[0];
          console.log(`Operation Name: ${response['name']}`);
          return response;
        })
        .catch(err => {
          console.error(err);
        });
    };
    در کد بالا، موارد زیر را اصلاح کنید:
    • به جای BUCKET_NAME نام باکت خود را قرار دهید.
    • collectionIds: [] تا فقط گروه‌های مجموعه مشخص‌شده را صادر کند. برای صادر کردن همه مجموعه‌ها، مقدار را به همان صورت باقی بگذارید.

  7. در package.json ، وابستگی زیر را اضافه کنید:
    {
      "dependencies": {
        "@google-cloud/firestore": "^1.3.0"
      }
    }
  8. در قسمت «Function to execute» ، scheduledFirestoreExport ، نام تابع در index.js ، را وارد کنید.
  9. برای استقرار عملکرد ابری، روی ایجاد کلیک کنید.
ایجاد یک کار Cloud Scheduler

در مرحله بعد، یک کار Cloud Scheduler ایجاد کنید که تابع ابری شما را فراخوانی کند:

  1. به صفحه Cloud Scheduler در کنسول Google Cloud بروید:

    به Cloud Scheduler بروید

  2. روی ایجاد شغل کلیک کنید.
  3. یک نام برای این کار وارد کنید، مانند scheduledFirestoreExport .
  4. یک بازه زمانی وارد کنید، مثلاً every 24 hours .
  5. یک منطقه زمانی انتخاب کنید.
  6. در قسمت Target ، گزینه Pub/Sub را انتخاب کنید. در قسمت Topic ، نام موضوع pub/sub را که در کنار Cloud Function خود تعریف کرده‌اید، وارد کنید. در مثال بالا، initiateFirestoreExport .
  7. در فیلد Payload ، عبارت start export وارد کنید. این کار نیاز به تعریف یک payload دارد، اما تابع Cloud بالا در واقع از این مقدار استفاده نمی‌کند.
  8. روی ایجاد کلیک کنید.
در این مرحله، شما وظیفه Cloud Function و Cloud Scheduler خود را مستقر کرده‌اید، اما Cloud Function شما هنوز برای اجرای عملیات export به مجوزهای دسترسی نیاز دارد.

پیکربندی مجوزهای دسترسی

در مرحله بعد، به Cloud Function اجازه دهید تا عملیات صادرات را شروع کند و در سطل GCS شما بنویسد.

این تابع ابری از حساب سرویس پیش‌فرض پروژه شما برای تأیید اعتبار و مجوزدهی عملیات خروجی آن استفاده می‌کند. هنگام ایجاد یک پروژه، یک حساب سرویس پیش‌فرض با نام زیر برای شما ایجاد می‌شود:

PROJECT_ID@appspot.gserviceaccount.com

این حساب سرویس برای شروع عملیات خروجی گرفتن و نوشتن در مخزن Cloud Storage شما به مجوز نیاز دارد. برای اعطای این مجوزها، نقش‌های IAM زیر را به حساب سرویس پیش‌فرض اختصاص دهید:

  • Cloud Datastore Import Export Admin
  • نقش Owner یا Storage Admin در باکت

شما می‌توانید از ابزارهای خط فرمان gcloud و gsutil برای اختصاص این نقش‌ها استفاده کنید.

اگر قبلاً نصب نشده است، می‌توانید از طریق Cloud Shell در کنسول Google Cloud به این ابزارها دسترسی داشته باشید:
شروع Cloud Shell

  1. نقش مدیر واردات و صادرات Cloud Datastore را تعیین کنید. PROJECT_ID را جایگزین کنید و دستور زیر را اجرا کنید:

    gcloud projects add-iam-policy-binding PROJECT_ID \
        --member serviceAccount:PROJECT_ID@appspot.gserviceaccount.com \
        --role roles/datastore.importExportAdmin
  2. نقش مدیر ذخیره‌سازی را به باکت خود اختصاص دهید. PROJECT_ID و BUCKET_NAME را جایگزین کنید و دستور زیر را اجرا کنید:

    gsutil iam ch serviceAccount:PROJECT_ID@appspot.gserviceaccount.com:admin \
        gs://BUCKET_NAME

اگر حساب سرویس پیش‌فرض App Engine خود را غیرفعال یا حذف کنید، برنامه App Engine شما دسترسی به پایگاه داده Cloud Firestore شما را از دست خواهد داد. اگر حساب سرویس App Engine خود را غیرفعال کرده‌اید، می‌توانید آن را دوباره فعال کنید، به فعال کردن حساب سرویس مراجعه کنید. اگر حساب سرویس App Engine خود را در 30 روز گذشته حذف کرده‌اید، می‌توانید حساب سرویس خود را بازیابی کنید، به لغو حذف حساب سرویس مراجعه کنید.

کار Cloud Scheduler و عملکرد ابری خود را آزمایش کنید

شما می‌توانید کار Cloud Scheduler خود را در صفحه Cloud Scheduler در کنسول Google Cloud آزمایش کنید.

  1. به صفحه Cloud Scheduler در کنسول Google Cloud بروید.
    به Cloud Scheduler بروید

  2. در ردیف مربوط به کار جدید Cloud Scheduler خود، روی «اجرا کن» کلیک کنید.

    پس از چند ثانیه، کار Cloud Scheduler باید ستون نتیجه را به Success و Last run to the current time به‌روزرسانی کند. ممکن است لازم باشد روی Refresh کلیک کنید.

صفحه Cloud Scheduler فقط تأیید می‌کند که کار، تابع ابری شما را فراخوانی کرده است. برای مشاهده گزارش‌های تابع خود، صفحه تابع ابری را باز کنید.

مشاهده گزارش‌های عملکرد ابری

برای دیدن اینکه آیا تابع Cloud با موفقیت عملیات صادرات را آغاز کرده است، گزارش‌های تابع را باز کنید:

کنسول فایربیس

به صفحه Cloud Functions در کنسول فایربیس بروید.

به گزارش‌های عملکرد بروید

کنسول GCP

به صفحه Cloud Functions در کنسول گوگل کلود بروید.

به نمایشگر گزارش‌ها بروید

مشاهده پیشرفت صادرات

شما می‌توانید از دستور gcloud firestore operations list برای مشاهده پیشرفت عملیات صادرات خود استفاده کنید، به مدیریت عملیات صادرات و واردات مراجعه کنید.

پس از اتمام عملیات خروجی، می‌توانید فایل‌های خروجی را در فضای Cloud Storage خود مشاهده کنید:

مرورگر Cloud Storage را باز کنید