قراءة البيانات في الوقت الفعلي باستخدام "مصادر تغيير البيانات"

تتيح ميزة "مؤشرات التغيير" في Firestore المتوافقة مع MongoDB للتطبيقات الوصول إلى التغييرات في الوقت الفعلي (عمليات الإدراج والتعديل والحذف) التي يتم إجراؤها على مجموعة أو على قاعدة بيانات كاملة. يرتّب مصدر بيانات التغيير التعديلات حسب وقت التعديل.

يمكن الوصول إلى Change Streams من خلال واجهات برمجة التطبيقات المتوافقة مع MongoDB وبرامج تشغيل MongoDB التقليدية. يمكن لتنفيذ ميزة "موجزات التغيير" في Firestore المتوافق مع MongoDB التعامل مع أي معدل نقل لعمليات الكتابة والقراءة من خلال تنفيذ فريد لعملية التقسيم التلقائي لعمليات الكتابة والقراءة المتوازية. يتيح لك ذلك إنشاء أعباء عمل بمعدّل أعلى لنقل البيانات. يمكنك أيضًا تحسين البنية الأساسية لنقل البيانات ومزامنتها بين Cloud Firestore وحلول التخزين الأخرى.

بالإضافة إلى التوافق مع برامج تشغيل MongoDB، يمكنك استخدام Cloud Firestore لقراءة "موجزات التغيير" بالتوازي. يتيح لك ذلك إنشاء أعباء عمل متوازية لقراءة البيانات بمعدّل نقل بيانات أعلى. يمثّل كل مصدر قسمًا موزّعًا بشكل جيد من النتائج.

تتيح ميزة "موجزات التغيير" الميزات التالية:

  • ميزة "موجزات التغيير" القابلة للضبط مع نطاق قاعدة البيانات أو المجموعة
  • مدة الاحتفاظ ببيانات مصدر التغيير المحدّدة عند الإنشاء فترة الاحتفاظ التلقائية بالبيانات هي 7 أيام، والحدّ الأدنى لفترة الاحتفاظ بالبيانات هو يوم واحد. يجب أن تكون مدة الاحتفاظ بالبيانات من مضاعفات يوم واحد، بحد أقصى 7 أيام. لا يمكن تغيير مدة الاحتفاظ بالبيانات بعد إنشاء السياسة. لتغيير فترة الاحتفاظ بالبيانات، يجب حذف مجموعة بيانات التغييرات وإعادة إنشائها.
  • أحداث تغيير delete وinsert وupdate وdrop التي يمكن تتبّعها باستخدام db.collection.watch() وdb.watch()
  • يحتوي "updateDescription.updatedFields" على اختلافات في التعديلات.
  • كل خيارات fullDocument وfullDocumentBeforeChange
    • جارٍ البحث عن المستند الكامل للاطّلاع على التعديلات.
    • الصورة السابقة للمستند قبل استبداله أو تعديله أو حذفه
    • صورة المستند بعد استبداله أو تعديله
    • تتطلّب الصور السابقة واللاحقة التي مرّ عليها أكثر من ساعة تفعيل ميزة "الاسترداد في نقطة زمنية معيّنة" (PITR).
  • جميع خيارات السيرة الذاتية، بما في ذلك resumeAfter وstartAfter
  • عند استخدام watch() لمراقبة التغييرات، يمكنك ربط مراحل التجميع مثل $addFields و$match و$project و$replaceRoot و$replaceWith و$set و$unset.

ضبط إعدادات Change Streams

لإنشاء مجموعات بيانات Change Streams حالية لقاعدة بيانات أو حذفها أو عرضها، استخدِم وحدة تحكّم Google Cloud.

الأدوار والأذونات

لإنشاء سلاسل التغيير وحذفها وإدراجها، يحتاج المدير إلى أذونات "إدارة الهوية وإمكانية الوصول" (IAM) التالية: datastore.schemas.create وdatastore.schemas.delete وdatastore.schemas.list على التوالي.

يمنح دور مشرف فهرس مخزن البيانات (roles/datastore.indexAdmin) هذه الأذونات على سبيل المثال.

إنشاء مصدر بيانات تغيير

قبل أن تتمكّن من فتح مؤشر تدفق تغيير مقابل، يجب عليك إنشاء تدفق تغيير. لا تتوفّر إمكانية تفعيل ميزة "تدفق التغييرات" تلقائيًا عند إنشاء مجموعة أو قاعدة بيانات.

لإنشاء مجموعة بيانات تغييرات، استخدِم وحدة تحكّم Google Cloud.

  1. في وحدة تحكّم Google Cloud، انتقِل إلى صفحة قواعد البيانات.

    الانتقال إلى قواعد البيانات

  2. من القائمة، اختَر قاعدة بيانات Firestore متوافقة مع MongoDB. ستفتح لوحة Firestore Studio.
  3. في لوحة المستكشف، ابحث عن عقدة موجزات التغيير، وانقر على مزيد من الإجراءات، ثم اختَر إنشاء موجز تغيير.
  4. أدخِل اسمًا فريدًا لتدفق التغييرات ونطاقًا وفترة احتفاظ بالبيانات، ثم انقر على حفظ

عرض سلاسل التغييرات

يمكنك الاطّلاع على تفاصيل حول Change Streams في Google Cloud Console.

  1. في وحدة تحكّم Google Cloud، انتقِل إلى صفحة قواعد البيانات.

    الانتقال إلى قواعد البيانات

  2. من القائمة، اختَر قاعدة بيانات Firestore متوافقة مع MongoDB. ستفتح لوحة Firestore Studio.
  3. في لوحة المستكشف، ابحث عن عقدة تغيير مصادر البيانات.
  4. لفتح العقدة أو إغلاقها، انقر على تبديل العقدة.

حذف مصدر بيانات التغيير

لحذف مجموعة بيانات تغييرات، استخدِم وحدة تحكّم Google Cloud.

  1. في وحدة تحكّم Google Cloud، انتقِل إلى صفحة قواعد البيانات.

    الانتقال إلى قواعد البيانات

  2. من القائمة، اختَر قاعدة بيانات Firestore متوافقة مع MongoDB. ستفتح لوحة Firestore Studio.
  3. في لوحة المستكشف، ابحث عن عقدة تغيير مصادر البيانات.
  4. لفتح العقدة أو إغلاقها، انقر على تبديل العقدة.
  5. في المستكشف، ابحث عن مجموعة بيانات التغييرات التي تريد حذفها.
  6. انقر على مزيد من الإجراءات ثم اختَر حذف مصدر البيانات المتغيّرة.
  7. في مربّع الحوار، أدخِل اسم مجموعة بيانات التغيير لتأكيد الحذف، ثم انقر على حذف.

فتح مؤشر تدفق التغييرات أو استئنافه

توضّح الأمثلة التالية كيفية إنشاء مؤشر لتدفق التغييرات واستئنافه وضبطه.

قبل إنشاء مؤشر لتدفق التغييرات، يجب إنشاء تدفق تغييرات بشكل صريح لقاعدة البيانات أو المجموعة.

إنشاء مؤشر لتدفق التغييرات

لإنشاء مؤشر جديد لتدفق التغييرات، استخدِم طريقة watch في برامج تشغيل MongoDB. للاطّلاع على جميع التغييرات في قاعدة بيانات، أنشِئ مصدر بيانات تغييرات على مستوى قاعدة البيانات واستخدِم طريقة watch في عنصر db.

let cursor = db.watch()

لإنشاء مؤشر مخصّص لمجموعة، يجب أولاً إنشاء مصدر بيانات تغيير لتلك المجموعة. بعد ذلك، استدعِ طريقة watch في المجموعة المقابلة.

let cursor = db.my_collection.watch()

بعد إنشاء مؤشر لتدفق التغييرات، يمكنك بدء البث. على سبيل المثال، إذا أدخلت مستندًا واستدعيت tryNext على المؤشر، سيظهر التغيير في مجموعة بيانات التغيير.

let doc = db.my_collection.insertOne({value: "hello world"})
console.log(cursor.tryNext())

إذا عدّلت المستند وحذفته، ستظهر هذه التغييرات في مجموعة بيانات التغييرات:

db.my_collection.updateOne({"_id": doc.insertedId}, {$set: {value: "hello world!"}})
db.my_collection.deleteOne({"_id": doc.insertedId}})

// Prints the update event
console.log(cursor.tryNext())

// Prints the delete event
console.log(cursor.tryNext())

استئناف بث التغييرات

لاستئناف بث التغييرات، استخدِم الخيارَين resumeAfter أو startAfter. لتحديد المكان الذي تريد الاستئناف منه في سجلّ التغييرات من resumeAfter وstartAfter، استخدِم رمزًا مميزًا للاستئناف.

// Create a cursor and add one event to the change stream.
let cursor = db.my_collection.watch();
db.my_collection.insertOne({value: "hello world"});
let event = cursor.tryNext();

// Get the resume token from the event.
let resumeToken = event._id;

// Add a new event to the change stream.
db.my_collection.insertOne({value: "foobar"});

// Create a new cursor by using the resume token as a starting point.
let newCursor = db.my_collection.watch({resumeAfter: resumeToken})

// Log the change event containing the "foobar" value.
console.log(newCursor.tryNext())

لاستخدام startAfter:

// Start after the resume token.
let startAfterCursor = db.my_collection.watch({startAfter: resumeToken})

تضمين صور قبل وبعد في التحديثات وحذفها

إذا لزم الأمر، يمكنك تضمين صور المستندات قبل وبعد أحداث تغيير التعديل والحذف. يخضع توفّر الصور إلى نافذة الاسترداد في نقطة زمنية محدّدة (PITR)، ولقراءة صور المستندات التي مرّ عليها أكثر من ساعة، يجب تفعيل PITR.

تستفيد ميزة "تغيير مصادر البيانات" من نافذة PITR لتوفير عرض للمستند قبل حدث التغيير المحدّد وبعده. By default, update events contain an updateDescription field which is the delta of the fields modified by the update operation.

لتضمين الصور السابقة واللاحقة في حدث تغيير، يجب تحديد الخيارين fullDocumentBeforeChange وfullDocument في طلب البحث عن تغيير في ساحة المشاركات.

let cursor = db.my_collection.watch({
  "fullDocument": "required",
  "fullDocumentBeforeChange": "required"
})

إذا حاول طلب البحث قراءة مستند خارج نافذة الاحتفاظ بالبيانات في ميزة "الاستعادة في نقطة زمنية محدّدة" أو إذا لم تكن ميزة "الاستعادة في نقطة زمنية محدّدة" مفعَّلة، ستعرض قيمة required رسالة خطأ من جهة الخادم.

كبديل لعرض رسالة خطأ، يمكنك استخدام القيمة whenAvailable لعرض القيمة null إذا لم تعُد الصور متاحة.

let cursor = db.my_collection.watch({
  "fullDocument": "whenAvailable",
  "fullDocumentBeforeChange": "whenAvailable"
})

تضمين الصورة الحالية في التحديثات

تحتوي أحداث التعديل تلقائيًا على حقل updateDescription، وهو الفرق بين الحقول التي تم تعديلها من خلال عملية التعديل. للبحث عن أحدث نسخة من المستند بأكمله، استخدِم القيمة updateLookup في الخيار fullDocument.

لا تتطلّب هذه الميزة ميزة "الاستعادة في نقطة زمنية محدّدة"، وتُجري عملية بحث عن المستند.

let cursor = db.my_collection.watch({
  "fullDocument": "updateLookup",
})

Parallel Reads

لزيادة معدل النقل، يمكنك استخدام الخيار firestoreWorkerConfig لتقسيم طلب بحث في سجلّ التغييرات على عدة عمال. يكون كل عامل مسؤولاً عن عرض التغييرات لمجموعة مختلفة من المستندات. يجب إنشاء مؤشر موازٍ من خلال طلب بحث runCommand أو aggregate.

على سبيل المثال، يمكنك توزيع مجموعة بيانات التغيير على 3 عمال على النحو التالي:

let cursor1 = db.my_collection.aggregate([{
    "$changeStream": {
        "firestoreWorkerConfig": {numWorkers: 3, workerId: 0 }}
  }]);

let cursor2 = db.my_collection.aggregate([{
    "$changeStream": {
        "firestoreWorkerConfig": {numWorkers: 3, workerId: 1 }}
  }]);

let cursor3 = db.my_collection.aggregate([{
    "$changeStream": {
        "firestoreWorkerConfig": {numWorkers: 3, workerId: 2 }}
  }]);

ميزة "تغيير مصادر البيانات" والنسخ الاحتياطية

لا تتوفّر إعدادات مجموعة بيانات التغيير ولا بيانات مجموعة بيانات التغيير في عمليات استعادة النُسخ الاحتياطية. في حال استعادة قاعدة بيانات باستخدام ميزة "مؤشرات التغيير"، عليك إعادة إنشاء مؤشرات التغيير هذه في قاعدة البيانات الوجهة لفتح المؤشرات في قاعدة البيانات هذه.

الفوترة

الاختلافات في السلوك

يوضّح القسم التالي الاختلافات في سلاسل التغييرات بين Firestore المتوافق مع MongoDB وMongoDB.

updateDescription

‫updateDescription هو مستند في حدث update يصف الحقول التي تم تعديلها أو إزالتها من خلال عملية التعديل. في Cloud Firestore، تتمثّل الاختلافات الملحوظة في ما يلي:

  • في updateDescription، لا تتم تعبئة الحقلَين truncatedArrays وdisambiguatedPaths.
  • updateDescription.updatedFields تمثّل الفرق الأساسي بين الصور السابقة واللاحقة للمستند قبل تطبيق التغيير وبعده.

لنفترض أنّ الحالة الأولية للمستند هي:

db.my_collection.insertOne({
  _id: 1,
  root: {
    array: [{a: 1}, {b: 2}, {c: 3}]
  }
})

السيناريو 1: تغيير العنصر الأول فقط من الصفيفة.

في هذا السيناريو، يتطابق سلوك Cloud Firestore مع MongoDB.

db.my_collection.updateOne(
  {_id: 1},
  {'$set': {"root.array.0.a": 100}}
)

{
  updatedFields: {"root.array.0.a": 100},
  removedFields: []
}

السيناريو 2: الاستبدال بمصفوفة كاملة

في هذا السيناريو، تعدّل العملية حقل الصفيف الأول فقط، ولكنّها تستبدل الصفيف بأكمله.

لا يفرّق الفرق في تحديث Cloud Firestore بين هذين السيناريوهين ويعرض updateDescription.updatedFields نفسه لكليهما:

db.my_collection.updateOne(
  {_id: 1},
  {'$set': {"root.array": [{a: 100}, {b: 2}, {c: 3}]}}
)

// In other implementations, updatedFields reflects the mutation itself
{
  updatedFields: {
    "root.array": [{a: 100}, {b: 2}, {c: 3}]
  },
  removedFields: []
}

// Firestore updatedFields is the diff between the before and after versions of the document
{
  updatedFields: {"root.array.0.a": 100},
  removedFields: []
}

الخطوات التالية