Агрегирование во время записи

Запросы в Cloud Firestore позволяют находить документы в больших коллекциях. Чтобы получить представление о свойствах коллекции в целом, вы можете агрегировать данные по коллекции.

Агрегировать данные можно как при чтении, так и при записи.

  • Агрегирование во время чтения вычисляет результат в момент запроса. Cloud Firestore поддерживает запросы агрегирования count(), sum() и average() во время чтения. Запросы на агрегирование во время чтения проще добавить в приложение, чем агрегирование во время записи. Подробнее об обобщении данных с помощью запросов агрегирования…

  • Агрегирование во время записи вычисляет результат каждый раз, когда приложение выполняет соответствующую операцию записи. Агрегирование во время записи сложнее реализовать, но его можно использовать вместо агрегирования во время чтения по одной из следующих причин:

    • Вы хотите прослушивать результат агрегирования для обновлений в реальном времени. Запросы агрегирования count(), sum() и average() не поддерживают обновления в реальном времени.
    • Вы хотите сохранить результат агрегирования в клиентском кеше. Запросы агрегирования count(), sum() и average() не поддерживают кеширование.
    • Вы агрегируете данные из десятков тысяч документов для каждого из своих пользователей и учитываете затраты. При меньшем количестве документов агрегации во время чтения стоят дешевле. Если в агрегировании много документов, то агрегирование во время записи может быть дешевле.

Вы можете реализовать агрегирование во время записи, используя клиентскую транзакцию или Cloud Functions. В следующих разделах описывается, как реализовать агрегации во время записи.

Решение: агрегирование во время записи с клиентской транзакцией

Предположим, вы разработали приложение, которое рекомендует пользователям рестораны поблизости. Следующий запрос позволяет получить все оценки для определенного ресторана:

Веб-приложение

db.collection("restaurants")
  .doc("arinell-pizza")
  .collection("ratings")
  .get();

Swift

Примечание. Этот продукт недоступен для watchOS и App Clip. 
do {
  let snapshot = try await db.collection("restaurants")
    .document("arinell-pizza")
    .collection("ratings")
    .getDocuments()
  print(snapshot)
} catch {
  print(error)
}

Objective-C

Примечание. Этот продукт недоступен для watchOS и App Clip. 
FIRQuery *query = [[[self.db collectionWithPath:@"restaurants"]
    documentWithPath:@"arinell-pizza"] collectionWithPath:@"ratings"];
[query getDocumentsWithCompletion:^(FIRQuerySnapshot * _Nullable snapshot,
                                    NSError * _Nullable error) {
  // ...
}];

Kotlin 

db.collection("restaurants")
    .document("arinell-pizza")
    .collection("ratings")
    .get()

Java 

db.collection("restaurants")
        .document("arinell-pizza")
        .collection("ratings")
        .get();

Вместо того чтобы получать все оценки и затем вычислять агрегированную информацию, мы можем хранить эту информацию в самом документе ресторана:

Веб-приложение

var arinellDoc = {
  name: 'Arinell Pizza',
  avgRating: 4.65,
  numRatings: 683
};

Swift

Примечание. Этот продукт недоступен для watchOS и App Clip. 
struct Restaurant {

  let name: String
  let avgRating: Float
  let numRatings: Int

}

let arinell = Restaurant(name: "Arinell Pizza", avgRating: 4.65, numRatings: 683)

Objective-C

Примечание. Этот продукт недоступен для watchOS и App Clip. 
@interface FIRRestaurant : NSObject

@property (nonatomic, readonly) NSString *name;
@property (nonatomic, readonly) float averageRating;
@property (nonatomic, readonly) NSInteger ratingCount;

- (instancetype)initWithName:(NSString *)name
               averageRating:(float)averageRating
                 ratingCount:(NSInteger)ratingCount;

@end

@implementation FIRRestaurant

- (instancetype)initWithName:(NSString *)name
               averageRating:(float)averageRating
                 ratingCount:(NSInteger)ratingCount {
  self = [super init];
  if (self != nil) {
    _name = name;
    _averageRating = averageRating;
    _ratingCount = ratingCount;
  }
  return self;
}

@end

Kotlin 

data class Restaurant(
    // default values required for use with "toObject"
    internal var name: String = "",
    internal var avgRating: Double = 0.0,
    internal var numRatings: Int = 0,
)
 
val arinell = Restaurant("Arinell Pizza", 4.65, 683)

Java 

public class Restaurant {
    String name;
    double avgRating;
    int numRatings;

    public Restaurant(String name, double avgRating, int numRatings) {
        this.name = name;
        this.avgRating = avgRating;
        this.numRatings = numRatings;
    }
}
 
Restaurant arinell = new Restaurant("Arinell Pizza", 4.65, 683);

Чтобы эти агрегаты оставались согласованными, их необходимо обновлять каждый раз. в подколлекцию добавляется новый рейтинг. Один из способов добиться согласованности – выполнить добавление и обновление в рамках одной транзакции:

Веб-приложение

function addRating(restaurantRef, rating) {
    // Create a reference for a new rating, for use inside the transaction
    var ratingRef = restaurantRef.collection('ratings').doc();

    // In a transaction, add the new rating and update the aggregate totals
    return db.runTransaction((transaction) => {
        return transaction.get(restaurantRef).then((res) => {
            if (!res.exists) {
                throw "Document does not exist!";
            }

            // Compute new number of ratings
            var newNumRatings = res.data().numRatings + 1;

            // Compute new average rating
            var oldRatingTotal = res.data().avgRating * res.data().numRatings;
            var newAvgRating = (oldRatingTotal + rating) / newNumRatings;

            // Commit to Firestore
            transaction.update(restaurantRef, {
                numRatings: newNumRatings,
                avgRating: newAvgRating
            });
            transaction.set(ratingRef, { rating: rating });
        });
    });
}

Swift

Примечание. Этот продукт недоступен для watchOS и App Clip. 
func addRatingTransaction(restaurantRef: DocumentReference, rating: Float) async {
  let ratingRef: DocumentReference = restaurantRef.collection("ratings").document()

  do {
    let _ = try await db.runTransaction({ (transaction, errorPointer) -> Any? in
      do {
        let restaurantDocument = try transaction.getDocument(restaurantRef).data()
        guard var restaurantData = restaurantDocument else { return nil }

        // Compute new number of ratings
        let numRatings = restaurantData["numRatings"] as! Int
        let newNumRatings = numRatings + 1

        // Compute new average rating
        let avgRating = restaurantData["avgRating"] as! Float
        let oldRatingTotal = avgRating * Float(numRatings)
        let newAvgRating = (oldRatingTotal + rating) / Float(newNumRatings)

        // Set new restaurant info
        restaurantData["numRatings"] = newNumRatings
        restaurantData["avgRating"] = newAvgRating

        // Commit to Firestore
        transaction.setData(restaurantData, forDocument: restaurantRef)
        transaction.setData(["rating": rating], forDocument: ratingRef)
      } catch {
        // Error getting restaurant data
        // ...
      }

      return nil
    })
  } catch {
    // ...
  }
}

Objective-C

Примечание. Этот продукт недоступен для watchOS и App Clip. 
- (void)addRatingTransactionWithRestaurantReference:(FIRDocumentReference *)restaurant
                                             rating:(float)rating {
  FIRDocumentReference *ratingReference =
      [[restaurant collectionWithPath:@"ratings"] documentWithAutoID];

  [self.db runTransactionWithBlock:^id (FIRTransaction *transaction,
                                        NSError **errorPointer) {
    FIRDocumentSnapshot *restaurantSnapshot =
        [transaction getDocument:restaurant error:errorPointer];

    if (restaurantSnapshot == nil) {
      return nil;
    }

    NSMutableDictionary *restaurantData = [restaurantSnapshot.data mutableCopy];
    if (restaurantData == nil) {
      return nil;
    }

    // Compute new number of ratings
    NSInteger ratingCount = [restaurantData[@"numRatings"] integerValue];
    NSInteger newRatingCount = ratingCount + 1;

    // Compute new average rating
    float averageRating = [restaurantData[@"avgRating"] floatValue];
    float newAverageRating = (averageRating * ratingCount + rating) / newRatingCount;

    // Set new restaurant info

    restaurantData[@"numRatings"] = @(newRatingCount);
    restaurantData[@"avgRating"] = @(newAverageRating);

    // Commit to Firestore
    [transaction setData:restaurantData forDocument:restaurant];
    [transaction setData:@{@"rating": @(rating)} forDocument:ratingReference];
    return nil;
  } completion:^(id  _Nullable result, NSError * _Nullable error) {
    // ...
  }];
}

Kotlin 

private fun addRating(restaurantRef: DocumentReference, rating: Float): Task<Void> {
    // Create reference for new rating, for use inside the transaction
    val ratingRef = restaurantRef.collection("ratings").document()

    // In a transaction, add the new rating and update the aggregate totals
    return db.runTransaction { transaction ->
        val restaurant = transaction.get(restaurantRef).toObject<Restaurant>()!!

        // Compute new number of ratings
        val newNumRatings = restaurant.numRatings + 1

        // Compute new average rating
        val oldRatingTotal = restaurant.avgRating * restaurant.numRatings
        val newAvgRating = (oldRatingTotal + rating) / newNumRatings

        // Set new restaurant info
        restaurant.numRatings = newNumRatings
        restaurant.avgRating = newAvgRating

        // Update restaurant
        transaction.set(restaurantRef, restaurant)

        // Update rating
        val data = hashMapOf<String, Any>(
            "rating" to rating,
        )
        transaction.set(ratingRef, data, SetOptions.merge())

        null
    }
}

Java 

private Task<Void> addRating(final DocumentReference restaurantRef, final float rating) {
    // Create reference for new rating, for use inside the transaction
    final DocumentReference ratingRef = restaurantRef.collection("ratings").document();

    // In a transaction, add the new rating and update the aggregate totals
    return db.runTransaction(new Transaction.Function<Void>() {
        @Override
        public Void apply(@NonNull Transaction transaction) throws FirebaseFirestoreException {
            Restaurant restaurant = transaction.get(restaurantRef).toObject(Restaurant.class);

            // Compute new number of ratings
            int newNumRatings = restaurant.numRatings + 1;

            // Compute new average rating
            double oldRatingTotal = restaurant.avgRating * restaurant.numRatings;
            double newAvgRating = (oldRatingTotal + rating) / newNumRatings;

            // Set new restaurant info
            restaurant.numRatings = newNumRatings;
            restaurant.avgRating = newAvgRating;

            // Update restaurant
            transaction.set(restaurantRef, restaurant);

            // Update rating
            Map<String, Object> data = new HashMap<>();
            data.put("rating", rating);
            transaction.set(ratingRef, data, SetOptions.merge());

            return null;
        }
    });
}

Использование транзакции обеспечивает согласованность агрегированных данных с базовой коллекцией. Подробнее о транзакциях в Cloud Firestore читайте в статье Транзакции и пакетная запись.

Ограничения

В приведенном выше решении показано, как агрегировать данные с помощью клиентской библиотеки Cloud Firestore. Однако необходимо учитывать следующие ограничения:

  • Безопасность. Клиентские транзакции требуют предоставления клиентам разрешения на обновление агрегированных данных в вашей базе данных. Вы можете снизить риски, связанные с этим подходом, создав расширенные правила безопасности, но это может быть уместно не во всех ситуациях.
  • Поддержка офлайн-режима. Клиентские транзакции не будут выполняться, если устройство пользователя находится в офлайн-режиме. Это значит, что вам нужно предусмотреть такую ситуацию в приложении и повторить попытку в подходящее время.
  • Производительность. Если транзакция содержит несколько операций чтения, записи и обновления, может потребоваться несколько запросов к серверной части Cloud Firestore. На мобильном устройстве это может занять много времени.
  • Скорость записи. Это решение может не работать для часто обновляемых агрегаций, поскольку документы Cloud Firestore можно обновлять не чаще одного раза в секунду. Кроме того, если транзакция считывает документ, который был изменен за ее пределами, она повторяется ограниченное количество раз, а затем завершается с ошибкой. Если вам нужно чаще обновлять агрегированные данные, ознакомьтесь с информацией о распределенных счетчиках.

Решение: агрегирование во время записи с помощью Cloud Functions

Если клиентские транзакции не подходят для вашего приложения, вы можете использовать функцию Cloud Functions для обновления агрегированной информации каждый раз, когда к ресторану добавляется новая оценка:

Node.js

exports.aggregateRatings = functions.firestore
    .document('restaurants/{restId}/ratings/{ratingId}')
    .onWrite(async (change, context) => {
      // Get value of the newly added rating
      const ratingVal = change.after.data().rating;

      // Get a reference to the restaurant
      const restRef = db.collection('restaurants').doc(context.params.restId);

      // Update aggregations in a transaction
      await db.runTransaction(async (transaction) => {
        const restDoc = await transaction.get(restRef);

        // Compute new number of ratings
        const newNumRatings = restDoc.data().numRatings + 1;

        // Compute new average rating
        const oldRatingTotal = restDoc.data().avgRating * restDoc.data().numRatings;
        const newAvgRating = (oldRatingTotal + ratingVal) / newNumRatings;

        // Update restaurant info
        transaction.update(restRef, {
          avgRating: newAvgRating,
          numRatings: newNumRatings
        });
      });
    });

Это решение переносит работу с клиента на размещенную функцию, что означает, что ваше мобильное приложение может добавлять оценки, не дожидаясь завершения транзакции. На код, выполняемый в Cloud Function, не распространяются правила безопасности, поэтому вам больше не нужно предоставлять клиентам доступ на запись к агрегированным данным.

Ограничения

Использование функции Cloud Functions для агрегирования позволяет избежать некоторых проблем с клиентскими транзакциями, но имеет ряд ограничений:

  • Стоимость. Каждая добавленная оценка вызывает функцию Cloud Functions, что может увеличить ваши расходы. Дополнительную информацию можно найти на странице с ценами Cloud Functions.
  • Задержка. При переносе агрегирования в функцию Cloud Functions приложение не увидит обновленные данные, пока функция не завершит работу и клиент не получит уведомление о новых данных. В зависимости от скорости работы функции Cloud Functions это может занять больше времени, чем выполнение транзакции локально.
  • Скорость записи. Это решение может не работать для часто обновляемых агрегаций, поскольку документы Cloud Firestore можно обновлять не чаще одного раза в секунду. Кроме того, если транзакция считывает документ, который был изменен за ее пределами, она повторяется ограниченное количество раз, а затем завершается с ошибкой. Если вам нужно чаще обновлять агрегированные данные, ознакомьтесь с информацией о распределенных счетчиках.