Агрегации времени записи

Запросы в Cloud Firestore позволяют находить документы в больших коллекциях. Чтобы получить представление о свойствах коллекции в целом, вы можете агрегировать данные по коллекции.

Вы можете агрегировать данные либо во время чтения, либо во время записи:

• Агрегации во время чтения вычисляют результат во время запроса. Cloud Firestore поддерживает запросы агрегации count() , sum() и average() во время чтения. Запросы агрегации во время чтения легче добавить в приложение, чем агрегации во время записи. Дополнительные сведения о запросах агрегирования см. в разделе Суммирование данных с помощью запросов агрегирования .

• Агрегации во время записи вычисляют результат каждый раз, когда приложение выполняет соответствующую операцию записи. Реализация агрегатов во время записи требует больше усилий, но вы можете использовать их вместо агрегатов во время чтения по одной из следующих причин:

  • Вы хотите прослушать результат агрегирования для обновлений в реальном времени. Запросы агрегации count() , sum() и average() не поддерживают обновления в реальном времени.
  • Вы хотите сохранить результат агрегации в кэше на стороне клиента. Запросы агрегации count() , sum() и average() не поддерживают кеширование.
  • Вы агрегируете данные из десятков тысяч документов для каждого из ваших пользователей и учитываете затраты. При меньшем количестве документов агрегирование во время чтения обходится дешевле. Для большого количества документов в агрегатах агрегаты времени записи могут стоить дешевле.

Вы можете реализовать агрегацию во время записи, используя транзакцию на стороне клиента или с помощью Cloud Functions . В следующих разделах описывается, как реализовать агрегаты во время записи.

Решение: агрегирование во время записи с транзакцией на стороне клиента.

Рассмотрим приложение с местными рекомендациями, которое помогает пользователям находить отличные рестораны. Следующий запрос извлекает все рейтинги данного ресторана:

Интернет

db.collection("restaurants")
  .doc("arinell-pizza")
  .collection("ratings")
  .get();
test.solution-aggregation.js

Быстрый

Примечание. Этот продукт недоступен для целевых устройств watchOS и App Clip.

do {
  let snapshot = try await db.collection("restaurants")
    .document("arinell-pizza")
    .collection("ratings")
    .getDocuments()
  print(snapshot)
} catch {
  print(error)
}
SolutionAggregationViewController.swift

Цель-C

Примечание. Этот продукт недоступен для целевых устройств watchOS и App Clip.

FIRQuery *query = [[[self.db collectionWithPath:@"restaurants"]
    documentWithPath:@"arinell-pizza"] collectionWithPath:@"ratings"];
[query getDocumentsWithCompletion:^(FIRQuerySnapshot * _Nullable snapshot,
                                    NSError * _Nullable error) {
  // ...
}];
FIRSolutionAggregationViewController.m

Kotlin+KTX

db.collection("restaurants")
    .document("arinell-pizza")
    .collection("ratings")
    .get()
SolutionAggregation.kt

Java

db.collection("restaurants")
        .document("arinell-pizza")
        .collection("ratings")
        .get();
SolutionAggregation.java

Вместо того, чтобы получать все рейтинги и затем вычислять совокупную информацию, мы можем хранить эту информацию в самом документе ресторана:

Интернет

var arinellDoc = {
  name: 'Arinell Pizza',
  avgRating: 4.65,
  numRatings: 683
};
test.solution-aggregation.js

Быстрый

Примечание. Этот продукт недоступен для целевых устройств watchOS и App Clip.

struct Restaurant {

  let name: String
  let avgRating: Float
  let numRatings: Int

}

let arinell = Restaurant(name: "Arinell Pizza", avgRating: 4.65, numRatings: 683)
SolutionAggregationViewController.swift

Цель-C

Примечание. Этот продукт недоступен для целевых устройств watchOS и App Clip.

@interface FIRRestaurant : NSObject

@property (nonatomic, readonly) NSString *name;
@property (nonatomic, readonly) float averageRating;
@property (nonatomic, readonly) NSInteger ratingCount;

- (instancetype)initWithName:(NSString *)name
               averageRating:(float)averageRating
                 ratingCount:(NSInteger)ratingCount;

@end

@implementation FIRRestaurant

- (instancetype)initWithName:(NSString *)name
               averageRating:(float)averageRating
                 ratingCount:(NSInteger)ratingCount {
  self = [super init];
  if (self != nil) {
    _name = name;
    _averageRating = averageRating;
    _ratingCount = ratingCount;
  }
  return self;
}

@end
FIRSolutionAggregationViewController.m

Kotlin+KTX

data class Restaurant(
    // default values required for use with "toObject"
    internal var name: String = "",
    internal var avgRating: Double = 0.0,
    internal var numRatings: Int = 0,
)

val arinell = Restaurant("Arinell Pizza", 4.65, 683)
SolutionAggregation.kt

Java

public class Restaurant {
    String name;
    double avgRating;
    int numRatings;

    public Restaurant(String name, double avgRating, int numRatings) {
        this.name = name;
        this.avgRating = avgRating;
        this.numRatings = numRatings;
    }
}

Restaurant arinell = new Restaurant("Arinell Pizza", 4.65, 683);
SolutionAggregation.java

Чтобы обеспечить согласованность этих агрегатов, их необходимо обновлять каждый раз, когда в подколлекцию добавляется новый рейтинг. Одним из способов достижения согласованности является выполнение добавления и обновления в одной транзакции:

Интернет

function addRating(restaurantRef, rating) {
    // Create a reference for a new rating, for use inside the transaction
    var ratingRef = restaurantRef.collection('ratings').doc();

    // In a transaction, add the new rating and update the aggregate totals
    return db.runTransaction((transaction) => {
        return transaction.get(restaurantRef).then((res) => {
            if (!res.exists) {
                throw "Document does not exist!";
            }

            // Compute new number of ratings
            var newNumRatings = res.data().numRatings + 1;

            // Compute new average rating
            var oldRatingTotal = res.data().avgRating * res.data().numRatings;
            var newAvgRating = (oldRatingTotal + rating) / newNumRatings;

            // Commit to Firestore
            transaction.update(restaurantRef, {
                numRatings: newNumRatings,
                avgRating: newAvgRating
            });
            transaction.set(ratingRef, { rating: rating });
        });
    });
}
test.firestore.js

Быстрый

Примечание. Этот продукт недоступен для целевых устройств watchOS и App Clip.

func addRatingTransaction(restaurantRef: DocumentReference, rating: Float) async {
  let ratingRef: DocumentReference = restaurantRef.collection("ratings").document()

  do {
    let _ = try await db.runTransaction({ (transaction, errorPointer) -> Any? in
      do {
        let restaurantDocument = try transaction.getDocument(restaurantRef).data()
        guard var restaurantData = restaurantDocument else { return nil }

        // Compute new number of ratings
        let numRatings = restaurantData["numRatings"] as! Int
        let newNumRatings = numRatings + 1

        // Compute new average rating
        let avgRating = restaurantData["avgRating"] as! Float
        let oldRatingTotal = avgRating * Float(numRatings)
        let newAvgRating = (oldRatingTotal + rating) / Float(newNumRatings)

        // Set new restaurant info
        restaurantData["numRatings"] = newNumRatings
        restaurantData["avgRating"] = newAvgRating

        // Commit to Firestore
        transaction.setData(restaurantData, forDocument: restaurantRef)
        transaction.setData(["rating": rating], forDocument: ratingRef)
      } catch {
        // Error getting restaurant data
        // ...
      }

      return nil
    })
  } catch {
    // ...
  }
}
SolutionAggregationViewController.swift

Цель-C

Примечание. Этот продукт недоступен для целевых устройств watchOS и App Clip.

- (void)addRatingTransactionWithRestaurantReference:(FIRDocumentReference *)restaurant
                                             rating:(float)rating {
  FIRDocumentReference *ratingReference =
      [[restaurant collectionWithPath:@"ratings"] documentWithAutoID];

  [self.db runTransactionWithBlock:^id (FIRTransaction *transaction,
                                        NSError **errorPointer) {
    FIRDocumentSnapshot *restaurantSnapshot =
        [transaction getDocument:restaurant error:errorPointer];

    if (restaurantSnapshot == nil) {
      return nil;
    }

    NSMutableDictionary *restaurantData = [restaurantSnapshot.data mutableCopy];
    if (restaurantData == nil) {
      return nil;
    }

    // Compute new number of ratings
    NSInteger ratingCount = [restaurantData[@"numRatings"] integerValue];
    NSInteger newRatingCount = ratingCount + 1;

    // Compute new average rating
    float averageRating = [restaurantData[@"avgRating"] floatValue];
    float newAverageRating = (averageRating * ratingCount + rating) / newRatingCount;

    // Set new restaurant info

    restaurantData[@"numRatings"] = @(newRatingCount);
    restaurantData[@"avgRating"] = @(newAverageRating);

    // Commit to Firestore
    [transaction setData:restaurantData forDocument:restaurant];
    [transaction setData:@{@"rating": @(rating)} forDocument:ratingReference];
    return nil;
  } completion:^(id  _Nullable result, NSError * _Nullable error) {
    // ...
  }];
}
FIRSolutionAggregationViewController.m

Kotlin+KTX

private fun addRating(restaurantRef: DocumentReference, rating: Float): Task<Void> {
    // Create reference for new rating, for use inside the transaction
    val ratingRef = restaurantRef.collection("ratings").document()

    // In a transaction, add the new rating and update the aggregate totals
    return db.runTransaction { transaction ->
        val restaurant = transaction.get(restaurantRef).toObject<Restaurant>()!!

        // Compute new number of ratings
        val newNumRatings = restaurant.numRatings + 1

        // Compute new average rating
        val oldRatingTotal = restaurant.avgRating * restaurant.numRatings
        val newAvgRating = (oldRatingTotal + rating) / newNumRatings

        // Set new restaurant info
        restaurant.numRatings = newNumRatings
        restaurant.avgRating = newAvgRating

        // Update restaurant
        transaction.set(restaurantRef, restaurant)

        // Update rating
        val data = hashMapOf<String, Any>(
            "rating" to rating,
        )
        transaction.set(ratingRef, data, SetOptions.merge())

        null
    }
}
SolutionAggregation.kt

Java

private Task<Void> addRating(final DocumentReference restaurantRef, final float rating) {
    // Create reference for new rating, for use inside the transaction
    final DocumentReference ratingRef = restaurantRef.collection("ratings").document();

    // In a transaction, add the new rating and update the aggregate totals
    return db.runTransaction(new Transaction.Function<Void>() {
        @Override
        public Void apply(@NonNull Transaction transaction) throws FirebaseFirestoreException {
            Restaurant restaurant = transaction.get(restaurantRef).toObject(Restaurant.class);

            // Compute new number of ratings
            int newNumRatings = restaurant.numRatings + 1;

            // Compute new average rating
            double oldRatingTotal = restaurant.avgRating * restaurant.numRatings;
            double newAvgRating = (oldRatingTotal + rating) / newNumRatings;

            // Set new restaurant info
            restaurant.numRatings = newNumRatings;
            restaurant.avgRating = newAvgRating;

            // Update restaurant
            transaction.set(restaurantRef, restaurant);

            // Update rating
            Map<String, Object> data = new HashMap<>();
            data.put("rating", rating);
            transaction.set(ratingRef, data, SetOptions.merge());

            return null;
        }
    });
}
SolutionAggregation.java

Использование транзакции обеспечивает согласованность ваших совокупных данных с базовой коллекцией. Подробнее о транзакциях в Cloud Firestore см. в разделе Транзакции и пакетная запись .

Ограничения

Решение, показанное выше, демонстрирует агрегацию данных с использованием клиентской библиотеки Cloud Firestore , но вам следует учитывать следующие ограничения:

• Безопасность . Транзакции на стороне клиента требуют предоставления клиентам разрешения на обновление совокупных данных в вашей базе данных. Хотя вы можете снизить риски этого подхода, написав расширенные правила безопасности, это может быть не во всех ситуациях целесообразно.
• Поддержка в автономном режиме . Транзакции на стороне клиента завершатся неудачей, когда устройство пользователя находится в автономном режиме. Это означает, что вам необходимо обработать этот случай в своем приложении и повторить попытку в подходящее время.
• Производительность . Если ваша транзакция содержит несколько операций чтения, записи и обновления, может потребоваться несколько запросов к серверной части Cloud Firestore . На мобильном устройстве это может занять значительное время.
• Скорость записи — это решение может не работать для часто обновляемых агрегатов, поскольку документы Cloud Firestore могут обновляться не чаще одного раза в секунду. Кроме того, если транзакция считывает документ, который был изменен вне транзакции, она повторяет попытку ограниченное число раз , а затем завершается сбоем. Ознакомьтесь с распределенными счетчиками , чтобы найти подходящее решение для агрегатов, которые требуют более частых обновлений.

Решение: агрегирование во время записи с помощью облачных функций.

Если транзакции на стороне клиента не подходят для вашего приложения, вы можете использовать облачную функцию для обновления совокупной информации каждый раз, когда в ресторан добавляется новый рейтинг:

Node.js

exports.aggregateRatings = functions.firestore
    .document('restaurants/{restId}/ratings/{ratingId}')
    .onWrite(async (change, context) => {
      // Get value of the newly added rating
      const ratingVal = change.after.data().rating;

      // Get a reference to the restaurant
      const restRef = db.collection('restaurants').doc(context.params.restId);

      // Update aggregations in a transaction
      await db.runTransaction(async (transaction) => {
        const restDoc = await transaction.get(restRef);

        // Compute new number of ratings
        const newNumRatings = restDoc.data().numRatings + 1;

        // Compute new average rating
        const oldRatingTotal = restDoc.data().avgRating * restDoc.data().numRatings;
        const newAvgRating = (oldRatingTotal + ratingVal) / newNumRatings;

        // Update restaurant info
        transaction.update(restRef, {
          avgRating: newAvgRating,
          numRatings: newNumRatings
        });
      });
    });
index.js

Это решение перекладывает работу с клиента на размещенную функцию, а это означает, что ваше мобильное приложение может добавлять оценки, не дожидаясь завершения транзакции. Код, выполняемый в облачной функции, не связан правилами безопасности, а это означает, что вам больше не нужно предоставлять клиентам доступ для записи к совокупным данным.

Ограничения

Использование облачной функции для агрегирования позволяет избежать некоторых проблем с транзакциями на стороне клиента, но имеет другой набор ограничений:

• Стоимость . Каждый добавленный рейтинг приведет к вызову облачной функции, что может увеличить ваши расходы. Дополнительную информацию см. на странице цен на облачные функции.
• Задержка . Если передать работу по агрегированию облачной функции, ваше приложение не увидит обновленные данные до тех пор, пока облачная функция не завершит выполнение и клиент не будет уведомлен о новых данных. В зависимости от скорости вашей облачной функции это может занять больше времени, чем выполнение транзакции локально.
• Скорость записи — это решение может не работать для часто обновляемых агрегатов, поскольку документы Cloud Firestore могут обновляться не чаще одного раза в секунду. Кроме того, если транзакция считывает документ, который был изменен вне транзакции, она повторяет попытку ограниченное число раз , а затем завершается сбоем. Ознакомьтесь с распределенными счетчиками , чтобы найти подходящее решение для агрегатов, которые требуют более частых обновлений.