Сводка

Описание

Этап aggregate(...) вычисляет агрегированные результаты (например, количество, сумму) на основе документов, возвращенных на предыдущем этапе.

Если указано выражение группировки, то документы группируются на основе этого выражения, а затем к каждой группе применяются функции аккумулятора.

Примеры

Для агрегирования без группировки этап aggregate(...) принимает одно или несколько выражений агрегатора с псевдонимами:

Node.js

const cities = await db.pipeline()
  .collection("/cities")
  .aggregate(
      countAll().as("total"),
      average("population").as("avg_population")
  )
  .execute();

Для агрегирования с группировкой, помимо агрегаторов, требуются дополнительные группы:

Node.js

const result = await db.pipeline()
  .collectionGroup('citites')
  .aggregate({
    accumulators: [
      countAll().as('cities'),
      field('population').sum().as('total_popoluation')
    ],
    groups: [field('location.state').as('state')]
  })
  .execute();

Поведение

Агрегирование без группировки

Создайте коллекцию cities со следующими документами:

Node.js

await db.collection('cities').doc('SF').set({name: 'San Francisco', state: 'CA', country: 'USA', population: 870000});
await db.collection('cities').doc('LA').set({name: 'Los Angeles', state: 'CA', country: 'USA', population: 3970000});
await db.collection('cities').doc('NY').set({name: 'New York', state: 'NY', country: 'USA', population: 8530000});
await db.collection('cities').doc('TOR').set({name: 'Toronto', state: null, country: 'Canada', population: 2930000});
await db.collection('cities').doc('MEX').set({name: 'Mexico City', state: null, country: 'Mexico', population: 9200000});

Чтобы узнать общее количество городов и среднюю численность населения в них:

Node.js

const cities = await db.pipeline()
  .collection("/cities")
  .aggregate(
      countAll().as("total"),
      average("population").as("avg_population")
  )
  .execute();

В результате вы получите следующее:

{avg_population: 5100000, total: 5}

Как выполнять агрегирование в группах

Указав аргумент groups, вы можете выполнять агрегирование для каждой отдельной группы.

Например, чтобы найти город с самым большим населением в каждой стране и каждом штате, выполните следующие действия:

Node.js

const cities = await db.pipeline()
  .collection("/cities")
  .aggregate({
      accumulators: [
          countAll().as("number_of_cities"),
          maximum("population").as("max_population")
      ],
      groups: ["country", "state"]
  })
  .execute();

что дает:

{country: "USA", state: "CA", max_population: 3970000, number_of_cities: 2},
{country: "USA", state: "NY", max_population: 8530000, number_of_cities: 1},
{country: "Canada", state: null, max_population: 2930000, number_of_cities: 1},
{country: "Mexico", state: null,  max_population: 9200000, number_of_cities: 1}

Сложные выражения в группировке

Помимо группировки по значениям полей, этап aggregate(...) поддерживает группировку по результатам сложных выражений. В качестве ключа группировки можно использовать любое выражение, допустимое на этапе select(...). Это позволяет гибко группировать данные на основе вычисленных значений или условий.

Например, чтобы сгруппировать данные по наличию значения в поле state и узнать общую численность населения в каждой группе, выполните следующий запрос:

Node.js

const cities = await db.pipeline()
  .collection("/cities")
  .aggregate({
      accumulators: [
         sum("population").as("total_population")
      ],
      groups: [equal(field("state"), null).as("state_is_null")]
  })
  .execute();

вернет:

{state_is_null: true, total_population: 12130000}
{state_is_null: false, total_population: 13370000}

Поведение агрегаторов

Принципы агрегирования для каждой поддерживаемой функции (например, count, sum, avg) описаны на странице Агрегатные функции.

Поведение клавиш группы

При группировке документов Cloud Firestore использует семантику равенства, чтобы определить, принадлежат ли значения к одной группе.

Это означает, что эквивалентные значения, например математически эквивалентные числовые значения, независимо от исходного типа (32-битное целое число, 64-битное целое число, числа с плавающей запятой, decimal128 и т. д.), группируются вместе.

Например, в коллекции numerics с разными документами, содержащими значения foo 32-битного целого числа 1, 64-битного целого числа 1L и числа с плавающей запятой 1.0 соответственно, все они будут объединены в одну группу. Если выполнить подсчет с группировкой по foo, то будут возвращены следующие результаты:

{foo: 1.0, count: 3}

В таких случаях при наличии в наборе данных различных эквивалентных значений выходным значением группы может быть любое из этих эквивалентных значений. В этом примере foo может быть 1, 1L или 1.0.

Даже если кажется, что это детерминировано, не полагайтесь на то, что будет выбрано какое-то определенное значение.

Использование памяти

Способ выполнения агрегирования зависит от доступных индексов. Если оптимизатор запросов не выбрал подходящий индекс, агрегату необходимо буферизовать все группы в памяти.

Если групп очень много или каждая из них очень большая (например, группировка по огромным значениям), на этом этапе может не хватить памяти.

В таких случаях следует применить фильтры, чтобы ограничить набор данных для агрегирования, сгруппировать данные по меньшему количеству полей или создать индексы, как рекомендуется, чтобы избежать большого использования памяти. Query Explain предоставляет информацию о фактическом плане выполнения запроса и данные профилирования, которые помогают в отладке.