Ознакомьтесь с этим документом, чтобы получить рекомендации по масштабированию вашего бессерверного приложения до уровня, превышающего тысячи операций в секунду или сотни тысяч одновременных пользователей. Этот документ содержит расширенные разделы, которые помогут вам глубоко понять систему. Если вы только начинаете работать с Cloud Firestore , обратитесь к руководству по быстрому запуску .
Cloud Firestore and the Firebase mobile/web SDKs provide a powerful model for developing serverless apps where client-side code directly accesses the database. The SDKs let clients listen for updates to the data in real time. You can use real-time updates to build responsive apps that don't require server infrastructure. While it's very easy to get something up and running, it helps to understand the constraints in the systems that make up Cloud Firestore so that your serverless app scales and performs well when traffic increases.
В следующих разделах вы найдете советы по масштабированию вашего приложения.
Выберите местоположение базы данных, расположенное как можно ближе к вашим пользователям.
На следующей диаграмме представлена архитектура приложения реального времени:
When an app that is running on a user's device (mobile or web) establishes a connection to Cloud Firestore , the connection is routed to a Cloud Firestore frontend server in the same region where your database is located. For example, if your database is in us-east1 , the connection also goes to a Cloud Firestore frontend also in us-east1 . These connections are long-lived and stay open until explicitly closed by the app. The frontend reads data from the underlying Cloud Firestore storage systems.
The distance between a user's physical location and the Cloud Firestore database location affects the latency experienced by the user. For example, a user in India whose app talks to a database in a Google Cloud region in North America might find the experience slower and the app less snappy than if the database was instead located closer, such as in India or in another part of Asia.
Проектирование с учетом надежности
Следующие темы улучшают или влияют на надежность вашего приложения:
Включить автономный режим
SDK Firebase обеспечивают сохранение данных в автономном режиме. Если приложение на устройстве пользователя не может подключиться к Cloud Firestore , оно остается работоспособным, используя локально кэшированные данные. Это гарантирует доступ к данным даже при нестабильном интернет-соединении или полной потере доступа на несколько часов или дней. Более подробную информацию об автономном режиме см. в разделе «Включение автономных данных» .
Разберитесь с автоматическими повторными попытками.
SDK Firebase берут на себя повторные попытки выполнения операций и восстановление разорванных соединений. Это помогает обойти временные ошибки, вызванные перезапуском серверов или проблемами в сети между клиентом и базой данных.
Выберите между региональными и многорегиональными локациями.
При выборе между региональным и многорегиональным размещением данных приходится идти на компромиссы. Главное различие заключается в способе репликации данных. Это определяет гарантии доступности вашего приложения. Многорегиональный экземпляр обеспечивает более высокую надежность обслуживания и повышает отказоустойчивость данных, но платой за это является стоимость.
Разберитесь в системе обработки запросов в реальном времени.
Real-time queries, also called snapshot listeners, let the app listen to changes in the database and get low-latency notifications as soon as the data changes. An app can get the same result by periodically polling the database for updates, but it's often slower, more expensive, and requires more code. For examples of how to set up and use real-time queries, see Get real-time updates . The following sections get into details of how snapshot listeners work and describe some of the best practices for scaling real-time queries while retaining performance.
Представьте себе двух пользователей, которые подключаются к Cloud Firestore через приложение для обмена сообщениями, созданное с использованием одного из мобильных SDK.
Клиент А записывает данные в базу данных для добавления и обновления документов в коллекции под названием chatroom :
collection chatroom:
document message1:
from: 'Sparky'
message: 'Welcome to Cloud Firestore!'
document message2:
from: 'Santa'
message: 'Presents are coming'
Клиент B отслеживает обновления в той же коллекции, используя обработчик снимков. Клиент B получает немедленное уведомление всякий раз, когда кто-то создает новое сообщение. На следующей диаграмме показана архитектура обработчика снимков:
При подключении клиентом B обработчика снимков к базе данных происходит следующая последовательность событий:
- Клиент B устанавливает соединение с Cloud Firestore и регистрирует слушатель, вызывая метод
onSnapshot(collection("chatroom"))через SDK Firebase. Этот слушатель может оставаться активным в течение нескольких часов. - Интерфейс Cloud Firestore запрашивает данные у базовой системы хранения для инициализации набора данных. Он загружает весь набор результатов, соответствующих заданным документам. Мы называем это запросом на опрос . Затем система оценивает правила безопасности Firebase базы данных, чтобы убедиться, что пользователь имеет доступ к этим данным. Если пользователь авторизован, база данных возвращает ему данные.
- Затем запрос клиента B переходит в режим прослушивания . Прослушиватель регистрируется в обработчике подписок и ожидает обновления данных.
- Теперь клиент А отправляет операцию записи для изменения документа.
- База данных фиксирует изменения в документе в своей системе хранения.
- В транзакционном режиме система фиксирует это же обновление во внутреннем журнале изменений. Журнал изменений устанавливает строгий порядок внесения изменений по мере их появления.
- В свою очередь, список изменений распределяет обновленные данные между пулом обработчиков подписок.
- A reverse query matcher executes to see if the updated document matches any currently registered snapshot listeners. In this example, the document matches Client B's snapshot listener. As the name implies, you can think of the reverse query matcher as a normal database query but done in reverse. Instead of searching through documents to find those that match a query, it efficiently searches through queries to find those that match an incoming document. Upon finding a match, the system forwards the document in question to the snapshot listeners. Then the system evaluates the database's Firebase Security Rules to ensure that only authorized users receive the data.
- Система пересылает обновление документа в SDK на устройстве клиента B, и срабатывает обратный вызов
onSnapshot. Если включено локальное сохранение данных, SDK также применяет обновление к локальному кэшу.
A key part of Cloud Firestore 's scalability depends on the fan-out from the changelog to the subscription handlers and the frontend servers. The fan-out lets a single data change to propagate efficiently to serve millions of real-time queries and connected users. By running many replicas of all these components across multiple zones (or multiple regions in the case of a multi-region deployment), Cloud Firestore achieves high availability and scalability.
It's worth noting that all read operations issued from mobile and web SDKs follow the model above. They perform a polling query followed by listen mode to maintain consistency guarantees. This also applies to real-time listeners, calls to retrieve a document, and one-shot queries . You can think of single document retrievals and one-shot queries as short-lived snapshot listeners that come with similar constraints around performance.
Применяйте лучшие практики масштабирования запросов в реальном времени.
Для проектирования масштабируемых запросов в режиме реального времени применяйте следующие передовые методы.
Разберитесь с высокой интенсивностью записи в системе.
Этот раздел поможет вам понять, как система реагирует на растущее число запросов на запись.
The Cloud Firestore changelogs that drive the real-time queries automatically scale horizontally as write traffic increases. As the write rate for a database increases beyond what a single server can handle, the changelog is split across multiple servers, and the query processing starts to consume data from multiple subscription handlers instead of one. From the client and SDK's perspective, this is all transparent and no action is required from the app when splits happen. The following diagram demonstrates how real-time queries scale:
Автоматическое масштабирование позволяет неограниченно увеличивать объем операций записи, но по мере роста трафика системе может потребоваться некоторое время для ответа. Следуйте рекомендациям правила 5-5-5 , чтобы избежать создания «горячих точек» записи. Key Visualizer — полезный инструмент для анализа таких точек.
У многих приложений наблюдается предсказуемый органический рост, с которым Cloud Firestore может справиться без каких-либо мер предосторожности. Однако пакетные операции, такие как импорт большого набора данных, могут привести к слишком быстрому увеличению объема операций записи. При проектировании приложения следите за тем, откуда поступает трафик записи.
Поймите, как взаимодействуют письмо и чтение.
You can think of the real-time query system as a pipeline connecting write operations with readers. Any time a document is created, updated, or deleted, the change propagates from the storage system to the currently registered listeners. Cloud Firestore 's changelog structure guarantees strong consistency, which means that your app never receives notifications of updates that are out of order compared to when the database committed the data changes. This simplifies app development by removing edge cases around data consistency.
This connected pipeline means that a write operation causing hotspots or lock contention can negatively affect read operations. When write operations fail or experience throttling, a read might stall waiting for consistent data from the changelog. If this happens in your app, you might see both slow write operations and correlated slow response times for queries. Avoiding hotspots is the key to steering clear of this problem.
Держите документы и операции по написанию текстов под контролем и оптимизируйте их объем.
При разработке приложений с обработчиками снимков состояния обычно требуется, чтобы пользователи быстро узнавали об изменениях данных. Для этого старайтесь создавать небольшие файлы. Система может очень быстро обрабатывать небольшие документы с десятками полей. Более крупные документы с сотнями полей и большим объемом данных обрабатываются дольше.
Аналогично, отдавайте предпочтение коротким и быстрым операциям фиксации и записи, чтобы минимизировать задержку. Большие пакеты могут обеспечить более высокую пропускную способность с точки зрения записи, но на самом деле могут увеличить время уведомления для обработчиков снимков. Это часто противоречит интуиции по сравнению с использованием других систем баз данных, где пакетная обработка может повысить производительность.
Используйте эффективных слушателей.
As the write rates for your database increase, Cloud Firestore splits the data processing across many servers. Cloud Firestore 's sharding algorithm tries to co-locate data from the same collection or collection group onto the same changelog server. The system tries to maximize the possible write throughput while keeping the number of servers involved in the processing of a query as low as possible.
Однако некоторые шаблоны могут по-прежнему приводить к неоптимальному поведению обработчиков снимков. Например, если ваше приложение хранит большую часть своих данных в одной большой коллекции, обработчику может потребоваться подключиться ко многим серверам, чтобы получить все необходимые данные. Это остается верным даже при применении фильтра запроса. Подключение ко многим серверам увеличивает риск замедления ответа.
Чтобы избежать замедления отклика, разработайте схему и приложение таким образом, чтобы система могла обслуживать слушателей без обращения к множеству разных серверов. Возможно, лучше всего будет разбить ваши данные на более мелкие коллекции с меньшей частотой записи.
This is similar to thinking about the performance queries in a relational database that require full table scans. In a relational database, a query that requires a full table scan is the equivalent of a snapshot listener that watches a high-churn collection. It might perform slowly compared to a query that the database can serve using a more specific index. A query with a more specific index is like a snapshot listener that watches a single document or a collection that changes less often. You should load test your app to best understand the behavior and need of your use case.
Обеспечьте быструю обработку запросов на опрос.
Another key part of responsive real-time queries involves making sure that the polling query to bootstrap the data is fast and efficient. The first time a new snapshot listener connects, the listener must load the entire result set and send it to the user's device. Slow queries make your app less responsive. This includes, for example, queries that try to read many documents or queries that don't use the appropriate indexes.
При определенных обстоятельствах слушатель может также перейти из состояния прослушивания в состояние опроса. Это происходит автоматически и не заметно для SDK и вашего приложения. Следующие условия могут инициировать переход в состояние опроса:
- Система перераспределяет изменения в журнале событий в связи с изменениями нагрузки.
- Наличие «горячих точек» приводит к сбоям или задержкам при записи в базу данных.
- Временные перезапуски сервера временно влияют на работу слушателей.
Если ваши запросы на опрос выполняются достаточно быстро, состояние опроса становится незаметным для пользователей вашего приложения.
Отдавайте предпочтение слушателям, которые живут долго.
Opening and keeping listeners alive for as long as possible is often the most cost-effective way to build an app that uses Cloud Firestore . When using Cloud Firestore , you are billed for the documents returned to your app and not for maintaining an open connection. A long-lived snapshot listener reads only the data it needs to serve the query throughout its lifetime. This includes an initial polling operation followed by notifications when the data actually changes. One-shot queries, on the other hand, re-read data that may not have changed since the app last executed the query.
В случаях, когда ваше приложение должно обрабатывать большой объем данных, обработчики снимков могут быть неуместны. Например, если ваш сценарий использования предполагает передачу множества документов в секунду через соединение в течение длительного периода времени, возможно, лучше выбрать одноразовые запросы, выполняемые с меньшей частотой.
Что дальше?
- Узнайте , как использовать обработчики снимков .
- Узнайте больше о передовых методах .