Nếu một tập hợp chứa các tài liệu có giá trị được lập chỉ mục tuần tự, thì Cloud Firestore sẽ giới hạn tốc độ ghi ở mức 500 lượt ghi mỗi giây. Trang này mô tả cách phân đoạn một trường tài liệu để vượt qua giới hạn này. Trước tiên, hãy xác định ý nghĩa của "trường được lập chỉ mục tuần tự" và làm rõ thời điểm áp dụng giới hạn này.
Các trường được lập chỉ mục tuần tự
"Trường được lập chỉ mục tuần tự" là tập hợp tài liệu bất kỳ chứa một trường được lập chỉ mục tăng hoặc giảm đơn điệu. Trong nhiều trường hợp, điều này có nghĩa là trường timestamp, nhưng bất kỳ giá trị trường nào tăng hoặc giảm đơn điệu đều có thể kích hoạt giới hạn ghi là 500 lượt ghi mỗi giây.
Ví dụ: giới hạn này áp dụng cho một tập hợp gồm user tài liệu có trường được lập chỉ mục userid nếu ứng dụng chỉ định các giá trị userid như sau:
1281, 1282, 1283, 1284, 1285, ...
Mặt khác, không phải trường timestamp nào cũng kích hoạt giới hạn này. Nếu một trường timestamp theo dõi các giá trị được phân phối ngẫu nhiên, thì giới hạn ghi sẽ không áp dụng. Giá trị thực tế của trường cũng không quan trọng, chỉ cần trường đó
tăng hoặc giảm đơn điệu. Ví dụ:
cả hai tập hợp giá trị trường tăng đơn điệu sau đây đều kích hoạt
giới hạn ghi:
100000, 100001, 100002, 100003, ...0, 1, 2, 3, ...
Phân đoạn trường dấu thời gian
Giả sử ứng dụng của bạn sử dụng trường timestamp tăng dần đơn điệu.
Nếu ứng dụng của bạn không sử dụng trường timestamp trong bất kỳ truy vấn nào, bạn có thể xoá giới hạn 500 lượt ghi mỗi giây bằng cách không lập chỉ mục trường dấu thời gian. Nếu bạn cần trường timestamp cho các truy vấn của mình, bạn có thể giải quyết giới hạn này bằng cách sử dụng dấu thời gian phân đoạn:
- Thêm trường
shardbên cạnh trườngtimestamp. Sử dụng1..ngiá trị riêng biệt cho trườngshard. Thao tác này sẽ tăng giới hạn ghi cho tập hợp lên500*n, nhưng bạn phải tổng hợpntruy vấn. - Cập nhật logic ghi để gán ngẫu nhiên một giá trị
shardcho mỗi tài liệu. - Hãy cập nhật các truy vấn của bạn để tổng hợp các nhóm kết quả được phân đoạn.
- Tắt chỉ mục trường đơn cho cả trường
shardvà trườngtimestamp. Xoá các chỉ mục kết hợp hiện có chứa trườngtimestamp. - Tạo chỉ mục kết hợp mới để hỗ trợ các truy vấn đã cập nhật. Thứ tự của các trường trong một chỉ mục rất quan trọng và trường
shardphải đứng trước trườngtimestamp. Mọi chỉ mục có chứa trườngtimestampcũng phải chứa trườngshard.
Bạn chỉ nên triển khai dấu thời gian phân đoạn trong các trường hợp sử dụng có tốc độ ghi duy trì trên 500 lượt ghi mỗi giây. Nếu không, đây là một hoạt động tối ưu hoá sớm. Việc phân đoạn trường timestamp sẽ loại bỏ quy định hạn chế 500 lượt ghi mỗi giây, nhưng đổi lại, bạn cần phải tổng hợp truy vấn phía máy khách.
Các ví dụ sau đây cho thấy cách phân đoạn trường timestamp và cách truy vấn một tập hợp kết quả được phân đoạn.
Mô hình dữ liệu và truy vấn mẫu
Ví dụ: hãy tưởng tượng một ứng dụng phân tích gần như theo thời gian thực về các công cụ tài chính như tiền tệ, cổ phiếu phổ thông và quỹ ETF. Ứng dụng này ghi
tài liệu vào một tập hợp instruments như sau:
Node.js
async function insertData() { const instruments = [ { symbol: 'AAA', price: { currency: 'USD', micros: 34790000 }, exchange: 'EXCHG1', instrumentType: 'commonstock', timestamp: Timestamp.fromMillis( Date.parse('2019-01-01T13:45:23.010Z')) }, { symbol: 'BBB', price: { currency: 'JPY', micros: 64272000000 }, exchange: 'EXCHG2', instrumentType: 'commonstock', timestamp: Timestamp.fromMillis( Date.parse('2019-01-01T13:45:23.101Z')) }, { symbol: 'Index1 ETF', price: { currency: 'USD', micros: 473000000 }, exchange: 'EXCHG1', instrumentType: 'etf', timestamp: Timestamp.fromMillis( Date.parse('2019-01-01T13:45:23.001Z')) } ]; const batch = fs.batch(); for (const inst of instruments) { const ref = fs.collection('instruments').doc(); batch.set(ref, inst); } await batch.commit(); }
Ứng dụng này chạy các truy vấn sau và sắp xếp theo trường timestamp:
Node.js
function createQuery(fieldName, fieldOperator, fieldValue, limit = 5) { return fs.collection('instruments') .where(fieldName, fieldOperator, fieldValue) .orderBy('timestamp', 'desc') .limit(limit) .get(); } function queryCommonStock() { return createQuery('instrumentType', '==', 'commonstock'); } function queryExchange1Instruments() { return createQuery('exchange', '==', 'EXCHG1'); } function queryUSDInstruments() { return createQuery('price.currency', '==', 'USD'); }
insertData() .then(() => { const commonStock = queryCommonStock() .then( (docs) => { console.log('--- queryCommonStock: '); docs.forEach((doc) => { console.log(`doc = ${util.inspect(doc.data(), {depth: 4})}`); }); } ); const exchange1Instruments = queryExchange1Instruments() .then( (docs) => { console.log('--- queryExchange1Instruments: '); docs.forEach((doc) => { console.log(`doc = ${util.inspect(doc.data(), {depth: 4})}`); }); } ); const usdInstruments = queryUSDInstruments() .then( (docs) => { console.log('--- queryUSDInstruments: '); docs.forEach((doc) => { console.log(`doc = ${util.inspect(doc.data(), {depth: 4})}`); }); } ); return Promise.all([commonStock, exchange1Instruments, usdInstruments]); });
Sau khi nghiên cứu, bạn xác định rằng ứng dụng sẽ nhận được từ 1.000 đến 1.500 bản cập nhật công cụ mỗi giây. Tốc độ này vượt quá giới hạn 500 lượt ghi mỗi giây cho phép đối với các tập hợp chứa tài liệu có trường dấu thời gian được lập chỉ mục. Để tăng thông lượng ghi, bạn cần 3 giá trị phân đoạn,
MAX_INSTRUMENT_UPDATES/500 = 3. Ví dụ này sử dụng các giá trị phân đoạn x, y và z. Bạn cũng có thể sử dụng số hoặc các ký tự khác cho giá trị phân đoạn.
Thêm trường phân đoạn
Thêm trường shard vào tài liệu. Đặt trường shard thành các giá trị x, y hoặc z để tăng giới hạn ghi trên tập hợp lên 1.500 lượt ghi mỗi giây.
Node.js
// Define our 'K' shard values const shards = ['x', 'y', 'z']; // Define a function to help 'chunk' our shards for use in queries. // When using the 'in' query filter there is a max number of values that can be // included in the value. If our number of shards is higher than that limit // break down the shards into the fewest possible number of chunks. function shardChunks() { const chunks = []; let start = 0; while (start < shards.length) { const elements = Math.min(MAX_IN_VALUES, shards.length - start); const end = start + elements; chunks.push(shards.slice(start, end)); start = end; } return chunks; } // Add a convenience function to select a random shard function randomShard() { return shards[Math.floor(Math.random() * Math.floor(shards.length))]; }
async function insertData() { const instruments = [ { shard: randomShard(), // add the new shard field to the document symbol: 'AAA', price: { currency: 'USD', micros: 34790000 }, exchange: 'EXCHG1', instrumentType: 'commonstock', timestamp: Timestamp.fromMillis( Date.parse('2019-01-01T13:45:23.010Z')) }, { shard: randomShard(), // add the new shard field to the document symbol: 'BBB', price: { currency: 'JPY', micros: 64272000000 }, exchange: 'EXCHG2', instrumentType: 'commonstock', timestamp: Timestamp.fromMillis( Date.parse('2019-01-01T13:45:23.101Z')) }, { shard: randomShard(), // add the new shard field to the document symbol: 'Index1 ETF', price: { currency: 'USD', micros: 473000000 }, exchange: 'EXCHG1', instrumentType: 'etf', timestamp: Timestamp.fromMillis( Date.parse('2019-01-01T13:45:23.001Z')) } ]; const batch = fs.batch(); for (const inst of instruments) { const ref = fs.collection('instruments').doc(); batch.set(ref, inst); } await batch.commit(); }
Truy vấn dấu thời gian được phân đoạn
Khi thêm trường shard, bạn cần cập nhật các truy vấn để tổng hợp kết quả phân đoạn:
Node.js
function createQuery(fieldName, fieldOperator, fieldValue, limit = 5) { // For each shard value, map it to a new query which adds an additional // where clause specifying the shard value. return Promise.all(shardChunks().map(shardChunk => { return fs.collection('instruments') .where('shard', 'in', shardChunk) // new shard condition .where(fieldName, fieldOperator, fieldValue) .orderBy('timestamp', 'desc') .limit(limit) .get(); })) // Now that we have a promise of multiple possible query results, we need // to merge the results from all of the queries into a single result set. .then((snapshots) => { // Create a new container for 'all' results const docs = []; snapshots.forEach((querySnapshot) => { querySnapshot.forEach((doc) => { // append each document to the new all container docs.push(doc); }); }); if (snapshots.length === 1) { // if only a single query was returned skip manual sorting as it is // taken care of by the backend. return docs; } else { // When multiple query results are returned we need to sort the // results after they have been concatenated. // // since we're wanting the `limit` newest values, sort the array // descending and take the first `limit` values. By returning negated // values we can easily get a descending value. docs.sort((a, b) => { const aT = a.data().timestamp; const bT = b.data().timestamp; const secondsDiff = aT.seconds - bT.seconds; if (secondsDiff === 0) { return -(aT.nanoseconds - bT.nanoseconds); } else { return -secondsDiff; } }); return docs.slice(0, limit); } }); } function queryCommonStock() { return createQuery('instrumentType', '==', 'commonstock'); } function queryExchange1Instruments() { return createQuery('exchange', '==', 'EXCHG1'); } function queryUSDInstruments() { return createQuery('price.currency', '==', 'USD'); }
insertData() .then(() => { const commonStock = queryCommonStock() .then( (docs) => { console.log('--- queryCommonStock: '); docs.forEach((doc) => { console.log(`doc = ${util.inspect(doc.data(), {depth: 4})}`); }); } ); const exchange1Instruments = queryExchange1Instruments() .then( (docs) => { console.log('--- queryExchange1Instruments: '); docs.forEach((doc) => { console.log(`doc = ${util.inspect(doc.data(), {depth: 4})}`); }); } ); const usdInstruments = queryUSDInstruments() .then( (docs) => { console.log('--- queryUSDInstruments: '); docs.forEach((doc) => { console.log(`doc = ${util.inspect(doc.data(), {depth: 4})}`); }); } ); return Promise.all([commonStock, exchange1Instruments, usdInstruments]); });
Cập nhật định nghĩa chỉ mục
Để xoá quy định ràng buộc 500 lượt ghi mỗi giây, hãy xoá các chỉ mục kết hợp và chỉ mục trường đơn hiện có sử dụng trường timestamp.
Xoá định nghĩa chỉ mục kết hợp
bảng điều khiển của Firebase
Trong bảng điều khiển của Firebase, hãy chuyển đến thẻ Databases & Storage (Cơ sở dữ liệu và bộ nhớ) > Firestore > Composite Indexes (Chỉ mục kết hợp).
Đối với mỗi chỉ mục chứa trường
timestamp, hãy nhấp vào nút rồi nhấp vào Xoá.
Bảng điều khiển GCP
Trong Google Cloud Console, hãy chuyển đến trang Databases (Cơ sở dữ liệu).
Chọn cơ sở dữ liệu cần thiết trong danh sách cơ sở dữ liệu.
Trong trình đơn điều hướng, hãy nhấp vào Indexes (Chỉ mục), sau đó nhấp vào thẻ Composite (Hợp nhất).
Sử dụng trường Filter (Bộ lọc) để tìm các định nghĩa chỉ mục chứa trường
timestamp.Đối với mỗi chỉ mục này, hãy nhấp vào nút rồi nhấp vào Xoá.
Giao diện dòng lệnh (CLI) của Firebase
- Nếu bạn chưa thiết lập Giao diện dòng lệnh (CLI) của Firebase, hãy làm theo hướng dẫn này để cài đặt CLI và chạy lệnh
firebase init. Trong lệnhinit, hãy nhớ chọnFirestore: Deploy rules and create indexes for Firestore. - Trong quá trình thiết lập, Giao diện dòng lệnh (CLI) của Firebase sẽ tải các định nghĩa chỉ mục hiện có của bạn xuống một tệp có tên mặc định là
firestore.indexes.json. Xoá mọi định nghĩa chỉ mục chứa trường
timestamp, ví dụ:{ "indexes": [ // Delete composite index definition that contain the timestamp field { "collectionGroup": "instruments", "queryScope": "COLLECTION", "fields": [ { "fieldPath": "exchange", "order": "ASCENDING" }, { "fieldPath": "timestamp", "order": "DESCENDING" } ] }, { "collectionGroup": "instruments", "queryScope": "COLLECTION", "fields": [ { "fieldPath": "instrumentType", "order": "ASCENDING" }, { "fieldPath": "timestamp", "order": "DESCENDING" } ] }, { "collectionGroup": "instruments", "queryScope": "COLLECTION", "fields": [ { "fieldPath": "price.currency", "order": "ASCENDING" }, { "fieldPath": "timestamp", "order": "DESCENDING" } ] }, ] }Triển khai các định nghĩa chỉ mục đã cập nhật:
firebase deploy --only firestore:indexes
Cập nhật định nghĩa về chỉ mục trường đơn
bảng điều khiển của Firebase
Trong bảng điều khiển của Firebase, hãy chuyển đến thẻ Databases & Storage (Cơ sở dữ liệu và bộ nhớ) > Firestore > Single Field Indexes (Chỉ mục trường đơn).
Nhấp vào Thêm trường hợp miễn trừ.
Đối với Collection ID (Mã nhận dạng tập hợp), hãy nhập
instruments. Đối với Đường dẫn trường, hãy nhậptimestamp.Trong phần Query scope (Phạm vi truy vấn), hãy chọn cả Collection (Bộ sưu tập) và Collection group (Nhóm bộ sưu tập).
Nhấp vào Tiếp theo
Chuyển tất cả chế độ cài đặt chỉ mục sang trạng thái Tắt. Nhấp vào Lưu.
Lặp lại các bước tương tự cho trường
shard.
Bảng điều khiển GCP
Trong Google Cloud Console, hãy chuyển đến trang Databases (Cơ sở dữ liệu).
Chọn cơ sở dữ liệu cần thiết trong danh sách cơ sở dữ liệu.
Trong trình đơn điều hướng, hãy nhấp vào Indexes (Chỉ mục), sau đó nhấp vào thẻ Single Field (Trường đơn).
Nhấp vào thẻ Trường đơn.
Nhấp vào Thêm trường hợp miễn trừ.
Đối với Collection ID (Mã nhận dạng tập hợp), hãy nhập
instruments. Đối với Đường dẫn trường, hãy nhậptimestamp.Trong phần Query scope (Phạm vi truy vấn), hãy chọn cả Collection (Bộ sưu tập) và Collection group (Nhóm bộ sưu tập).
Nhấp vào Tiếp theo
Chuyển tất cả chế độ cài đặt chỉ mục sang trạng thái Tắt. Nhấp vào Lưu.
Lặp lại các bước tương tự cho trường
shard.
Giao diện dòng lệnh (CLI) của Firebase
Thêm đoạn mã sau vào phần
fieldOverridescủa tệp định nghĩa chỉ mục:{ "fieldOverrides": [ // Disable single-field indexing for the timestamp field { "collectionGroup": "instruments", "fieldPath": "timestamp", "indexes": [] }, ] }Triển khai các định nghĩa chỉ mục đã cập nhật:
firebase deploy --only firestore:indexes
Tạo chỉ mục kết hợp mới
Sau khi xoá tất cả chỉ mục trước đó có chứa timestamp, hãy xác định các chỉ mục mới mà ứng dụng của bạn yêu cầu. Mọi chỉ mục chứa trường timestamp cũng phải chứa trường shard. Ví dụ: để hỗ trợ các truy vấn ở trên, hãy thêm các chỉ mục sau:
| Thu thập | Số trường được lập chỉ mục | Phạm vi truy vấn |
|---|---|---|
| nhạc cụ | phân đoạn, price.currency, dấu thời gian | Thu thập |
| nhạc cụ | mảnh, lần trao đổi, dấu thời gian | Thu thập |
| nhạc cụ | phân đoạn, instrumentType, dấu thời gian | Thu thập |
Thông báo lỗi
Bạn có thể tạo các chỉ mục này bằng cách chạy các truy vấn đã cập nhật.
Mỗi truy vấn sẽ trả về một thông báo lỗi kèm theo đường liên kết để tạo chỉ mục cần thiết trong Bảng điều khiển của Firebase.
Giao diện dòng lệnh (CLI) của Firebase
Thêm các chỉ mục sau vào tệp định nghĩa chỉ mục:
{ "indexes": [ // New indexes for sharded timestamps { "collectionGroup": "instruments", "queryScope": "COLLECTION", "fields": [ { "fieldPath": "shard", "order": "DESCENDING" }, { "fieldPath": "exchange", "order": "ASCENDING" }, { "fieldPath": "timestamp", "order": "DESCENDING" } ] }, { "collectionGroup": "instruments", "queryScope": "COLLECTION", "fields": [ { "fieldPath": "shard", "order": "DESCENDING" }, { "fieldPath": "instrumentType", "order": "ASCENDING" }, { "fieldPath": "timestamp", "order": "DESCENDING" } ] }, { "collectionGroup": "instruments", "queryScope": "COLLECTION", "fields": [ { "fieldPath": "shard", "order": "DESCENDING" }, { "fieldPath": "price.currency", "order": "ASCENDING" }, { "fieldPath": "timestamp", "order": "DESCENDING" } ] }, ] }Triển khai các định nghĩa chỉ mục đã cập nhật:
firebase deploy --only firestore:indexes
Tìm hiểu về giới hạn ghi đối với các trường được lập chỉ mục tuần tự
Giới hạn về tốc độ ghi cho các trường được lập chỉ mục tuần tự bắt nguồn từ cách Cloud Firestore lưu trữ các giá trị chỉ mục và điều chỉnh quy mô ghi chỉ mục. Đối với mỗi thao tác ghi chỉ mục, Cloud Firestore sẽ xác định một mục nhập khoá-giá trị nối tên tài liệu và giá trị của từng trường được lập chỉ mục. Cloud Firestore sắp xếp các mục nhập chỉ mục này thành các nhóm dữ liệu được gọi là máy tính bảng. Mỗi máy chủ Cloud Firestore chứa một hoặc nhiều máy tính bảng. Khi tải ghi vào một máy tính bảng cụ thể trở nên quá cao, Cloud Firestore sẽ điều chỉnh theo chiều ngang bằng cách chia máy tính bảng thành các máy tính bảng nhỏ hơn và phân tán các máy tính bảng mới trên các máy chủ Cloud Firestore khác nhau.
Cloud Firestore đặt các mục chỉ mục gần nhau theo thứ tự từ điển trên cùng một máy tính bảng. Nếu các giá trị chỉ mục trong một máy tính bảng quá gần nhau, chẳng hạn như đối với các trường dấu thời gian, thì Cloud Firestore không thể phân tách máy tính bảng thành các máy tính bảng nhỏ hơn một cách hiệu quả. Điều này tạo ra một điểm nóng, nơi một máy tính bảng duy nhất nhận được quá nhiều lưu lượng truy cập, đồng thời các thao tác đọc và ghi vào điểm nóng trở nên chậm hơn.
Bằng cách phân đoạn trường dấu thời gian, bạn có thể giúp Cloud Firestore phân chia khối lượng công việc một cách hiệu quả trên nhiều máy tính bảng. Mặc dù các giá trị của trường dấu thời gian có thể vẫn gần nhau, nhưng giá trị phân đoạn và chỉ mục được nối sẽ cung cấp cho Cloud Firestore đủ không gian giữa các mục nhập chỉ mục để phân tách các mục nhập giữa nhiều máy tính bảng.
Bước tiếp theo
- Đọc các phương pháp hay nhất để thiết kế cho quy mô lớn
- Đối với các trường hợp có tỷ lệ ghi cao vào một tài liệu, hãy xem phần Bộ đếm phân tán
- Xem hạn mức tiêu chuẩn cho Cloud Firestore