Để giúp bạn tối đa hoá mức độ phù hợp và tính hữu ích của kết quả thử nghiệm, trang này cung cấp thông tin chi tiết về cách Firebase A/B Testing hoạt động.
Kích thước mẫu
Firebase A/B Testing suy luận không yêu cầu xác định kích thước mẫu tối thiểu trước khi bắt đầu thử nghiệm. Nói chung, bạn nên chọn mức độ hiển thị thử nghiệm lớn nhất mà bạn cảm thấy thoải mái. Kích thước mẫu càng lớn thì khả năng tìm thấy kết quả có ý nghĩa thống kê càng cao, đặc biệt là khi sự khác biệt về hiệu suất giữa các biến thể là nhỏ. Bạn cũng có thể tham khảo công cụ tính kích thước mẫu trực tuyến để tìm kích thước mẫu được đề xuất dựa trên các đặc điểm của thử nghiệm.
Chỉnh sửa thử nghiệm
Bạn có thể chỉnh sửa các tham số đã chọn của thử nghiệm đang chạy, bao gồm:
- Tên thử nghiệm
- Mô tả
- Điều kiện nhắm mục tiêu
- Giá trị biến thể
Cách chỉnh sửa thử nghiệm:
- Trong bảng điều khiển Firebase, hãy chuyển đến phần DevOps và Tương tác > Thử nghiệm A/B.
- Mở trang kết quả của thử nghiệm mà bạn muốn sửa đổi.
- Trong trình đơn Tuỳ chọn khác , hãy chọn Chỉnh sửa thử nghiệm đang chạy.
- Thực hiện các thay đổi rồi nhấp vào Xuất bản.
Xin lưu ý rằng việc thay đổi hành vi của ứng dụng trong quá trình thử nghiệm đang chạy có thể ảnh hưởng đến kết quả.
Logic chỉ định biến thể Cấu hình từ xa
Những người dùng đáp ứng tất cả điều kiện nhắm mục tiêu của thử nghiệm (bao gồm cả điều kiện về tỷ lệ phần trăm hiển thị) được chỉ định cho các biến thể thử nghiệm theo trọng số biến thể và hàm băm của mã thử nghiệm và mã cài đặt Firebasecủa người dùng.
Google Analytics Đối tượng chịu độ trễ và không có sẵn ngay lập tức khi người dùng lần đầu tiên đáp ứng tiêu chí đối tượng:
- Khi bạn tạo một đối tượng mới, có thể mất 24 đến 48 giờ để đối tượng đó thu thập người dùng mới.
- Người dùng mới thường được đăng ký vào các đối tượng đủ điều kiện trong vòng 24 đến 48 giờ sau khi họ đủ điều kiện.
Đối với tính năng nhắm mục tiêu theo thời gian, hãy cân nhắc sử dụng thuộc tính người dùng Google Analytics hoặc các lựa chọn nhắm mục tiêu tích hợp như quốc gia hoặc khu vực, ngôn ngữ, và phiên bản ứng dụng.
Sau khi tham gia thử nghiệm, người dùng sẽ được chỉ định liên tục cho biến thể thử nghiệm của họ và nhận các giá trị tham số từ thử nghiệm miễn là thử nghiệm vẫn hoạt động, ngay cả khi thuộc tính người dùng của họ thay đổi và họ không còn đáp ứng tiêu chí nhắm mục tiêu của thử nghiệm nữa.
Sự kiện kích hoạt
Sự kiện kích hoạt thử nghiệm giới hạn hoạt động đo lường thử nghiệm đối với những người dùng ứng dụng kích hoạt sự kiện kích hoạt. Sự kiện kích hoạt thử nghiệm không ảnh hưởng đến các tham số thử nghiệm mà ứng dụng tìm nạp; tất cả người dùng đáp ứng tiêu chí nhắm mục tiêu của thử nghiệm sẽ nhận được các tham số thử nghiệm. Do đó, bạn cần chọn một sự kiện kích hoạt xảy ra sau khi các tham số thử nghiệm được tìm nạp và kích hoạt, nhưng trước khi các tham số thử nghiệm được dùng để sửa đổi hành vi của ứng dụng.
Trọng số biến thể
Trong quá trình tạo thử nghiệm, bạn có thể thay đổi trọng số biến thể mặc định để đưa tỷ lệ phần trăm người dùng thử nghiệm lớn hơn vào một biến thể.
Diễn giải kết quả thử nghiệm
Firebase A/B Testing sử dụng suy luận theo tần suất để giúp bạn hiểu khả năng kết quả thử nghiệm của bạn có thể chỉ xảy ra do ngẫu nhiên. Khả năng này được biểu thị bằng một giá trị xác suất hay giá trị p. Giá trị p là xác suất xảy ra sự khác biệt lớn về hiệu suất (hoặc lớn hơn) giữa hai biến thể do ngẫu nhiên nếu thực sự không có hiệu ứng nào, được đo bằng một giá trị từ 0 đến 1. A/B Testing sử dụng mức ý nghĩa là 0,05 để:
- Giá trị p nhỏ hơn 0,05 cho biết rằng nếu sự khác biệt thực là 0, thì có ít hơn 5% khả năng sự khác biệt cực đoan quan sát được có thể xảy ra ngẫu nhiên. Vì 0,05 là ngưỡng, nên mọi giá trị p nhỏ hơn 0,05 đều cho thấy sự khác biệt có ý nghĩa thống kê giữa các biến thể.
- Giá trị p lớn hơn 0,05 cho biết sự khác biệt giữa các biến thể không có ý nghĩa thống kê.
Dữ liệu thử nghiệm được làm mới mỗi ngày một lần và thời gian cập nhật gần đây nhất xuất hiện ở đầu trang kết quả thử nghiệm.
Biểu đồ kết quả thử nghiệm hiển thị các giá trị trung bình tích luỹ của chỉ số đã chọn. Ví dụ: nếu bạn đang theo dõi Doanh thu từ quảng cáo trên mỗi người dùng làm chỉ số, thì chỉ số này sẽ hiển thị doanh thu quan sát được trên mỗi người dùng. Nếu bạn đang theo dõi Người dùng không gặp sự cố, thì chỉ số này sẽ theo dõi tỷ lệ phần trăm người dùng không gặp sự cố. Dữ liệu này được tích luỹ từ khi bắt đầu thử nghiệm.
Kết quả được chia thành Dữ liệu quan sát được và Dữ liệu suy luận. Dữ liệu quan sát được được tính trực tiếp từ dữ liệu Google Analytics và dữ liệu suy luận cung cấp giá trị p và khoảng tin cậy để giúp bạn đánh giá ý nghĩa thống kê của dữ liệu quan sát được.
Đối với mỗi chỉ số, các số liệu thống kê sau đây sẽ xuất hiện:
Dữ liệu quan sát được
- Tổng giá trị cho chỉ số được theo dõi (số người dùng được giữ chân, số người dùng gặp sự cố, tổng doanh thu)
- Tỷ lệ cụ thể theo chỉ số (tỷ lệ giữ chân, tỷ lệ chuyển đổi, doanh thu trên mỗi người dùng)
- Tỷ lệ phần trăm chênh lệch (mức tăng) giữa biến thể và mức cơ sở
Dữ liệu suy luận
Khoảng tin cậy 95% (Chênh lệch về giá trị trung bình) hiển thị một khoảng chứa giá trị "thực" của chỉ số được theo dõi với độ tin cậy 95%. Ví dụ: nếu kết quả thử nghiệm của bạn có khoảng tin cậy 95% cho tổng doanh thu ước tính từ 5 đến 10 đô la Mỹ, thì có 95% khả năng sự khác biệt thực về giá trị trung bình là từ 5 đến 10 đô la Mỹ. Nếu phạm vi khoảng tin cậy bao gồm 0, thì hệ thống không phát hiện thấy sự khác biệt có ý nghĩa thống kê giữa biến thể và mức cơ sở.
Giá trị khoảng tin cậy xuất hiện ở định dạng phù hợp với chỉ số được theo dõi. Ví dụ: Thời gian (theo
HH:MM:SS) cho tỷ lệ giữ chân người dùng, đô la Mỹ cho doanh thu từ quảng cáo trên mỗi người dùng và tỷ lệ phần trăm cho tỷ lệ chuyển đổi.Giá trị p, biểu thị xác suất quan sát dữ liệu cực đoan như kết quả thu được trong thử nghiệm, với điều kiện là không có sự khác biệt thực giữa biến thể và mức cơ sở. Giá trị p càng thấp thì độ tin cậy càng cao rằng hiệu suất quan sát được vẫn đúng nếu chúng ta lặp lại thử nghiệm. Giá trị 0,05 trở xuống cho thấy sự khác biệt đáng kể và khả năng thấp là kết quả do ngẫu nhiên. Giá trị p dựa trên kiểm định một phía, trong đó Giá trị biến thể lớn hơn Giá trị cơ sở. Firebase sử dụng kiểm định t phương sai không bằng nhau cho các biến liên tục (giá trị số, như doanh thu) và kiểm định z về tỷ lệ cho dữ liệu chuyển đổi (giá trị nhị phân, như tỷ lệ giữ chân người dùng, người dùng không gặp sự cố, người dùng kích hoạt sự kiện Google Analytics).
Kết quả thử nghiệm cung cấp thông tin chi tiết quan trọng cho từng biến thể thử nghiệm, bao gồm:
- Mức độ cao hơn hoặc thấp hơn của từng chỉ số thử nghiệm so với mức cơ sở, được đo lường trực tiếp (tức là dữ liệu quan sát thực tế)
- Khả năng sự khác biệt quan sát được giữa biến thể và mức cơ sở có thể xảy ra do ngẫu nhiên (giá trị p)
- Một phạm vi có khả năng chứa sự khác biệt về hiệu suất "thực" giữa biến thể và mức cơ sở cho từng chỉ số thử nghiệm – một cách để hiểu các kịch bản hiệu suất "tốt nhất" và "xấu nhất"
Xác định biến thể dẫn đầu
Đối với các thử nghiệm sử dụng suy luận theo tần suất, Firebase sẽ công bố biến thể dẫn đầu nếu có sự khác biệt có ý nghĩa thống kê về hiệu suất giữa biến thể và mức cơ sở của chỉ số mục tiêu. Nếu nhiều biến thể cùng đáp ứng tiêu chí này, thì biến thể có trị số p thấp nhất sẽ được chọn.
Do việc xác định biến thể dẫn đầu chỉ dựa trên mục tiêu chính, nên bạn cần cân nhắc tất cả các yếu tố liên quan và xem xét kết quả của các chỉ số phụ trước khi quyết định có triển khai biến thể dẫn đầu hay không. Bạn có thể cân nhắc lợi ích dự kiến của việc thay đổi, rủi ro bất lợi (chẳng hạn như mức thấp hơn của khoảng tin cậy để cải thiện) và tác động đến các chỉ số khác ngoài mục tiêu chính.
Ví dụ: nếu chỉ số chính của bạn là Người dùng không gặp sự cố và Biến thể A là biến thể dẫn đầu rõ ràng so với mức cơ sở, nhưng các chỉ số giữ chân người dùng của Biến thể A lại thấp hơn so với tỷ lệ giữ chân người dùng ở mức cơ sở, thì bạn nên điều tra thêm trước khi triển khai Biến thể A rộng rãi hơn.
Bạn có thể triển khai bất kỳ biến thể nào, không chỉ biến thể dẫn đầu, dựa trên đánh giá tổng thể về hiệu suất trên cả chỉ số chính và phụ.
Thời lượng thử nghiệm
Firebase đề xuất bạn tiếp tục chạy thử nghiệm cho đến khi đáp ứng các điều kiện sau:
- Thử nghiệm đã tích luỹ đủ dữ liệu để cung cấp kết quả hữu ích. Dữ liệu thử nghiệm và kết quả được cập nhật mỗi ngày một lần. Bạn có thể tham khảo công cụ tính kích thước mẫu trực tuyến để đánh giá kích thước mẫu được đề xuất cho thử nghiệm của mình.
- Thử nghiệm đã chạy đủ lâu để đảm bảo mẫu đại diện cho người dùng và đo lường hiệu suất dài hạn. Hai tuần là thời gian chạy tối thiểu được đề xuất cho một thử nghiệm Cấu hình từ xa thông thường.
Dữ liệu thử nghiệm được xử lý trong tối đa 90 ngày sau khi bắt đầu thử nghiệm. Sau 90 ngày, thử nghiệm sẽ tự động dừng. Kết quả thử nghiệm không còn được cập nhật trong bảng điều khiển Firebase và thử nghiệm ngừng gửi các giá trị tham số cụ thể cho thử nghiệm. Tại thời điểm này, ứng dụng bắt đầu tìm nạp các giá trị tham số dựa trên các điều kiện được đặt trong mẫu Remote Config. Dữ liệu thử nghiệm trước đây được giữ lại cho đến khi bạn xoá thử nghiệm.
Lược đồ BigQuery
Ngoài việc xem dữ liệu thử nghiệm A/B Testing trong bảng điều khiển Firebase, bạn có thể kiểm tra và phân tích dữ liệu thử nghiệm trong BigQuery. Mặc dù A/B Testing không có bảng BigQuery riêng biệt, nhưng tư cách thành viên thử nghiệm và biến thể được lưu trữ trên mọi sự kiện Google Analytics trong bảng sự kiện Analytics.
Các thuộc tính người dùng chứa thông tin thử nghiệm có dạng
userProperty.key like "firebase_exp_%" hoặc userProperty.key =
"firebase_exp_01" trong đó 01 là mã thử nghiệm và
userProperty.value.string_value chứa chỉ mục (dựa trên 0) của
biến thể thử nghiệm.
Bạn có thể sử dụng các thuộc tính người dùng thử nghiệm này để trích xuất dữ liệu thử nghiệm. Điều này giúp bạn có thể phân tích kết quả thử nghiệm theo nhiều cách khác nhau và xác minh độc lập kết quả của A/B Testing.
Để bắt đầu, hãy hoàn thành các bước sau như mô tả trong hướng dẫn này:
- Bật tính năng xuất dữ liệu BigQuery cho Google Analytics trong bảng điều khiển Firebase
- Truy cập vào dữ liệu A/B Testing bằng BigQuery
- Khám phá các truy vấn mẫu
Bật tính năng xuất dữ liệu BigQuery cho Google Analytics trong bảng điều khiển của Firebase
Nếu đang sử dụng gói Spark, bạn có thể sử dụng BigQuery hộp cát để truy cập BigQuery miễn phí, tuỳ thuộc vào các giới hạn của Hộp cát. Hãy xem phần Định giá và hộp cátBigQuery BigQuery để biết thêm thông tin.
Trước tiên, hãy đảm bảo rằng bạn đang xuất dữ liệu Analytics sang BigQuery:
Trong bảng điều khiển Firebase, hãy chuyển đến phần
Cài đặt > Tích hợp tab.Trong thẻ BigQuery, hãy nhấp vào Quản lý và xác minh rằng dự án của bạn đang xuất dữ liệu Analytics sang BigQuery.
Nếu thẻ này có nội dung Liên kết, thì bạn cần thiết lập tính năng xuất dữ liệu (tiếp tục bước tiếp theo).
Nếu bạn cần thiết lập tính năng xuất dữ liệu:
Xem Giới thiệu về việc liên kết Firebase với BigQuery, sau đó nhấp vào Tiếp theo.
Trong phần Định cấu hình tính năng tích hợp, hãy bật Google Analytics.
Chọn một vùng và chọn chế độ cài đặt xuất dữ liệu.
Nhấp vào Liên kết với BigQuery.
Tuỳ thuộc vào cách bạn chọn xuất dữ liệu, có thể mất tối đa một ngày để các bảng có sẵn. Để biết thêm thông tin về cách xuất dữ liệu dự án sang BigQuery, hãy xem Xuất dữ liệu dự án sang BigQuery.
Truy cập vào dữ liệu A/B Testing trong BigQuery
Trước khi truy vấn dữ liệu cho một thử nghiệm cụ thể, bạn sẽ muốn lấy một số hoặc tất cả thông tin sau để sử dụng trong truy vấn:
- Mã thử nghiệm: Bạn có thể lấy mã này từ URL của trang Tổng quan về thử nghiệm. Ví dụ: nếu URL của bạn có dạng
https://console.firebase.google.com/project/my_firebase_project/config/experiment/results/25, thì mã thử nghiệm là 25. - Google Analytics mã tài sản: Đây là mã tài sản gồm 9 chữ số
Google Analytics. Bạn có thể tìm thấy mã này trong
Google Analytics; mã này cũng xuất hiện trong BigQuery khi bạn mở rộng
tên dự án để hiển thị tên của Google Analytics sự kiện
bảng (
project_name.analytics_000000000.events). - Ngày thử nghiệm: Để tạo truy vấn nhanh hơn và hiệu quả hơn, bạn nên
giới hạn truy vấn đối với các phân vùng bảng sự kiệnGoogle Analytics hằng ngày
chứa dữ liệu thử nghiệm – các bảng
được xác định bằng hậu tố
YYYYMMDD. Vì vậy, nếu thử nghiệm của bạn chạy từ ngày 2 tháng 2 năm 2024 đến ngày 2 tháng 5 năm 2024, bạn sẽ chỉ định_TABLE_SUFFIX between '20240202' AND '20240502'. Để xem ví dụ, hãy xem phần Chọn giá trị của một thử nghiệm cụ thể. - Tên sự kiện: Thông thường, các tên này tương ứng với
các chỉ số mục tiêu
mà bạn đã định cấu hình trong thử nghiệm. Ví dụ: sự kiện
in_app_purchase,ad_impressionhoặcuser_retention.
Sau khi bạn thu thập thông tin cần thiết để tạo truy vấn:
- Trong bảng điều khiển Google Cloud, hãy chuyển đến BigQuery.
- Chọn dự án của bạn, sau đó chọn Tạo truy vấn SQL.
- Thêm truy vấn. Để biết các truy vấn mẫu cần chạy, hãy xem Khám phá các truy vấn mẫu.
- Nhấp vào Chạy.
Truy vấn dữ liệu thử nghiệm bằng truy vấn được tạo tự động của bảng điều khiển Firebase
Nếu bạn đang sử dụng gói Blaze, trang Tổng quan về thử nghiệm sẽ cung cấp một truy vấn mẫu trả về tên thử nghiệm, biến thể, tên sự kiện và số lượng sự kiện cho thử nghiệm mà bạn đang xem.
Cách lấy và chạy truy vấn được tạo tự động:
- Trong bảng điều khiển Firebase, hãy chuyển đến phần DevOps và Tương tác > Thử nghiệm A/B.
- Chọn thử nghiệm A/B Testing mà bạn muốn truy vấn để mở Tổng quan về thử nghiệm.
- Trong trình đơn Tuỳ chọn, bên dưới phần BigQuery tích hợp, hãy chọn Truy vấn dữ liệu thử nghiệm. Thao tác này sẽ mở dự án của bạn trong BigQuery trong Google Cloud bảng điều khiển và cung cấp một truy vấn cơ bản mà bạn có thể dùng để truy vấn dữ liệu thử nghiệm.
Ví dụ sau đây cho thấy một truy vấn được tạo cho một thử nghiệm có 3 biến thể (bao gồm cả mức cơ sở) có tên là "Thử nghiệm chào mừng mùa đông". Truy vấn này trả về tên thử nghiệm đang hoạt động, tên biến thể, sự kiện riêng biệt và số lượng sự kiện cho từng sự kiện. Xin lưu ý rằng trình tạo truy vấn không chỉ định tên dự án của bạn trong tên bảng, vì trình tạo này sẽ mở trực tiếp trong dự án của bạn.
/*
This query is auto-generated by Firebase A/B Testing for your
experiment "Winter welcome experiment".
It demonstrates how you can get event counts for all Analytics
events logged by each variant of this experiment's population.
*/
SELECT
'Winter welcome experiment' AS experimentName,
CASE userProperty.value.string_value
WHEN '0' THEN 'Baseline'
WHEN '1' THEN 'Welcome message (1)'
WHEN '2' THEN 'Welcome message (2)'
END AS experimentVariant,
event_name AS eventName,
COUNT(*) AS count
FROM
`analytics_000000000.events_*`,
UNNEST(user_properties) AS userProperty
WHERE
(_TABLE_SUFFIX BETWEEN '20240202' AND '20240502')
AND userProperty.key = 'firebase_exp_25'
GROUP BY
experimentVariant, eventName
Để xem thêm các ví dụ về truy vấn, hãy chuyển đến phần Khám phá các truy vấn mẫu.
Khám phá các truy vấn mẫu
Các phần sau đây đưa ra ví dụ về các truy vấn mà bạn có thể dùng để trích xuất A/B Testing dữ liệu thử nghiệm từ các bảng sự kiện Google Analytics.
Trích xuất giá trị độ lệch chuẩn của giao dịch mua và thử nghiệm từ tất cả các thử nghiệm
Bạn có thể sử dụng dữ liệu kết quả thử nghiệm để xác minh độc lập
Firebase A/B Testing kết quả. Câu lệnh SQL BigQuery sau đây
trích xuất các biến thể thử nghiệm, số người dùng riêng biệt trong từng biến thể và tổng doanh thu
từ các sự kiện in_app_purchase và ecommerce_purchase, cũng như độ lệch chuẩn
cho tất cả các thử nghiệm trong phạm vi thời gian được chỉ định làm ngày bắt đầu
và ngày kết thúc _TABLE_SUFFIX. Bạn có thể sử dụng dữ liệu thu được từ truy vấn này với trình tạo ý nghĩa thống kê cho các kiểm định t một phía để xác minh rằng kết quả mà Firebase cung cấp khớp với phân tích của riêng bạn.
Để biết thêm thông tin về cách A/B Testing tính toán suy luận, hãy xem Diễn giải kết quả thử nghiệm.
/*
This query returns all experiment variants, number of unique users,
the average USD spent per user, and the standard deviation for all
experiments within the date range specified for _TABLE_SUFFIX.
*/
SELECT
experimentNumber,
experimentVariant,
COUNT(*) AS unique_users,
AVG(usd_value) AS usd_value_per_user,
STDDEV(usd_value) AS std_dev
FROM
(
SELECT
userProperty.key AS experimentNumber,
userProperty.value.string_value AS experimentVariant,
user_pseudo_id,
SUM(
CASE
WHEN event_name IN ('in_app_purchase', 'ecommerce_purchase')
THEN event_value_in_usd
ELSE 0
END) AS usd_value
FROM `PROJECT_NAME.analytics_ANALYTICS_ID.events_*`
CROSS JOIN UNNEST(user_properties) AS userProperty
WHERE
userProperty.key LIKE 'firebase_exp_%'
AND event_name IN ('in_app_purchase', 'ecommerce_purchase')
AND (_TABLE_SUFFIX BETWEEN 'YYYYMMDD' AND 'YYYMMDD')
GROUP BY 1, 2, 3
)
GROUP BY 1, 2
ORDER BY 1, 2;
Chọn giá trị của một thử nghiệm cụ thể
Truy vấn mẫu sau đây minh hoạ cách lấy dữ liệu cho một thử nghiệm cụ thể trong BigQuery. Truy vấn mẫu này trả về tên thử nghiệm, tên biến thể (bao gồm cả Mức cơ sở), tên sự kiện và số lượng sự kiện.
SELECT
'EXPERIMENT_NAME' AS experimentName,
CASE userProperty.value.string_value
WHEN '0' THEN 'Baseline'
WHEN '1' THEN 'VARIANT_1_NAME'
WHEN '2' THEN 'VARIANT_2_NAME'
END AS experimentVariant,
event_name AS eventName,
COUNT(*) AS count
FROM
`analytics_ANALYTICS_PROPERTY.events_*`,
UNNEST(user_properties) AS userProperty
WHERE
(_TABLE_SUFFIX BETWEEN 'YYYMMDD' AND 'YYYMMDD')
AND userProperty.key = 'firebase_exp_EXPERIMENT_NUMBER'
GROUP BY
experimentVariant, eventName
Giới hạn
A/B Testing bị giới hạn ở tổng số 300 thử nghiệm, 24 thử nghiệm đang chạy, và 24 thử nghiệm nháp. Các giới hạn này được chia sẻ với các lần triển khai Remote Config. Ví dụ: nếu bạn có 2 lần triển khai đang chạy và 3 thử nghiệm đang chạy, thì bạn có thể có thêm tối đa 19 lần triển khai hoặc thử nghiệm.
Nếu đạt đến giới hạn tổng số 300 thử nghiệm hoặc giới hạn 24 thử nghiệm nháp, bạn phải xoá một thử nghiệm hiện có trước khi tạo thử nghiệm mới.
Nếu đạt đến giới hạn 24 thử nghiệm và lần triển khai đang chạy, bạn phải dừng một thử nghiệm hoặc lần triển khai đang chạy trước khi bắt đầu một thử nghiệm hoặc lần triển khai mới.
Một thử nghiệm có thể có tối đa 8 biến thể (bao gồm cả mức cơ sở) và tối đa 25 tham số cho mỗi biến thể. Một thử nghiệm có thể có kích thước tối đa khoảng 200 KiB. Bao gồm cả tên biến thể, tham số biến thể và các siêu dữ liệu cấu hình khác.