Giới thiệu về thử nghiệm Firebase A / B

Để giúp bạn tối đa hóa mức độ liên quan và hữu ích của kết quả thử nghiệm, trang này cung cấp thông tin chi tiết về cách hoạt động của Thử nghiệm A/B Firebase.

Cỡ mẫu

Suy luận thử nghiệm A/B của Firebase không yêu cầu xác định kích thước mẫu tối thiểu trước khi bắt đầu thử nghiệm. Nói chung, bạn nên chọn mức độ tiếp xúc thử nghiệm lớn nhất mà bạn cảm thấy thoải mái. Kích thước mẫu lớn hơn sẽ tăng cơ hội tìm thấy kết quả có ý nghĩa thống kê, đặc biệt khi sự khác biệt về hiệu suất giữa các biến thể là nhỏ. Bạn cũng có thể thấy hữu ích khi tham khảo công cụ tính cỡ mẫu trực tuyến để tìm cỡ mẫu được đề xuất dựa trên đặc điểm của thử nghiệm của bạn.

Chỉnh sửa thử nghiệm

Bạn có thể chỉnh sửa các tham số đã chọn của thử nghiệm đang chạy, bao gồm:

  • Tên thử nghiệm
  • Sự miêu tả
  • Điều kiện nhắm mục tiêu
  • Giá trị biến thể

Để chỉnh sửa một thử nghiệm:

  1. Mở trang kết quả cho thử nghiệm bạn muốn sửa đổi.
  2. Từ menu Thêm , chọn Chỉnh sửa thử nghiệm đang chạy .
  3. Thực hiện các thay đổi của bạn, sau đó nhấp vào Xuất bản .

Lưu ý rằng việc thay đổi hành vi của ứng dụng trong quá trình thử nghiệm đang chạy có thể ảnh hưởng đến kết quả.

Logic gán biến thể cấu hình từ xa

Người dùng phù hợp với tất cả các điều kiện nhắm mục tiêu thử nghiệm (bao gồm cả điều kiện phần trăm hiển thị) được chỉ định cho các biến thể thử nghiệm theo trọng số biến thể và hàm băm của ID thử nghiệm cũng như ID cài đặt Firebase của người dùng.

Đối tượng Google Analytics có độ trễ và không khả dụng ngay lập tức khi người dùng ban đầu đáp ứng tiêu chí đối tượng:

  • Khi bạn tạo đối tượng mới, có thể mất 24-48 giờ để tích lũy người dùng mới.
  • Người dùng mới thường được ghi danh vào đối tượng đủ điều kiện sau 24-48 giờ kể từ khi họ đủ điều kiện.

Đối với nhắm mục tiêu theo thời gian, hãy xem xét việc sử dụng thuộc tính người dùng Google Analytics hoặc các tùy chọn nhắm mục tiêu tích hợp sẵn như quốc gia hoặc khu vực, ngôn ngữ và phiên bản ứng dụng.

Sau khi người dùng đã tham gia thử nghiệm, họ sẽ được chỉ định liên tục cho biến thể thử nghiệm của mình và nhận các giá trị tham số từ thử nghiệm miễn là thử nghiệm vẫn hoạt động, ngay cả khi thuộc tính người dùng của họ thay đổi và họ không còn đáp ứng tiêu chí nhắm mục tiêu thử nghiệm nữa.

Sự kiện kích hoạt

Sự kiện kích hoạt thử nghiệm giới hạn phép đo thử nghiệm đối với những người dùng ứng dụng kích hoạt sự kiện kích hoạt. Sự kiện kích hoạt thử nghiệm không có bất kỳ tác động nào đến các tham số thử nghiệm được ứng dụng tìm nạp; tất cả người dùng đáp ứng tiêu chí nhắm mục tiêu thử nghiệm sẽ nhận được thông số thử nghiệm. Do đó, điều quan trọng là chọn sự kiện kích hoạt xảy ra sau khi các tham số thử nghiệm đã được tìm nạp và kích hoạt nhưng trước khi các tham số thử nghiệm được sử dụng để sửa đổi hành vi của ứng dụng.

Trọng số biến thể

Trong quá trình tạo thử nghiệm, có thể thay đổi trọng số biến thể mặc định để đặt phần trăm người dùng thử nghiệm lớn hơn vào một biến thể.

Giải thích kết quả kiểm tra

Thử nghiệm A/B của Firebase sử dụng suy luận thường xuyên để giúp bạn hiểu khả năng kết quả thử nghiệm của bạn có thể xảy ra chỉ do ngẫu nhiên. Khả năng này được biểu thị bằng giá trị xác suất hoặc giá trị p . Giá trị p là xác suất mà sự khác biệt về hiệu suất giữa hai biến thể có thể xảy ra do cơ hội ngẫu nhiên, được đo bằng giá trị từ 0 đến 1. Thử nghiệm A/B sử dụng mức ý nghĩa 0,05 sao cho:

  • Giá trị p nhỏ hơn 0,05 cho thấy sự khác biệt có ý nghĩa thống kê giữa các biến thể, có nghĩa là nó không có khả năng xảy ra một cách ngẫu nhiên.
  • Giá trị p lớn hơn 0,05 cho thấy sự khác biệt giữa các biến thể không có ý nghĩa thống kê.

Dữ liệu thử nghiệm được làm mới mỗi ngày một lần và thời gian cập nhật lần cuối xuất hiện ở đầu trang kết quả thử nghiệm.

Biểu đồ kết quả thử nghiệm hiển thị giá trị trung bình tích lũy của số liệu đã chọn. Ví dụ: nếu bạn đang theo dõi Doanh thu quảng cáo trên mỗi người dùng dưới dạng chỉ số, thì nó sẽ hiển thị doanh thu được quan sát trên mỗi người dùng và nếu bạn đang theo dõi những người dùng không gặp sự cố, thì nó sẽ theo dõi tỷ lệ phần trăm người dùng không gặp phải sự cố. Dữ liệu này được tích lũy từ khi bắt đầu thử nghiệm.

Kết quả được chia thành Dữ liệu quan sátDữ liệu suy luận . Dữ liệu được quan sát được tính toán trực tiếp từ dữ liệu Google Analytics và dữ liệu suy luận cung cấp giá trị p và khoảng tin cậy để giúp bạn đánh giá tầm quan trọng thống kê của dữ liệu được quan sát.

Đối với mỗi số liệu, số liệu thống kê sau được hiển thị:

Dữ liệu quan sát

  • Tổng giá trị cho số liệu được theo dõi (số người dùng được giữ lại, số người dùng gặp sự cố, tổng doanh thu)
  • Tỷ lệ theo số liệu cụ thể (tỷ lệ giữ chân, tỷ lệ chuyển đổi, doanh thu trên mỗi người dùng)
  • Phần trăm chênh lệch (mức tăng) giữa biến thể và đường cơ sở

Dữ liệu suy luận

  • CI 95% (Sự khác biệt về phương tiện) hiển thị khoảng chứa giá trị "thực" của số liệu được theo dõi với độ tin cậy 95%. Ví dụ: nếu thử nghiệm của bạn cho kết quả CI 95% cho tổng doanh thu ước tính từ $5 đến $10, thì có 95% khả năng chênh lệch thực sự về phương tiện là từ $5 đến $10. Nếu phạm vi CI bao gồm 0, thì không phát hiện được sự khác biệt có ý nghĩa thống kê giữa biến thể và đường cơ sở.

    Giá trị khoảng tin cậy xuất hiện ở định dạng phù hợp với số liệu được theo dõi. Ví dụ: Thời gian (tính bằng HH:MM:SS ) để giữ chân người dùng, USD cho doanh thu quảng cáo trên mỗi người dùng và phần trăm cho tỷ lệ chuyển đổi.

  • Giá trị P , biểu thị xác suất không có sự khác biệt thực sự giữa biến thể và đường cơ sở; nói cách khác, bất kỳ sự khác biệt quan sát được đều có khả năng là do cơ hội ngẫu nhiên. Giá trị p càng thấp thì độ tin cậy rằng hiệu suất được quan sát vẫn đúng trong tương lai càng cao. Giá trị 0,05 hoặc thấp hơn cho thấy sự khác biệt đáng kể và khả năng xảy ra kết quả là do ngẫu nhiên là thấp. Giá trị P dựa trên thử nghiệm một phía , trong đó giá trị Biến thể lớn hơn giá trị Đường cơ sở. Firebase sử dụng thử nghiệm t phương sai không đồng đều cho các biến liên tục (giá trị số, như doanh thu) và thử nghiệm z về tỷ lệ cho dữ liệu chuyển đổi (giá trị nhị phân, như tỷ lệ giữ chân người dùng, người dùng không gặp sự cố, người dùng kích hoạt sự kiện Google Analytics).

Kết quả thử nghiệm cung cấp những hiểu biết quan trọng cho từng biến thể thử nghiệm, bao gồm:

  • Mỗi chỉ số thử nghiệm cao hơn hoặc thấp hơn bao nhiêu so với đường cơ sở, được đo trực tiếp (nghĩa là dữ liệu được quan sát thực tế)
  • Khả năng sự khác biệt quan sát được giữa biến thể và đường cơ sở có thể xảy ra do cơ hội ngẫu nhiên (giá trị p)
  • Một phạm vi có khả năng chứa chênh lệch hiệu suất "thực" giữa biến thể và đường cơ sở cho từng chỉ số thử nghiệm---một cách để hiểu các tình huống hiệu suất "trường hợp tốt nhất" và "trường hợp xấu nhất"

Giải thích kết quả cho các thử nghiệm do Google Optimize cung cấp

Kết quả Thử nghiệm A/B Firebase cho các thử nghiệm bắt đầu trước ngày 23 tháng 10 năm 2023 do Google Optimize cung cấp. Google Optimize đã sử dụng phương pháp suy luận Bayes để tạo số liệu thống kê chuyên sâu từ dữ liệu thử nghiệm của bạn.

Kết quả được chia thành "dữ liệu được quan sát" và "dữ liệu được mô hình hóa". Dữ liệu quan sát được tính toán trực tiếp từ dữ liệu phân tích và dữ liệu được mô hình hóa được lấy từ việc áp dụng mô hình Bayesian của chúng tôi cho dữ liệu được quan sát.

Đối với mỗi số liệu, số liệu thống kê sau được hiển thị:

Dữ liệu được quan sát

  • Tổng giá trị (tổng số liệu cho tất cả người dùng trong biến thể)
  • Giá trị trung bình (giá trị trung bình của chỉ số đối với người dùng trong biến thể)
  • % chênh lệch so với ban đầu

Dữ liệu được mô hình hóa

  • Xác suất vượt qua đường cơ sở: khả năng chỉ số này của biến thể này cao hơn so với đường cơ sở
  • Phần trăm chênh lệch so với đường cơ sở: dựa trên ước tính mô hình trung bình của chỉ số cho biến thể và đường cơ sở
  • Phạm vi số liệu: phạm vi trong đó giá trị của số liệu có nhiều khả năng được tìm thấy nhất, với độ chắc chắn 50% và 95%

Nhìn chung, kết quả thử nghiệm cung cấp cho chúng tôi ba thông tin chi tiết quan trọng về từng biến thể trong thử nghiệm:

  1. Mỗi chỉ số thử nghiệm cao hơn hoặc thấp hơn bao nhiêu so với đường cơ sở, như được đo trực tiếp (tức là dữ liệu được quan sát thực tế)
  2. Khả năng mỗi chỉ số thử nghiệm cao hơn mức cơ sở/tốt nhất về tổng thể, dựa trên suy luận Bayesian (xác suất tốt hơn/tốt nhất tương ứng)
  3. Phạm vi hợp lý cho từng số liệu thử nghiệm dựa trên suy luận Bayes--kịch bản "trường hợp tốt nhất" và "trường hợp xấu nhất" (khoảng tin cậy)

Sự quyết tâm của người lãnh đạo

Đối với các thử nghiệm sử dụng suy luận Thường xuyên , Firebase tuyên bố rằng một biến thể đang dẫn đầu nếu có sự khác biệt hiệu suất có ý nghĩa thống kê giữa biến thể và đường cơ sở về chỉ số mục tiêu. Nếu nhiều biến thể đáp ứng tiêu chí này thì biến thể có giá trị p thấp nhất sẽ được chọn.

Đối với các thử nghiệm sử dụng Google Optimize , Firebase đã tuyên bố rằng một biến thể là "dẫn đầu rõ ràng" nếu biến thể đó có hơn 95% cơ hội tốt hơn biến thể cơ sở về chỉ số chính. Nếu nhiều biến thể đáp ứng tiêu chí "dẫn đầu rõ ràng" thì chỉ có biến thể hoạt động tốt nhất về tổng thể mới được gắn nhãn là "dẫn đầu rõ ràng".

Vì việc xác định người dẫn đầu chỉ dựa trên mục tiêu chính nên bạn nên xem xét tất cả các yếu tố liên quan và xem xét kết quả của các chỉ số phụ trước khi quyết định có tung ra biến thể dẫn đầu hay không. Bạn có thể muốn xem xét mặt tích cực dự kiến ​​của việc thực hiện thay đổi, rủi ro nhược điểm (chẳng hạn như phần dưới của khoảng tin cậy để cải thiện) và tác động đến các số liệu ngoài mục tiêu chính.

Ví dụ: nếu chỉ số chính của bạn là số người dùng không gặp sự cố và Biến thể A dẫn đầu rõ ràng so với mức cơ sở, nhưng chỉ số tỷ lệ giữ chân người dùng của Biến thể A lại thấp hơn tỷ lệ giữ chân người dùng cơ sở, thì bạn có thể muốn điều tra thêm trước khi triển khai Biến thể A rộng rãi hơn.

Bạn có thể triển khai bất kỳ biến thể nào, không chỉ biến thể hàng đầu, dựa trên đánh giá tổng thể về hiệu suất của bạn trên cả chỉ số chính và phụ.

Thời gian thử nghiệm

Firebase khuyên bạn nên tiếp tục chạy thử nghiệm cho đến khi đáp ứng các điều kiện sau:

  1. Thử nghiệm đã tích lũy đủ dữ liệu để cung cấp kết quả hữu ích. Các thử nghiệm và dữ liệu kết quả được cập nhật một lần mỗi ngày. Bạn có thể muốn tham khảo công cụ tính cỡ mẫu trực tuyến để đánh giá cỡ mẫu được đề xuất cho thử nghiệm của mình.
  2. Thử nghiệm đã chạy đủ lâu để đảm bảo có mẫu đại diện cho người dùng của bạn và đo lường hiệu suất lâu dài. Hai tuần là thời gian chạy tối thiểu được đề xuất cho một thử nghiệm Cấu hình từ xa thông thường.

Dữ liệu thử nghiệm được xử lý trong tối đa 90 ngày sau khi bắt đầu thử nghiệm. Sau 90 ngày, thử nghiệm sẽ tự động dừng. Kết quả thử nghiệm không còn được cập nhật trong bảng điều khiển Firebase và thử nghiệm ngừng gửi các giá trị thông số dành riêng cho thử nghiệm. Tại thời điểm này, máy khách bắt đầu tìm nạp các giá trị tham số dựa trên các điều kiện được đặt trong mẫu Cấu hình từ xa. Dữ liệu thử nghiệm lịch sử được giữ lại cho đến khi bạn xóa thử nghiệm.

Lược đồ BigQuery

Ngoài việc xem dữ liệu thử nghiệm Thử nghiệm A/B trong bảng điều khiển Firebase, bạn có thể kiểm tra và phân tích dữ liệu thử nghiệm trong BigQuery. Mặc dù Thử nghiệm A/B không có bảng BigQuery riêng nhưng tư cách thành viên thử nghiệm và biến thể được lưu trữ trên mọi sự kiện Google Analytics trong bảng sự kiện Analytics.

Thuộc tính người dùng chứa thông tin thử nghiệm có dạng userProperty.key like "firebase_exp_%" hoặc userProperty.key = "firebase_exp_01" trong đó 01 là ID thử nghiệm và userProperty.value.string_value chứa chỉ mục (dựa trên 0) của biến thể thí nghiệm.

Bạn có thể sử dụng các thuộc tính người dùng thử nghiệm này để trích xuất dữ liệu thử nghiệm. Điều này mang lại cho bạn khả năng phân chia kết quả thử nghiệm của mình theo nhiều cách khác nhau và xác minh độc lập kết quả Thử nghiệm A/B.

Để bắt đầu, hãy hoàn thành các bước sau như được mô tả trong hướng dẫn này:

  1. Bật tính năng xuất BigQuery cho Google Analytics trong bảng điều khiển Firebase
  2. Truy cập dữ liệu Thử nghiệm A/B bằng BigQuery
  3. Khám phá các truy vấn mẫu

Bật tính năng xuất BigQuery cho Google Analytics trong bảng điều khiển Firebase

Nếu đang sử dụng gói Spark, bạn có thể sử dụng hộp cát BigQuery để truy cập BigQuery miễn phí, tuân theo các giới hạn của Hộp cát . Xem Giá cả và hộp cát BigQuery để biết thêm thông tin.

Trước tiên, hãy đảm bảo rằng bạn đang xuất dữ liệu Analytics của mình sang BigQuery:

  1. Mở tab Tích hợp mà bạn có thể truy cập bằng cách sử dụng > Cài đặt dự án trong bảng điều khiển Firebase .
  2. Nếu bạn đang sử dụng BigQuery với các dịch vụ Firebase khác, hãy nhấp vào Quản lý . Nếu không, hãy nhấp vào Liên kết .
  3. Xem lại Giới thiệu về việc liên kết Firebase với BigQuery , sau đó nhấp vào Tiếp theo .
  4. Trong phần Định cấu hình tích hợp , hãy bật nút chuyển đổi Google Analytics .
  5. Chọn một khu vực và chọn cài đặt xuất.

  6. Nhấp vào Liên kết tới BigQuery .

Tùy thuộc vào cách bạn chọn xuất dữ liệu, có thể mất tới một ngày để các bảng có sẵn. Để biết thêm thông tin về cách xuất dữ liệu dự án sang BigQuery, hãy xem Xuất dữ liệu dự án sang BigQuery .

Truy cập dữ liệu Thử nghiệm A/B trong BigQuery

Trước khi truy vấn dữ liệu cho một thử nghiệm cụ thể, bạn sẽ muốn có được một số hoặc tất cả thông tin sau để sử dụng trong truy vấn của mình:

  • ID thử nghiệm: Bạn có thể lấy mã này từ URL của trang tổng quan về thử nghiệm . Ví dụ: nếu URL của bạn trông giống như https://console.firebase.google.com/project/my_firebase_project/config/experiment/results/25 thì ID thử nghiệm là 25 .
  • ID thuộc tính Google Analytics : Đây là ID thuộc tính Google Analytics gồm 9 chữ số của bạn. Bạn có thể tìm thấy điều này trong Google Analytics; nó cũng xuất hiện trong BigQuery khi bạn mở rộng tên dự án của mình để hiển thị tên bảng sự kiện Google Analytics ( project_name.analytics_000000000.events ).
  • Ngày thử nghiệm: Để soạn truy vấn nhanh hơn và hiệu quả hơn, bạn nên giới hạn truy vấn của mình trong các phân vùng bảng sự kiện hàng ngày của Google Analytics có chứa dữ liệu thử nghiệm của bạn—các bảng được xác định bằng hậu tố YYYYMMDD . Vì vậy, nếu thử nghiệm của bạn chạy từ ngày 2 tháng 2 năm 2024 đến ngày 2 tháng 5 năm 2024, bạn sẽ chỉ định _TABLE_SUFFIX between '20240202' AND '20240502' . Để biết ví dụ, hãy xem Chọn giá trị của thử nghiệm cụ thể .
  • Tên sự kiện: Thông thường, những tên này tương ứng với số liệu mục tiêu mà bạn đã định cấu hình trong thử nghiệm. Ví dụ: sự kiện in_app_purchase , sự kiện ad_impression hoặc user_retention .

Sau khi bạn thu thập thông tin bạn cần để tạo truy vấn của mình:

  1. Mở BigQuery trong bảng điều khiển Google Cloud.
  2. Chọn dự án của bạn, sau đó chọn Tạo truy vấn SQL .
  3. Thêm truy vấn của bạn. Ví dụ về các truy vấn mẫu để chạy, hãy xem Khám phá các truy vấn mẫu .
  4. Nhấp vào Chạy .

Truy vấn dữ liệu thử nghiệm bằng truy vấn được tạo tự động của bảng điều khiển Firebase

Nếu bạn đang sử dụng gói Blaze, trang tổng quan về Thử nghiệm sẽ cung cấp một truy vấn mẫu trả về tên thử nghiệm, các biến thể, tên sự kiện và số lượng sự kiện cho thử nghiệm bạn đang xem.

Để lấy và chạy truy vấn được tạo tự động:

  1. Từ bảng điều khiển Firebase, hãy mở Thử nghiệm A/B và chọn thử nghiệm Thử nghiệm A/B mà bạn muốn truy vấn để mở Tổng quan về thử nghiệm .
  2. Từ menu Tùy chọn, bên dưới Tích hợp BigQuery , hãy chọn Truy vấn dữ liệu thử nghiệm . Thao tác này sẽ mở dự án của bạn trong BigQuery trong bảng điều khiển bảng điều khiển Google Cloud và cung cấp truy vấn cơ bản mà bạn có thể sử dụng để truy vấn dữ liệu thử nghiệm của mình.

Ví dụ sau đây cho thấy truy vấn được tạo cho một thử nghiệm có ba biến thể (bao gồm cả đường cơ sở) có tên là "Thử nghiệm chào đón mùa đông". Nó trả về tên thử nghiệm đang hoạt động, tên biến thể, sự kiện duy nhất và số lượng sự kiện cho mỗi sự kiện. Lưu ý rằng trình tạo truy vấn không chỉ định tên dự án của bạn trong tên bảng vì nó mở trực tiếp trong dự án của bạn.

  /*
    This query is auto-generated by Firebase A/B Testing for your
    experiment "Winter welcome experiment".
    It demonstrates how you can get event counts for all Analytics
    events logged by each variant of this experiment's population.
  */
  SELECT
    'Winter welcome experiment' AS experimentName,
    CASE userProperty.value.string_value
      WHEN '0' THEN 'Baseline'
      WHEN '1' THEN 'Welcome message (1)'
      WHEN '2' THEN 'Welcome message (2)'
      END AS experimentVariant,
    event_name AS eventName,
    COUNT(*) AS count
  FROM
    `analytics_000000000.events_*`,
    UNNEST(user_properties) AS userProperty
  WHERE
    (_TABLE_SUFFIX BETWEEN '20240202' AND '20240502')
    AND userProperty.key = 'firebase_exp_25'
  GROUP BY
    experimentVariant, eventName

Để biết thêm các ví dụ truy vấn, hãy tiếp tục khám phá các truy vấn mẫu .

Khám phá các truy vấn mẫu

Các phần sau đây cung cấp ví dụ về các truy vấn mà bạn có thể sử dụng để trích xuất dữ liệu thử nghiệm Thử nghiệm A/B từ các bảng sự kiện của Google Analytics.

Trích xuất các giá trị độ lệch chuẩn mua và thử nghiệm từ tất cả các thử nghiệm

Bạn có thể sử dụng dữ liệu kết quả thử nghiệm để xác minh độc lập kết quả Thử nghiệm A/B của Firebase. Câu lệnh SQL BigQuery sau đây trích xuất các biến thể thử nghiệm, số lượng người dùng duy nhất trong mỗi biến thể và tổng doanh thu từ các sự kiện in_app_purchaseecommerce_purchase cũng như độ lệch chuẩn cho tất cả thử nghiệm trong phạm vi thời gian được chỉ định làm ngày bắt đầu và kết thúc _TABLE_SUFFIX . Bạn có thể sử dụng dữ liệu thu được từ truy vấn này bằng trình tạo ý nghĩa thống kê cho các thử nghiệm t một phía để xác minh rằng kết quả mà Firebase cung cấp khớp với phân tích của riêng bạn.

Để biết thêm thông tin về cách Thử nghiệm A/B tính toán suy luận, hãy xem Giải thích kết quả thử nghiệm .

  /*
    This query returns all experiment variants, number of unique users,
    the average USD spent per user, and the standard deviation for all
    experiments within the date range specified for _TABLE_SUFFIX.
  */
  SELECT
    experimentNumber,
    experimentVariant,
    COUNT(*) AS unique_users,
    AVG(usd_value) AS usd_value_per_user,
    STDDEV(usd_value) AS std_dev
  FROM
    (
      SELECT
        userProperty.key AS experimentNumber,
        userProperty.value.string_value AS experimentVariant,
        user_pseudo_id,
        SUM(
          CASE
            WHEN event_name IN ('in_app_purchase', 'ecommerce_purchase')
              THEN event_value_in_usd
            ELSE 0
            END) AS usd_value
      FROM `PROJECT_NAME.analytics_ANALYTICS_ID.events_*`
      CROSS JOIN UNNEST(user_properties) AS userProperty
      WHERE
        userProperty.key LIKE 'firebase_exp_%'
        AND event_name IN ('in_app_purchase', 'ecommerce_purchase')
        AND (_TABLE_SUFFIX BETWEEN 'YYYYMMDD' AND 'YYYMMDD')
      GROUP BY 1, 2, 3
    )
  GROUP BY 1, 2
  ORDER BY 1, 2;

Chọn giá trị của thử nghiệm cụ thể

Truy vấn mẫu sau đây minh họa cách lấy dữ liệu cho một thử nghiệm cụ thể trong BigQuery. Truy vấn mẫu này trả về tên thử nghiệm, tên biến thể (bao gồm cả Đường cơ sở), tên sự kiện và số lượng sự kiện.

  SELECT
    'EXPERIMENT_NAME' AS experimentName,
    CASE userProperty.value.string_value
      WHEN '0' THEN 'Baseline'
      WHEN '1' THEN 'VARIANT_1_NAME'
      WHEN '2' THEN 'VARIANT_2_NAME'
      END AS experimentVariant,
    event_name AS eventName,
    COUNT(*) AS count
  FROM
    `analytics_ANALYTICS_PROPERTY.events_*`,
    UNNEST(user_properties) AS userProperty
  WHERE
    (_TABLE_SUFFIX BETWEEN 'YYYMMDD' AND 'YYYMMDD')
    AND userProperty.key = 'firebase_exp_EXPERIMENT_NUMBER'
  GROUP BY
    experimentVariant, eventName

Hạn mức

Thử nghiệm A/B được giới hạn ở tổng số 300 thử nghiệm, 24 thử nghiệm đang chạy và 24 thử nghiệm nháp.

  • Nếu bạn đạt đến giới hạn tổng số 300 thử nghiệm hoặc giới hạn 24 thử nghiệm dự thảo, bạn phải xóa thử nghiệm hiện có trước khi tạo thử nghiệm mới.

  • Nếu bạn đạt đến giới hạn 24 thử nghiệm đang chạy, bạn phải dừng thử nghiệm đang chạy trước khi bắt đầu thử nghiệm mới.

Một thử nghiệm có thể có tối đa 8 biến thể (bao gồm cả đường cơ sở) và tối đa 25 thông số cho mỗi biến thể. Một thử nghiệm có thể có kích thước lên tới khoảng 200 KiB. Điều này bao gồm tên biến thể, thông số biến thể và siêu dữ liệu cấu hình khác.