Khi bạn tiếp cận người dùng của mình hoặc bắt đầu một chiến dịch tiếp thị mới, bạn muốn đảm bảo rằng bạn làm đúng. Thử nghiệm A/B có thể giúp bạn tìm ra cách diễn đạt và cách trình bày tối ưu bằng cách thử nghiệm các biến thể thông báo trên các phần được chọn trong cơ sở người dùng của bạn. Cho dù mục tiêu của bạn là giữ chân hay chuyển đổi tốt hơn trên một ưu đãi, thử nghiệm A/B có thể thực hiện phân tích thống kê để xác định xem một biến thể thông báo có hoạt động tốt hơn so với đường cơ sở cho mục tiêu bạn đã chọn hay không.
Đối với các biến thể tính năng thử nghiệm A/B có đường cơ sở, hãy làm như sau:
- Tạo thử nghiệm của bạn.
- Xác thực thử nghiệm của bạn trên một thiết bị thử nghiệm.
- Quản lý thử nghiệm của bạn.
Tạo thử nghiệm
Một thử nghiệm sử dụng tính năng Nhắn tin trong ứng dụng của Firebase cho phép bạn đánh giá nhiều biến thể của một tin nhắn trong ứng dụng.
Đăng nhập vào bảng điều khiển Firebase và xác minh rằng Google Analytics được bật trong dự án của bạn để thử nghiệm có quyền truy cập vào dữ liệu Analytics.
Nếu bạn không bật Google Analytics khi tạo dự án của mình, bạn có thể bật nó trên tab Tích hợp mà bạn có thể truy cập bằng cách sử dụng > Cài đặt dự án trong bảng điều khiển Firebase .
Trong phần Tương tác của thanh điều hướng bảng điều khiển Firebase , hãy nhấp vào Thử nghiệm A/B .
Nhấp vào Tạo thử nghiệm rồi chọn Nhắn tin trong ứng dụng khi được nhắc về dịch vụ mà bạn muốn thử nghiệm.
Ngoài ra, trên thanh điều hướng của bảng điều khiển Firebase , hãy mở rộng Tương tác , sau đó nhấp vào Nhắn tin trong ứng dụng . Sau đó nhấp vào Thử nghiệm mới .
Nhập Tên và Mô tả tùy chọn cho thử nghiệm của bạn và nhấp vào Tiếp theo .
Điền vào các trường Nhắm mục tiêu , trước tiên hãy chọn ứng dụng sử dụng thử nghiệm của bạn. Bạn cũng có thể nhắm mục tiêu một nhóm nhỏ người dùng tham gia vào thử nghiệm của mình bằng cách chọn các tùy chọn bao gồm các tùy chọn sau:
- Phiên bản: Một hoặc nhiều phiên bản ứng dụng của bạn
- Đối tượng người dùng: Đối tượng Analytics được sử dụng để nhắm mục tiêu người dùng có thể được bao gồm trong thử nghiệm
- Thuộc tính người dùng: Một hoặc nhiều thuộc tính người dùng Analytics để chọn những người dùng có thể được đưa vào thử nghiệm
- Quốc gia/Khu vực: Một hoặc nhiều quốc gia hoặc khu vực để chọn người dùng có thể được đưa vào thử nghiệm
- Ngôn ngữ thiết bị: Một hoặc nhiều ngôn ngữ và ngôn ngữ được sử dụng để chọn người dùng có thể được đưa vào thử nghiệm
- Mở lần đầu: Nhắm mục tiêu người dùng dựa trên lần đầu tiên họ mở ứng dụng của bạn
- Lần tương tác gần đây nhất với ứng dụng: Nhắm mục tiêu người dùng dựa trên lần cuối cùng họ tương tác với ứng dụng của bạn
Đặt Tỷ lệ phần trăm người dùng mục tiêu: Chọn tỷ lệ phần trăm cơ sở người dùng ứng dụng của bạn phù hợp với tiêu chí đã đặt trong Người dùng mục tiêu mà bạn muốn chia đều giữa đường cơ sở và một hoặc nhiều biến thể trong thử nghiệm của mình. Đây có thể là bất kỳ tỷ lệ phần trăm nào trong khoảng từ 0,01% đến 100%. Tỷ lệ phần trăm được chỉ định lại ngẫu nhiên cho người dùng cho mỗi thử nghiệm, bao gồm cả các thử nghiệm trùng lặp.
Trong phần Biến thể , hãy định cấu hình thông báo trong ứng dụng cơ sở để gửi đến nhóm cơ sở bằng cách sử dụng giao diện thiết kế thông báo mà bạn sử dụng cho chiến dịch nhắn tin trong ứng dụng thông thường.
Để thêm một biến thể vào thử nghiệm của bạn, hãy nhấp vào Thêm biến thể . Theo mặc định, thử nghiệm có một đường cơ sở và một biến thể.
(tùy chọn) Nhập tên cho từng biến thể trong thử nghiệm của bạn để thay thế tên Biến thể A , Biến thể B , v.v.
(không bắt buộc) Ở đầu phần Biến thể , nhấp vào nút So sánh các biến thể để so sánh song song một biến thể thông báo khác với thông báo cơ sở.
Xác định chỉ số mục tiêu cho thử nghiệm của bạn để sử dụng khi đánh giá các biến thể thử nghiệm cùng với bất kỳ chỉ số bổ sung mong muốn nào từ danh sách thả xuống. Các chỉ số này bao gồm các mục tiêu tích hợp (tương tác, mua hàng, doanh thu, tỷ lệ giữ chân, v.v.), sự kiện chuyển đổi Analytics và các sự kiện Analytics khác.
Định cấu hình lập lịch cho thử nghiệm:
- Đặt ngày bắt đầu và ngày kết thúc cho thử nghiệm.
- Đặt cách thông báo trong ứng dụng được kích hoạt trên tất cả các biến thể.
Nhấp vào Xem lại để lưu thử nghiệm của bạn.
Bạn được phép thực hiện tối đa 300 thử nghiệm cho mỗi dự án, có thể bao gồm tối đa 24 thử nghiệm đang chạy, phần còn lại ở dạng bản nháp hoặc đã hoàn thành.
Xác thực thử nghiệm của bạn trên một thiết bị thử nghiệm
Đối với mỗi lần cài đặt Firebase, bạn có thể truy xuất mã thông báo xác thực cài đặt được liên kết với nó. Bạn có thể sử dụng mã thông báo này để thử nghiệm các biến thể thử nghiệm cụ thể trên thiết bị thử nghiệm có cài đặt ứng dụng của bạn. Để xác thực thử nghiệm của bạn trên một thiết bị thử nghiệm, hãy làm như sau:
- Nhận mã thông báo xác thực cài đặt như sau:
Nhanh
Installations.installations().authTokenForcingRefresh(true, completion: { (result, error) in if let error = error { print("Error fetching token: \(error)") return } guard let result = result else { return } print("Installation auth token: \(result.authToken)") })Mục tiêu-C
[[FIRInstallations installations] authTokenForcingRefresh:true completion:^(FIRInstallationsAuthTokenResult *result, NSError *error) { if (error != nil) { NSLog(@"Error fetching Installation token %@", error); return; } NSLog(@"Installation auth token: %@", [result authToken]); }];Java
FirebaseInstallations.getInstance().getToken(/* forceRefresh */true) .addOnCompleteListener(new OnCompleteListener<InstallationTokenResult>() { @Override public void onComplete(@NonNull Task<InstallationTokenResult> task) { if (task.isSuccessful() && task.getResult() != null) { Log.d("Installations", "Installation auth token: " + task.getResult().getToken()); } else { Log.e("Installations", "Unable to get Installation auth token"); } } });Kotlin+KTX
val forceRefresh = true FirebaseInstallations.getInstance().getToken(forceRefresh) .addOnCompleteListener { task -> if (task.isSuccessful) { Log.d("Installations", "Installation auth token: " + task.result?.token) } else { Log.e("Installations", "Unable to get Installation auth token") } } - Trên thanh điều hướng của bảng điều khiển Firebase , nhấp vào Thử nghiệm A/B .
- Nhấp vào Bản nháp (và/hoặc Chạy thử nghiệm Cấu hình từ xa), di chuột qua thử nghiệm của bạn, nhấp vào menu ngữ cảnh ( more_vert ), sau đó nhấp vào Quản lý thiết bị thử nghiệm .
- Nhập mã thông báo xác thực cài đặt cho thiết bị thử nghiệm và chọn biến thể thử nghiệm để gửi tới thiết bị thử nghiệm đó.
- Chạy ứng dụng và xác nhận rằng biến thể đã chọn đang được nhận trên thiết bị thử nghiệm.
Để tìm hiểu thêm về cài đặt Firebase, hãy xem Quản lý cài đặt Firebase .
Quản lý thử nghiệm của bạn
Cho dù bạn tạo thử nghiệm với Cấu hình từ xa, Trình tổng hợp thông báo hay Nhắn tin trong ứng dụng Firebase, thì bạn đều có thể xác thực và bắt đầu thử nghiệm, theo dõi thử nghiệm của mình trong khi thử nghiệm đang chạy và tăng số lượng người dùng được bao gồm trong thử nghiệm đang chạy của bạn.
Khi thử nghiệm của bạn hoàn tất, bạn có thể ghi chú các cài đặt được sử dụng bởi biến thể chiến thắng và sau đó triển khai các cài đặt đó cho tất cả người dùng. Hoặc, bạn có thể chạy một thử nghiệm khác.
Bắt đầu thử nghiệm
- Trong phần Tương tác của thanh điều hướng bảng điều khiển Firebase , hãy nhấp vào Thử nghiệm A/B .
- Nhấp vào Bản nháp rồi nhấp vào tiêu đề thử nghiệm của bạn.
- Để xác thực rằng ứng dụng của bạn có những người dùng sẽ được đưa vào thử nghiệm của bạn, hãy mở rộng chi tiết dự thảo và kiểm tra số lớn hơn 0% trong phần Nhắm mục tiêu và phân phối (ví dụ: 1% người dùng phù hợp với tiêu chí ).
- Để thay đổi thử nghiệm của bạn, hãy nhấp vào Chỉnh sửa .
- Để bắt đầu thử nghiệm của bạn, hãy nhấp vào Bắt đầu thử nghiệm . Bạn có thể chạy tối đa 24 thử nghiệm cho mỗi dự án cùng một lúc.
Theo dõi một thử nghiệm
Sau khi thử nghiệm đã chạy được một thời gian, bạn có thể kiểm tra tiến trình của thử nghiệm và xem kết quả của mình như thế nào đối với những người dùng đã tham gia vào thử nghiệm của bạn cho đến nay.
- Trong phần Tương tác của thanh điều hướng bảng điều khiển Firebase , hãy nhấp vào Thử nghiệm A/B .
Nhấp vào Đang chạy , sau đó nhấp vào hoặc tìm kiếm tiêu đề thử nghiệm của bạn. Trên trang này, bạn có thể xem các thống kê được mô hình hóa và quan sát khác nhau về thử nghiệm đang chạy của mình, bao gồm các thống kê sau:
- % chênh lệch so với đường cơ sở : Thước đo mức độ cải thiện của một số liệu đối với một biến thể nhất định so với đường cơ sở. Được tính bằng cách so sánh phạm vi giá trị cho biến thể với phạm vi giá trị cho đường cơ sở.
- Xác suất vượt qua đường cơ sở : Xác suất ước tính mà một biến thể nhất định vượt qua đường cơ sở cho chỉ số đã chọn.
- observed_metric per user : Dựa trên kết quả thử nghiệm, đây là phạm vi dự đoán mà giá trị chỉ số sẽ nằm trong đó theo thời gian.
- Tổng observed_metric : Giá trị tích lũy được quan sát cho đường cơ sở hoặc biến thể. Giá trị được sử dụng để đo lường mức độ hiệu quả của từng biến thể thử nghiệm và được sử dụng để tính toán Cải thiện , Phạm vi giá trị , Khả năng đánh bại đường cơ sở và Khả năng trở thành biến thể tốt nhất . Tùy thuộc vào số liệu được đo lường, cột này có thể được gắn nhãn "Thời lượng trên mỗi người dùng", "Doanh thu trên mỗi người dùng", "Tỷ lệ duy trì" hoặc "Tỷ lệ chuyển đổi".
Sau khi thử nghiệm của bạn chạy được một thời gian (ít nhất 7 ngày đối với FCM và Nhắn tin trong ứng dụng hoặc 14 ngày đối với Cấu hình từ xa), dữ liệu trên trang này cho biết biến thể nào, nếu có, là "dẫn đầu". Một số phép đo được kèm theo biểu đồ thanh trình bày dữ liệu ở định dạng trực quan.
Triển khai thử nghiệm cho tất cả người dùng
Sau khi thử nghiệm đã chạy đủ lâu để bạn có biến thể "dẫn đầu" hoặc chiến thắng cho chỉ số mục tiêu của mình, bạn có thể triển khai thử nghiệm cho 100% người dùng. Điều này cho phép bạn chọn một biến thể để xuất bản cho tất cả người dùng trong tương lai. Ngay cả khi thử nghiệm của bạn chưa tạo ra biến thể chiến thắng rõ ràng, bạn vẫn có thể chọn triển khai một biến thể cho tất cả người dùng của mình.
- Trong phần Tương tác của thanh điều hướng bảng điều khiển Firebase , hãy nhấp vào Thử nghiệm A/B .
- Nhấp vào Đã hoàn thành hoặc Đang chạy , nhấp vào một thử nghiệm mà bạn muốn triển khai cho tất cả người dùng, nhấp vào menu ngữ cảnh ( more_vert ), sau đó nhấp vào Triển khai biến thể .
Triển khai thử nghiệm của bạn cho tất cả người dùng bằng cách thực hiện một trong các thao tác sau:
- Đối với thử nghiệm sử dụng trình tổng hợp Thông báo , hãy sử dụng hộp thoại Triển khai thông báo để gửi thông báo tới những người dùng được nhắm mục tiêu còn lại không tham gia thử nghiệm.
- Đối với thử nghiệm Cấu hình từ xa , hãy chọn một biến thể để xác định giá trị tham số Cấu hình từ xa nào cần cập nhật. Tiêu chí nhắm mục tiêu được xác định khi tạo thử nghiệm sẽ được thêm làm điều kiện mới trong mẫu của bạn để đảm bảo việc triển khai chỉ ảnh hưởng đến những người dùng được thử nghiệm nhắm mục tiêu. Sau khi nhấp vào Xem lại trong Cấu hình từ xa để xem lại các thay đổi, hãy nhấp vào Xuất bản các thay đổi để hoàn tất triển khai.
- Đối với thử nghiệm Nhắn tin trong ứng dụng , hãy sử dụng hộp thoại để xác định biến thể nào cần triển khai dưới dạng chiến dịch Nhắn tin trong ứng dụng độc lập. Sau khi được chọn, bạn sẽ được chuyển hướng đến màn hình soạn thảo FIAM để thực hiện bất kỳ thay đổi nào (nếu cần) trước khi xuất bản.
Mở rộng thử nghiệm
Nếu bạn thấy rằng thử nghiệm không mang lại đủ người dùng cho Thử nghiệm A/B để tuyên bố người dẫn đầu, bạn có thể tăng phân phối thử nghiệm của mình để đạt được tỷ lệ phần trăm lớn hơn trong cơ sở người dùng của ứng dụng.
- Trong phần Tương tác của thanh điều hướng bảng điều khiển Firebase , hãy nhấp vào Thử nghiệm A/B .
- Chọn thử nghiệm đang chạy mà bạn muốn chỉnh sửa.
- Trong phần Tổng quan về thử nghiệm , hãy nhấp vào menu ngữ cảnh ( more_vert ), sau đó nhấp vào Chỉnh sửa thử nghiệm đang chạy .
- Hộp thoại Nhắm mục tiêu hiển thị một tùy chọn để tăng phần trăm người dùng trong thử nghiệm hiện đang chạy. Chọn một số lớn hơn tỷ lệ phần trăm hiện tại và nhấp vào Xuất bản . Thử nghiệm sẽ được đẩy ra theo tỷ lệ phần trăm người dùng mà bạn đã chỉ định.
Sao chép hoặc dừng thử nghiệm
- Trong phần Tương tác của thanh điều hướng bảng điều khiển Firebase , hãy nhấp vào Thử nghiệm A/B .
- Nhấp vào Đã hoàn thành hoặc Đang chạy , di chuột qua thử nghiệm của bạn, nhấp vào menu ngữ cảnh ( more_vert ), sau đó nhấp vào Sao chép thử nghiệm hoặc Dừng thử nghiệm .
nhắm mục tiêu người dùng
Bạn có thể nhắm mục tiêu người dùng để đưa vào thử nghiệm của mình bằng cách sử dụng tiêu chí nhắm mục tiêu người dùng sau.
| tiêu chí nhắm mục tiêu | (các) nhà điều hành | (các) giá trị | Ghi chú |
|---|---|---|---|
| Phiên bản | chứa, không chứa, phù hợp chính xác, chứa biểu thức chính quy | Nhập giá trị cho một hoặc nhiều phiên bản ứng dụng mà bạn muốn đưa vào thử nghiệm. | Khi sử dụng bất kỳ toán tử nào chứa , không chứa hoặc khớp chính xác , bạn có thể cung cấp danh sách các giá trị được phân tách bằng dấu phẩy. Khi sử dụng toán tử biểu thức chính quy chứa , bạn có thể tạo biểu thức chính quy ở định dạng RE2 . Cụm từ thông dụng của bạn có thể khớp với tất cả hoặc một phần của chuỗi phiên bản đích. Bạn cũng có thể sử dụng các ký tự ^ và $ để khớp với phần đầu, phần cuối hoặc toàn bộ chuỗi mục tiêu. |
| Đối tượng người dùng | bao gồm tất cả, bao gồm ít nhất một trong số, không bao gồm tất cả, không bao gồm ít nhất một trong số | Chọn một hoặc nhiều đối tượng Analytics để nhắm mục tiêu những người dùng có thể được bao gồm trong thử nghiệm của bạn. | Một số thử nghiệm nhắm mục tiêu đối tượng Google Analytics có thể cần vài ngày để tích lũy dữ liệu vì chúng phải tuân theo độ trễ xử lý dữ liệu của Analytics . Bạn có nhiều khả năng gặp phải sự chậm trễ này nhất với người dùng mới, những người thường được đăng ký vào đối tượng đủ điều kiện sau 24-48 giờ sau khi tạo hoặc đối với đối tượng được tạo gần đây . |
| Thuộc tính người dùng | Đối với văn bản: chứa, không chứa, khớp chính xác, chứa biểu thức chính quy Đối với các số: <, ≤, =, ≥, > | Thuộc tính người dùng Analytics dùng để chọn những người dùng có thể được đưa vào thử nghiệm, với nhiều tùy chọn để chọn giá trị thuộc tính người dùng. Trên máy khách, bạn chỉ có thể đặt giá trị chuỗi cho thuộc tính người dùng. Đối với các điều kiện sử dụng toán tử số, dịch vụ Cấu hình từ xa chuyển đổi giá trị của thuộc tính người dùng tương ứng thành một số nguyên/số float. | Khi sử dụng toán tử biểu thức chính quy chứa , bạn có thể tạo biểu thức chính quy ở định dạng RE2 . Cụm từ thông dụng của bạn có thể khớp với tất cả hoặc một phần của chuỗi phiên bản đích. Bạn cũng có thể sử dụng các ký tự ^ và $ để khớp với phần đầu, phần cuối hoặc toàn bộ chuỗi mục tiêu. |
| Quốc gia/Khu vực | không áp dụng | Một hoặc nhiều quốc gia hoặc khu vực được sử dụng để chọn những người dùng có thể được đưa vào thử nghiệm. | |
| ngôn ngữ | không áp dụng | Một hoặc nhiều ngôn ngữ và khu vực được sử dụng để chọn những người dùng có thể được đưa vào thử nghiệm. | |
| lần đầu tiên mở | Nhiều hơn Ít hơn Giữa | Nhắm mục tiêu người dùng dựa trên lần đầu tiên họ mở ứng dụng của bạn, được chỉ định theo ngày. | |
| Tương tác ứng dụng cuối cùng | Nhiều hơn Ít hơn Giữa | Nhắm mục tiêu người dùng dựa trên lần cuối cùng họ tương tác với ứng dụng của bạn, được chỉ định theo ngày. |
Chỉ số Thử nghiệm A/B
Khi bạn tạo thử nghiệm của mình, bạn chọn một chỉ số chính hoặc mục tiêu , được sử dụng để xác định biến thể chiến thắng. Bạn cũng nên theo dõi các chỉ số khác để giúp bạn hiểu rõ hơn về hiệu suất của từng biến thể thử nghiệm và theo dõi các xu hướng quan trọng có thể khác nhau đối với từng biến thể, như tỷ lệ giữ chân người dùng, độ ổn định của ứng dụng và doanh thu mua hàng trong ứng dụng. Bạn có thể theo dõi tối đa năm chỉ số không phải mục tiêu trong thử nghiệm của mình.
Ví dụ: giả sử bạn đã thêm giao dịch mua hàng trong ứng dụng mới vào ứng dụng của mình và muốn so sánh hiệu quả của hai thông báo "nhích" khác nhau. Trong trường hợp này, bạn có thể quyết định chọn đặt Doanh thu mua hàng làm chỉ số mục tiêu của mình vì bạn muốn biến thể chiến thắng đại diện cho thông báo dẫn đến doanh thu mua hàng trong ứng dụng cao nhất. Và bởi vì bạn cũng muốn theo dõi biến thể nào dẫn đến nhiều chuyển đổi hơn trong tương lai và giữ chân người dùng, nên bạn có thể thêm thông tin sau vào Các chỉ số khác để theo dõi :- Tổng doanh thu ước tính để xem doanh thu quảng cáo và mua hàng trong ứng dụng kết hợp giữa hai biến thể khác nhau như thế nào
- Tỷ lệ giữ chân (1 ngày) , Tỷ lệ giữ chân (2-3 ngày) , Tỷ lệ giữ chân (4-7 ngày) để theo dõi tỷ lệ giữ chân người dùng hàng ngày/hàng tuần của bạn
Các bảng sau đây cung cấp thông tin chi tiết về cách tính số liệu mục tiêu và các số liệu khác.
chỉ số mục tiêu
| Hệ mét | Sự miêu tả |
|---|---|
| Người dùng không gặp sự cố | Tỷ lệ phần trăm người dùng không gặp lỗi trong ứng dụng của bạn do SDK Firebase Crashlytics phát hiện trong quá trình thử nghiệm. |
| Doanh thu quảng cáo ước tính | Thu nhập quảng cáo ước tính. |
| Tổng doanh thu ước tính | Giá trị kết hợp để mua và doanh thu quảng cáo ước tính. |
| Doanh thu mua hàng | Giá trị kết hợp cho tất cả các sự kiện purchase và in_app_purchase . |
| Lưu giữ (1 ngày) | Số người dùng quay lại ứng dụng của bạn hàng ngày. |
| Lưu giữ (2-3 ngày) | Số người dùng quay lại ứng dụng của bạn trong vòng 2-3 ngày. |
| Lưu giữ (4-7 ngày) | Số người dùng quay lại ứng dụng của bạn trong vòng 4-7 ngày. |
| Lưu giữ (8-14 ngày) | Số người dùng quay lại ứng dụng của bạn trong vòng 8-14 ngày. |
| Lưu giữ (hơn 15 ngày) | Số người dùng quay lại ứng dụng của bạn sau 15 ngày trở lên kể từ lần cuối họ sử dụng ứng dụng. |
| first_open | Một sự kiện Analytics kích hoạt khi người dùng mở ứng dụng lần đầu tiên sau khi cài đặt hoặc cài đặt lại ứng dụng đó. Được sử dụng như một phần của kênh chuyển đổi. |
số liệu khác
| Hệ mét | Sự miêu tả |
|---|---|
| notification_dismiss | Một sự kiện Analytics kích hoạt khi thông báo do trình tổng hợp Thông báo gửi bị loại bỏ (chỉ dành cho Android). |
| notification_receive | Một sự kiện Analytics kích hoạt khi nhận được thông báo do trình tổng hợp Thông báo gửi trong khi ứng dụng ở chế độ nền (chỉ dành cho Android). |
| os_update | Sự kiện Analytics theo dõi khi hệ điều hành của thiết bị được cập nhật lên phiên bản mới. Để tìm hiểu thêm, hãy xem Sự kiện được thu thập tự động . |
| screen_view | Một sự kiện Analytics theo dõi các màn hình được xem trong ứng dụng của bạn. Để tìm hiểu thêm, hãy xem Theo dõi lượt xem màn hình . |
| phiên_bắt đầu | Sự kiện Analytics tính số phiên của người dùng trong ứng dụng của bạn. Để tìm hiểu thêm, hãy xem Sự kiện được thu thập tự động . |