Firebase A/B Testing

Firebase A/B Testing을 사용하면 제품 및 마케팅 실험을 진행, 분석, 확장하는 방식을 간소화하여 앱 환경을 최적화할 수 있습니다. 앱 UI, 기능 또는 참여 캠페인의 변경사항을 테스트하여, 변경사항을 광범위하게 적용하기 전에 수익 및 유지율과 같은 주요 측정항목에 어떤 영향을 미치는지 확인할 수 있습니다.

A/B Testing은 FCM에서 작동하므로 다양한 마케팅 메시지를 테스트할 수 있으며 Remote Config를 통해 앱 내에서 변경사항을 테스트할 수 있습니다.


시작할 준비가 되셨나요? 제품을 선택합니다.

Remote Config 실험 만들기 메시징 실험 만들기

주요 기능

제품 환경 테스트 및 개선 Remote Config로 실험을 만들어 실험의 여러 대안에서 앱 동작과 모양을 변경하고 어떤 제품 환경이 목표에 가장 부합하는지 테스트 할 수 있습니다.
알림 작성기로 사용자의 재참여를 유도할 방안 모색 A/B Testing을 사용하면 사용자를 앱에 유도하는 데 가장 효과적인 문구와 메시지 설정을 찾을 수 있습니다.
새로운 기능의 안전한 구현 새로운 기능을 구현하기 전에 반드시 작은 규모의 사용자 집합을 대상으로 원하는 목표를 달성할 수 있는지 확인하는 과정을 거쳐야 합니다. A/B Testing 결과를 확신할 수 있으면 모든 사용자에게 이 기능을 출시합니다.
사용자 그룹 타겟팅 앱 사용자에 대한 데이터를 사용하여 타겟팅된 A/B 테스트를 실행합니다. 예를 들어 특정 앱 버전, 플랫폼, 언어를 실행하는 사용자 하위 집합을 타겟팅하고 Google Analytics 사용자 속성 값과 일치하는 사용자를 선택할 수 있습니다.

기본 원리

실험을 만들 때 사용자 환경의 대안을 여러 개 만들고 인앱 구매 증가와 같이 달성하려는 목표에 대한 대안의 실적을 측정합니다. 타겟팅된 사용자 그룹은 'AND' 논리로 연결된 여러 조건을 통해 정의될 수 있습니다. 예를 들어 클라이언트에서 설정한 커스텀 Google Analytics 사용자 속성과 일치하는 '비정상 종료 사용자'와 같은 Analytics 잠재고객 둘 다에 속하는 특정 앱 버전의 사용자로 그룹을 제한할 수 있습니다.

A/B 테스팅 실험은 Google 애널리틱스로 원격 구성 및 메시지 작업을 테스트하여 사용자를 타겟팅하고 결과를 측정합니다.

Remote Config를 사용하면 파라미터를 하나 이상 변경하여 실험하면서 앱의 동작과 모양을 변경할 수 있습니다. 최상의 색상 구성과 메뉴 옵션 배치 시험과 같은 미묘한 변경사항 또는 완전히 새로운 기능이나 UI 디자인 테스트와 같은 대폭적인 변경사항에 이를 사용할 수 있습니다. 알림 작성기를 사용하면 실험을 통해 알림 메시지에 적합한 문구를 찾을 수 있습니다.

실험에서 Remote Config 또는 알림 작성기를 사용하는지 여부에 관계없이 목표를 달성하는 데 가장 우수한 대안인 최우수 대안을 식별할 때까지 실험을 모니터링할 수 있습니다. 일부 사용자만을 대상으로 실험을 시작한 후 점차 비율을 늘릴 수 있습니다. 첫 번째 실험에서 기준보다 우수한 대안이 드러나지 않을 경우 새로운 실험을 시작하여 최선의 앱 개선 방안을 모색할 수 있습니다.

목표와 함께 앱 비정상 종료, 유지율, 수익 등의 기타 측정항목을 추적하면 실험 결과가 어떠하며 앱 사용 환경에 어떠한 영향을 주는지를 더 정확히 파악할 수 있습니다.

구현 경로

앱에 Remote Config 또는 Firebase Cloud Messaging 추가 앱에서 이미 Remote Config 또는 Cloud Messaging(또는 둘 다)을 사용하는 경우 다음 단계로 건너뛸 수 있습니다.
A/B 테스트로 평가할 변형 정의 사소한 변경사항 또는 새로운 UI나 기능 추가 여부에 관계없이 Remote Config를 사용하여 변경사항을 관리하려면 A/B Testing을 사용하여 변경사항의 여러 변형을 테스트하면 됩니다.

또한 알림 작성기와 함께 A/B Testing을 사용하여 재참여 캠페인의 여러 대안을 테스트한 후에 모든 사용자에게 출시할 수 있습니다.
성과 측정 방법 정의 알림 작성기를 사용하는 실험에서 Analytics 이벤트를 사용하여 실험 목표를 정의하고 실험 대안을 비교할 수 있습니다. Remote Config 실험에서는 Analytics 이벤트 또는 전환 유입경로를 사용하여 실험 목표를 정의할 수 있습니다.
실험을 모니터링하여 우수한 변형 찾기 소수의 사용자를 대상으로 실험을 시작한 후 초기 결과가 양호하면 더 많은 사용자에게 적용할 수 있습니다. 실험을 모니터링함으로써 변형으로 인해 더 많은 앱 장애가 발생하거나 앱 경험에 특정한 영향을 주는지 확인하고 목표 달성에 가장 큰 도움을 주는 변형을 파악할 수 있습니다.

다음 단계