Firebase A/B Testing
Firebase A/B Testing は Google オプティマイズの機能を活用しており、プロダクトとマーケティングのテストを簡単に実行、分析、スケーリングでき、アプリ操作の最適化に役立ちます。アプリの UI、機能、エンゲージメント キャンペーンに対する変更をテストし、変更を広範囲にロールアウトする前に変更内容が実際に主要な指標（収益や維持など）に大きな変化をもたらすかどうかを確認できます。
A/B Testing は、さまざまなマーケティング メッセージをテストできるように FCM と連携し、アプリ内での変更をテストできるように Remote Config と連携します。
主な機能
| 製品の使用体験をテストして改善する | Remote Config でテストを作成して、テストのバリアント間でアプリの動作や外観を変更し、最も重視する結果の獲得に最も高い効果を発揮するのはどの製品の使用体験であるかをテストします。 |
| Notifications Composer を使用してユーザーに再度アプローチする方法を見つける | A/B Testing を使用して、アプリへのユーザーの取り込みに最も効果的な言い回しやメッセージの設定を見出すことができます。 |
| 新機能を安全にロールアウトする | 新機能をロールアウトするには、まず小規模のユーザーのサブセットで目標を満たすことを確認します。A/B Testing の結果で確証が得られたら、すべてのユーザーにその機能をロールアウトします。 |
| Google アナリティクスのデータを使用してユーザー グループをターゲットにする | Google アナリティクスのデータを使用して、ターゲットとするクライアントで A/B テストを実施します。たとえば、特定の Google アナリティクス ユーザー プロパティと一致し、特定のアプリ バージョン、プラットフォーム、言語、ユーザー属性を持つユーザーのサブセットをターゲットにできます。 |
仕組み
テストを作成する場合は、テスト可能なアクションの 1 つ以上のバリアントを試し、各バリアントが達成目標（アプリ内購入を増やすなど）をどの程度達成するかを評価します。ターゲットとするユーザー グループは、「AND」論理演算により結合された複数の条件により定義できます。たとえば、ユーザー グループを、特定のアプリ バージョンのユーザーで、クライアントが設定したカスタムの Google アナリティクス ユーザー プロパティと一致する、「クラッシュが頻発するユーザー」などのアナリティクス オーディエンスに属するユーザーのみにグループを制限できます。
Remote Config を使用して複数のバリアントでいくつかのパラメータの変更を試し、各バリアント グループ内でアプリの動作や外観をさまざまに変えることができます。この方法は、最適な配色やメニュー オプションの配置といった軽微な変更にも、まったく新しい機能や UI デザインのテストのような大きな変更にも使用できます。Notifications Composer を使用すると、テストを実施して、通知メッセージに含める適切な言い回しを見つけることができます。
Remote Config と Notifications Composer のどちらをテストに使用する場合でも、有効な結果が得られるまでテストをモニタリングし、目標達成度が最も高いバリアントを特定できます。このようなバリアントのことを「リーダー」と呼びます。テストはまず少数のユーザーで開始し、時間とともにテストに参加するユーザーの割合を増やすことができます。最初のテストで現在のアプリよりも目標達成度が高いバリアントが見つからなかった場合は、新しいテストラウンドを開始してアプリの最良の改善方法を見つけることができます。
目標に加えてその他の指標（アプリのクラッシュ、定着率、エンゲージメント）を追跡することもできます。これにより、テストの結果をより深く理解でき、テストがアプリの使用体験にどの程度影響するかがわかります。
実装のプロセス
| アプリに Remote Config または Firebase Cloud Messaging を追加する | アプリですでに Remote Config または Cloud Messaging（またはその両方）を使用している場合は、これを省略して次のステップに進むことができます。 | |
| A/B テストで評価するバリアントを定義する |
変更が軽微であるか、新しい UI や機能を追加するような大きなものであるかを問わず、Remote Config を使用してその変更を制御できれば、その変更に関する複数のバリアントを A/B テストでテストできます。 また、A/B テストに Notifications Composer を使用することで、再エンゲージメント キャンペーンに関する複数のバリアントを、すべてのユーザーに公開する前にテストできます。 |
|
| 成功をどのように測定するかを定義する | Notifications Composer を使用するテストでは、アナリティクス イベントを使用してテストの目標を定義し、テストのバリアントを比較できます。Remote Config によるテストでは、アナリティクス イベントまたはコンバージョン プロセスを使用してテストの目標を定義できます。 | |
| テストをモニタリングして最良のバリアントを見つける | まず少数のユーザーでテストを開始し、初期の結果が良好であればテストユーザーの数を増やすことができます。テストのモニタリングが進むにつれて、アプリのクラッシュ頻度が高いバリアントや、アプリのユーザー エクスペリエンスに対する影響度が高いバリアントがわかります。また、目標達成度が最も高いバリアントも明らかになります。 |
次のステップ
- 基礎から上級者向けトピックをカバーする A/B Testing の 動画シリーズを見る。
- Remote Config または Notifications Composer 用のテストを作成する。
- A/B Testing と連携する Firebase の機能（Google アナリティクス、Firebase Remote Config、通知メッセージ、AdMob、Remote Config のパーソナライズ）の詳細を確認する。
- A/B Testing と同じく高度なベイズ統計を活用しているオプティマイズの詳細を確認する。