こんにちは。
Filmarksのグロースハッカーをやっている松山です。

今回は、ABテストを行う際に気をつけていることをご紹介したいと思います。

1. CVR向上施策は、原則ABテストせよ

時期トレンドがあるため、本当に施策によりCVRが改善されたことを検証するためには、ABテストをしなければなりません。

例えばFilmarksで言うと

• 土日と平日で数値が異なる
• その時の上映映画のトレンドにより数値が変化する
• キャンペーンなどの施策効果により数値が変化する

などといったことがあります。

そのため、もしABテストを行わずに施策を行って効果が出たとしても、施策ではなく時期トレンドの影響のせいかもしれません。
施策による効果を正しく検証するため、CVR向上施策の場合は必ずABテストするようにしています。

逆に、CVR向上施策ではない施策はABテストをしません。
例えば、フラットデザインへの変更時は「CVR向上」が目的ではなく、主流のデザインへ寄せることが目的だったので、ABテストは必要ないと判断しました。
(つまり、万が一CVRが下がってもデザインを変更するぞ、という事です)

細かいUI改善も、一つ一つの施策は効果が見えづらいのでABテストはしませんが、
リピート利用率向上につながる大切な施策だと思います。

2. テストパターンは一つの変更点と比較せよ

あまりに多くの変更点を一度に変えてしまった場合、
何が要因で効果があったのかが分からなくなってしまいます。
そのため、要素を分解して、一つ一つ効果検証するようにしています。

例えば、検索結果画面で１パターン・詳細画面で3パターンのABテストをしたい場合です。
図の左でケース1とケース2の異なる結果が出た場合、検索結果画面・詳細画面のどちらの施策が要因で効果に違いが出たのか分からなくなってしまいます。
そのため、図の右のように要素を分解してABテストを行うようにしています。

3. まずは大きい変更点からテストせよ

例えばボタン一つをとってみても、
ボタンの位置、色、文言、文字サイズ、ボタンサイズ...などなど、
たくさんのABテスト案が考えられます。

そんなとき、「一番大きな変更」からABテストするようにしていきます。
自分だったら今回の場合、ボタンの位置変更、色変更、文言変更...を1パターンずつやると思います。
そうすることで、「どんなABテストが効果的か」を見極められるからです。
ボタンの位置変更が一番効果があった場合、次のABテストはボタンの位置を変更するパターンを複数作ってテストすると成功確率が高いでしょう。

たとえ数字が大きく下がったとしても、
「ボタンの位置を変更するとCVRが大きく変わる」といった気づきはとても大きな発見です。
ボタンの位置とCVRは大きな関係があることが分かるからです。

4. 分析期間は変更後2日以上経過してから設定せよ

特にスマホアプリの場合、
アップデート直後はPV数が上がる等、いつもと数字が異なる動きをします。

理由としては、

• 新機能を使ってみるためにアプリを利用するユーザもいるため、
  通常とはユーザのモチベーションが異なる
• アップデートにより休眠ユーザが掘り起こされる可能性があり、
  通常とはユーザ層が異なる

などが考えられます。

正しい検証結果を得るため、
アプリアップデート後2日間以上経過してから分析を行うようにしています。

5. 有意差があるか判定せよ

ABテストで結果がよかった施策は、すぐに反映したいものです。
では、「結果がよかった」という事を、どうやって判断すべきでしょうか？

私たちは、有意差判定(統計的に差が認められる事)をすることで判断しています。

前回のBlogで紹介したMixpanelでは、
一目で有意差が出たか分かるようになっていて、とても便利です。

最後に

個人的にはABテストはあまり好きではないんですが、その威力は絶大だと思います。
ABテスト前はつい「絶対に効果出るはず」と思いがちですが、自分の仮説がいかに当たらないかを思い知らされたときにABテストの存在に感謝します(笑)

これからも正しいABテストで、正しい判断をできるように努めていきたいと思います！