ABテストは、母数がある会社の道具
ABテストは、2つの案(AとB)を同じ時期に出し分けて、どちらの反応が良いかを比べる方法です。便利な方法ですが、比べるには十分な数が要ります。問い合わせが週に数件の会社では、差が出ても偶然か本当の差か、見分けがつきません。
テストする前の3つの確認
- 数は足りるか:比べる数字(有効な問い合わせなど)が、期間中に十分な数になるか。週0〜3件なら、率で比べるのはやめます(前作5-2)
- 変えるのは1か所か:AとBで違うのは1か所だけか
- 判定の線は先に決めたか:何週で、どれくらいの差なら採用するか
数が足りないときは、ABテストはしません。直す前と後を比べ(7-1)、ヒートマップで行動の変化を見ます(7-3)。
1回に変えるのは1か所
デザインの改修では、ついあちこちを同時に直したくなります。けれど、キャッチと写真とボタンの色を同時に変えて反応が良くなったら、どれが効いたのかわかりません。次の改修に生かせなくなります。
悪い例
キャッチの文言、写真、ボタンの色、フォームの項目を同時に変えて公開
良くなっても悪くなっても、理由がわからない
良い例
1回目はキャッチの文言だけ変える。判定のあと、2回目に文字の大きさ、3回目に写真を変える
何が効いたかがわかり、次に生かせる
見た目の変更と原稿の変更を混ぜない
特に混ざりやすいのが、見た目(大きさ・色・配置・写真)の変更と、原稿(文言)の変更です。キャッチを大きくすると同時に文言も変えると、効いたのが大きさか文言かわかりません。文言を変える回は、大きさも色もそのままにします。見た目を変える回は、文言をそのままにします。
「1か所」は1つの要素
この資料では、1か所を1つの要素として数えます。ファーストビューの中でも、キャッチの文言、文字の大きさ、写真、ボタンは別の回にします。メインキャッチとサブコピーは、同じ「ファーストビューの文言」として1回で変えてかまいません。
判定の間は入口を変えない
LPの判定をしている間に、バナーやチラシを新しくすると、LPに来る人の数も質も変わります。前作5-4の「比較を壊すもの」です。判定の間は、いまのバナーとチラシをそのまま続け、新しいものは作るだけにして出しません(8-2)。
「せっかく直すなら全部」と言われたら、直す順番の表を作って見せます。1回目、2回目、3回目に何を直し、それぞれ何週で判定するか。全部直すことは変わらず、順番がつくだけだと伝えます。
この章で使う道具 「誰に何をしてもらうか」一行シート/前作の道具箱:測る前の1枚