おそらくA/Bテストは必要ありません

2021/04/02 08:04

Oliver Palmer
コンバージョン率最適化コンサルタント
この記事は、著者の許可を得て配信しています。
 You probably don’t need A/B testing 

「自社(サイト)を最適化するプログラムを作ってみてはいかがでしょう?」、私は今まで以上にそのように企業に話をしています。

企業側は(今までの)成功事例を引き合いに出して、その行為がまさに詐欺まがいであるということを分かった上で、ロケットで地球の外まで達するがごとく高いCVR(コンバージョン率)を達成しました!なんて掲げる用意をしています。

とは言うものの、ほとんどの場合、A/Bテストが十中八九ベストな解決策でないとお伝えしなければなりません。効果的なA/Bテスト計画を実行するためには、実行過程・人員・構成において、多額の投資を必要とします。

優れたROI(費用対効果)を達成するためには、何よりも規模が必要です。企業の経済基盤が悪くなる(かける費用が少なくなる)と、1、2年は何も達成していない(効果が出ていない)と悩むことになります。さらに悪いことに、これらの初期導入事例(の失敗)が理由で、A/Bテストを「一度試したけど、うまくいかなかったこと」と、永遠に決めつけてしまうことになります。

では、どのようにしたらA/Bテストが自社に適していると判断できるのでしょうか?

この記事では、効果的なプログラムを作成するために必要な判断基準について概説します。ビジネスが要件に適しないと考えるなら、効果的な代替案についてもご提案しましょう。

最適化はリサーチとともに始まる

一般的な誤解の一つに、A/Bテストツールとは平均的なWebサイトを勝者に変える奇跡的なお金の印刷機であって、人間の介入なんて必要ない、そう考えられていることです。

(A/Bテスト導入に)熱心な人々やソフトウェアベンダーによって推進されている理想的なケーススタディを信じるとすれば、A/Bテストとは、サイトを無数に断片化して考えうる全ての組合せへと動的に再結合すること、を意味します。

このアルゴリズム的なビンゴゲームでは、最適な組み合わせをソフトウェアが発見した時点で終了となります。緑のボタンが青に変わって、ヒーローの画像が入れ替わって、コンバージョン率が8000%に増加しました。。。いやいや間違ってます!

この「一見単純な」アルゴリズム最適化というものの誤解によって、特徴のない最適化マシンと競合するUXデザイナーから、繰り返し怒りを受けるきっかけとなってしまいます。

「A/Bテストが示すような段階的なテストなんてできませんよ!」UXデザイナーはそう主張します。彼らの言い分は正しいんです。優れたA/Bテストは、このように結局は全く機能しないんです。

評価に値するA/Bテストとは、ほとんどの場合において、質に関するインサイト情報に端を発しています。

誰かが(申し込みページの)ボタン色を変えて、コンバージョンゴールドを打った(CVRがとてつもなく上昇した)としても、それは偶然ではないのです。UXデザイナーが既にあった問題に取り組んだからこそなんです。

これはおそらく、実際のユーザーの行動をじっくりと注意深く観察することによって特定されたのだろうということです。

顧客が既に存在しているボタンに気付かないため(そのままではサイズやコントラストが不十分なため)、UXデザイナーは、A/Bテストの結果からこれを修正して、ウェブサイトの不具合を少なくする次の段階に進むことができたことを確認しました。

色を変更したことは、問題そのものだったのではなく、問題を解決するための手段だったことを意味しています。

不十分なA/Bテストプログラムを用いると、数か月から数年単位でのカーゴ・カルティング(必要のないコードやプログラムを埋め込むといった悪習)のごとく、(大切な)クリスマスが過ぎ去ってもまだふさわしい結果を得られないといったような疑わしいテストを行ってしまうといったことがしばしば起きてしまいます。

その間ずっと、UXデザイナーは、昔ながらの退屈でお決まりのユーザー調査のせいで、Webページ上でのインサイト(顧客の動向といった情報)という正真正銘の金鉱(すぐに見つかるはずの答え)を見逃してしまっています。

腰を落ち着けてあなたのウェブサイトを理解しようとする真のユーザーを観察することは、変革を起こすことができるインサイト(情報)へと解き放つ最も速く、最も簡単で、最も強力な方法なのです。

これらのインサイト(情報)を、仮説主導型の最適化と組み合わせて大規模に検証すると…まあ、魔法が起きるんです。

ただし、A/Bテストには多くの注意点があります。

あなたのウェブサイトを最適化するための最良の方法であるとは限らず、状況によっては、莫大な時間のムダでさえあるかもしれないのです。

A/Bテストには大量のトラフィックが必要

統計的有意性とは、最も誤解を生み出しやすい検証試験の1つなのです。

私は、大学生活で、(落書きと第三波フェミニスト理論の交差点についての文化研究エッセイを書くのに忙しすぎて)統計学の授業に耐える必要がなかった数少ない人の一人ですので、おそらく統計学についてはあまりよく知らないのですが、ちょっとユーモアを交えて考えてください。

統計的有意性とは、偶然を測定する一つの方法であり、あるテストにおいて観察された偶然のことなのです。測定結果の妥当性を保証するために、統計的有意性スコアを使用します。

ここでは詳細について詳しく説明しませんが、統計的有意性とはいくつかの要因が絡み合った結果の産物なのです。

  • サンプルの範囲と加重平均期間
  • 基準となるCVR(コンバージョン率)
  • (信頼区間における)最小効果量

例えば、eコマースストアにおいて、既存のコンバージョン率が2.5%であるとします。

コンバージョン率を5%増加させる(これを最小効果量とする)A/Bテストを実施して、99%の有意性を達成したい場合(つまり観察結果が他の要因によってもたらされる可能性が1/100となる場合)、(サンプルサイズとして)バリエーションごとに330,000人の訪問者が必要になります。

これは1つのバリエーションのみをテストするために、66万人のサイト訪問者によるテストを意味します。大量の訪問者が必要なのです。妥当な時間内に実行するためには、大量のトラフィックが必要です。

疲れ切ってしまったスタッフをフォローして、「ぶら下げられた果物を採取」するごとく、結果を得られた後、5%のコンバージョン率上昇が見出せることは、ごくわずかな事象となります。したがって、さらにより多くのトラフィックに対応することになります。

CVRが2%上昇する、という意味

CVRが2%上昇するということは、素晴らしい結果を意味します!ただしその場合、1つのバリエーションをテストするために約500万人の訪問者が必要になります。

あなたはこう言うかもしれません「永遠に時間がかかってしまいます!それでもわずか2%のCVR上昇です!」、そして次に、重要なことを理解し始めます。A/Bテストを効率的に行うためには、かなりの規模が必要だということです。

十分なトラフィックがない場合にはテストの実行時間が長すぎてしまい、良い結果が得られないといった古典的な間違いを犯してしまうかもしれません。適切なA/Bテストを行うためには、50万人のユーザーをテストにかけるほどのトラフィックが必要となります。

ほとんどのテストでは大きなCVRの向上は見られないため、新しいテストを継続的に改良、反復、実行する必要があります。ただし、トラフィックが多い場合は、収益が十分に大きいため、CVR2%の増加は簡単ではありません。

たとえば、最近2.7%のCVR(コンバージョン)増加を達成した私のクライアントの1人は、この変更により、今後12か月で約2,000万ドルになると予測しています。

膨大な数のトラフィックを抱えるWebサイトにとって、A/Bテストは本当に魔法のような提案です。

他のすべての人にとって、あなたはより良い解決策を必要としています。

規模がない場合、定性的調査を使用

A/Bテストの規模がないからといって、ウェブサイトを最適化できないわけではありません。

最高のA/Bテストプログラムは、5〜10人のユーザーを対象とした定性的調査でインサイトを見つけ、数千または数百万の訪問者を対象に、これらの調査結果を大規模に検証します。そのような規模がない場合でも調査を実施して、いくつかの変革的な結果を得ることができます。

ユーザー調査の最も魅力的な側面の1つは、必要に応じて単純または複雑にすることができることです。

アイトラッキングセンサーを備えた専用のユーザビリティ「ラボ」や、2面ガラスの反対側からメモを取る研究者チームは必要ありません。友人や同僚と一緒に座ってウェブサイトでタスクを完了するときに、自分の考えを言葉で表現するように依頼することは驚くほど強力な方法であり、とても不愉快なこと、つまり、なぜすぐに考えつかなかったのだろう、ということを明らかにします。

私のキャリアの中で最も変革的だったいくつかの最適化事例は、リモートの規模間のないユーザー調査ツールからの学習によって達成されました。これらは迅速・安価で、パンデミックの最中の使用にも適しています。

テストするユーザーにいくつかの基準(人口統計によるふるい分析、またはQ&A)を設定してタスクを設定すると、1〜2時間以内にユーザーが考えを言葉で表現しながらタスクを完了するといったスクリーンキャストビデオが届きます。A/Bテストのトラフィックがない場合は、変更を加えて結果を確認するだけです。

最初に発見された問題は非常に重大であるため、おそらくCVR(コンバージョン率)に段階的な変化が見られるので、テストは必要無くなります。

A/Bテストの規模が小さい場合でも、がっかりしないでください。ユーザーテストを通じてWebサイトを最適化することは、これまでの説明と同様に強力で、興味深く、やりがいのあることです。

いくつかの一般的なA/Bテストへの誤解によってもたらされる抽象化レイヤーを使用することなく、ユーザーとそのニーズに深く集中できるという利点があります。

appstore
googleplay
会員登録

会員登録して、もっと便利に利用しよう

  • 1.

    記事をストックできる
    気になる記事をピックして、いつでも読み返すことができます。
  • 2.

    新着ニュースをカスタマイズできます
    好きなニュースフィードをフォローすると、新着ニュースが受け取れます。