IN MARKETING · ISSUE 359
● 12 SEC二つの案を並べ、来た人を無作為に振り分けてそれぞれに見せ、どちらの反応がよかったかを比べる——A/Bテストです。件名を二通り、値札の見せ方を二通り。数字で比べたのだから、正解は客観的に決まる。そう思われています。
ところが、この道具を長く回してきた人たちほど、強い警告を残しています。この号はA/Bを否定しません。道具が強力であることと、自分がそれを正しく使えることは、別物だという話をします。数値の由来は出典欄に置きました。全文まで読めたのは7点のうち4点で、残りは公式の要旨までです。読めていない部分については書きません。
A/Bテスト(A/B testing)は、比べたい二つの案を、来た人を偶然に任せて振り分け、どちらの反応がよかったかを見る実験です。振り分けが偶然なので、もともとの差が混ざりにくい。比べ方としては、いちばん信頼できる形です。だからこそ、この形を長く回してきた人たちが、その限界をいちばん細かく書き残してきました。彼らが残したのは、使い方の手引きよりも、取り違えの一覧のほうでした。
同じ書き手たちは2017年に実務誌でも、この測り方の意外な力を説いています。ただ本領は、力の礼賛ではなく取り違えの警告のほうでした。2023年に The American Statistician 誌 78(2):135-149 へ出た総説も、抄録の一文をこう置いています——“In this paper we review challenges that require new statistical methodologies to address them.”(本稿では、それらに対処するために新しい統計的手法を必要とする諸課題を概観する)。この号が運ぶのは、そこに並ぶ課題のうち、別々の研究で確かめられた三つと、結果を外へ持ち出すときの限界だけです。
0110%の水準で「差あり」とされたうちの28〜37%は、差が無かった。2022年に Management Science 誌 68(9):6762-6782 へ出た研究は、あるA/B基盤で動いた2,766件の実験・4,964件の効果を調べました。10%の有意水準で差ありと判定されたもののうち本当は差が無かった割合は28〜37%、5%の水準では18〜25%。主因は、検出力の低さではなく、本当は差の無い案が全体の7割ほどを占めることでした。著者が前面に置くのは、5%で有意になった介入の5つに1つは現場で効かないと見ておくべきだ、という読みです。
02途中で覗いて、良く出た瞬間に止めると、偽の勝ちは作れる。2022年に国際会議 KDD の予稿集(KDD ’22)へ出た予稿は、走らせている途中の数字を何度も見て、良く出た瞬間で止める使い方を名指ししました。途中の数字は上下に揺れます。止めどきを結果に合わせて選ぶと——“This type of multiple testing significantly inflates the type-I error rates”(この種の多重の検定は、本当は差が無いのに差ありとする誤りの率を、大きく膨らませる)。この号は、そのやり方も、有意になるまで条件を探す手口も書きません。
03短い窓で見た勝ちは、長い窓では縮むことがある。2015年に国際会議 KDD の予稿集(KDD ’15, pp.1849-1858)へ出た予稿は、ある検索広告の場で、長期にわたる利用者の学習を測る方法を組み立てました。測ったのは目新しさではなく、過去に見た・押した広告の質に駆動されて、広告へ目を向けたり向けなくなったりする学習のほうです。原文はこう書きます——“such gains may not persist in the long-term!”(そうした短期の伸びは、長期には続かないかもしれない)。
自分がいま、その数字のどちら側にいるのか。判断そのものではなく、手元の言い方のほうに、手がかりが出ます。売り場でも、告知でも、出てくる形は似ています。
01「A/Bで決めた」で、話が終わっている。数字で比べたのだから公平だ、という響きは強い。けれど、比べた数字が偶然の差か、途中で止めた産物か、短い窓だけの差か——そこを問わないかぎり、その響きは響きのままです。「A/Bで勝った」は、それだけでは何も保証しません。
02比べたときの数が、記録に残っていない。ここで引いた実証は、いずれも大量の人が行き交うオンラインの場で採られたものです。一日の来客が数人・数十人の売り場では、そもそも差を出せるだけの数が集まりません。回せないことは、劣っていることではありません。数の足りない比較を信じるより、比べなかったと書くほうが正直なこともあります。
03他人の売り場で勝った案を、そのまま持ち込んでいる。A/Bが測るのは、その実験に来た人の、その時期の、その場での差です。相手も場も違えば、同じ差が出るとはかぎりません。持ち出せるのは案そのものであって、勝ちのほうではありません。
A/Bは普通、AとBが互いに影響し合わないことを前提にします。ところが同じ市場の中で二群に分けると、この前提が崩れます。2014年に国際会議 EC の予稿集(EC ’14, pp.567-582)へ出た予稿は、あるオンライン市場のメール施策を材料に、試験群の需要が動くと、対照群に残る供給のほうが変わる——試験群が落札すれば、対照群はその品を落とせない——という形で、市場ぜんたいの釣り合いのほうが動くこと(一般均衡の効果)を示しました。
抄録はこう書きます——“Ignoring test-control interference leads to estimates of the campaign’s effectiveness which are too large by a factor of around two.”(試験群と対照群のあいだの干渉を無視すると、施策の効果の推定は、およそ2倍ほど大きく出る)。この材料では、利用者単位の推定0.74%が2倍を超えて過大でした。歪みは供給が動きにくいほど大きく、需要が動きやすいときには過大の側へ出ます。
他と違って見える数字は、
たいてい、間違っている。
この経験則には名前があります。Twyman の法則。提唱者の名を冠した一行は2020年の書籍に採録され、2022年の予稿集がそこから引きました——“any figure that looks interesting or different is usually wrong”(興味深い、あるいは他と違って見える数字は、たいてい間違っている)。桁外れの勝ちが出たら、祝う前に測り方を見る。順序はそれだけです。
TRY IT TODAY
- 01PICK
過去に二つの案を比べて片方に決めた出来事を、一つ書く。
- 02RECORD
そのとき見た数字と、比べた期間と、対象のおおよその数を書く。
- 03MARK
覗き見・数の少なさ・短い窓・取り合いの四つに、当てはまりの印を付ける。
2014年から2023年まで、統計の側からも実務の側からも積み上がったのは、「A/Bで比べれば正解が出る」という側ではありませんでした。偽の勝ち・覗き見・短い窓・供給の奪い合い——ここまでは、それぞれ別の研究が、別の場で、別の材料で確かめた、別の話です。そこに、結果を外へ持ち出すときの限界が重なります。これは研究の知見ではなく、読み方の側の注意です。年も、調べた対象も、測ったものも違います。一つの結論に束ねず、並べたまま持っておく。それが、この号の読み筋です。
SECOND LAYER · FULL SYLLABUS「A/Bテストで磨くには？」を、もっと深く学ぶ。→HOW TO READ THE NUMBERS数字の読み方＋
この号に出てくる統計の言葉です。数値は原典のまま、意味だけをほどいています。
- 統計的に有意
- 「偶然だけでは説明しにくい」という意味の専門用語。効果が大きい・重要だという意味ではありません。ごく小さな差でも、人数が多ければ有意になります。
