IN CUSTOMER · ISSUE 245
● 12 SEC知ってもらえば売れる。だから広告を出す。そして効果は測れる。この号が開くのは三つ目です。会社名も、検索や交流のサイトの名前も書きません(逐語では伏せ、その場で断ります)。
扱うのは、ある大規模なオンラインの取引所の現場実験。読めたのは2014年5月配布の作業論文版で、表紙に査読を受けておらず、理事会の審査も経ていないと印字。翌2015年の刊行版には未到達です。
導入の逐語——通常の最小二乗法では、時期と地域の統制なしで投資収益率4,100%超、統制ありで1,400%超。内生性を処理する実験の方法では−63%(95%信頼区間−124%から−3%)で、正の収益をもたらすという仮説を棄却する。〔投資収益率=広告費1に対する短期の売上の比。金融商品のそれではありません。内生性=広告のせいか、もとの買いやすさのせいか分からない状態。信頼区間=推定値が置かれうる幅〕
自社名で検索している人に有料の広告を出す。この取引所は、その語への広告を二つの入口で止めました——失われた押下のほとんどすべて(99.5%)が、自然な検索の側にただちに回収された。〔伏せたのは会社と入口の名前〕
統制なしの前後比較は、総押下が5.6%低い(−0.0560、標準誤差0.00861、観測118)〔標準誤差=ぶれ幅の目安〕。季節を無視した比べ方なので、止めなかった入口を目安にする差の差へ〔差の差=両側の前後の変化を引き算する比べ方〕。交互作用は−0.00529(0.0177、観測180)。失われたのは0.529%で、99.5%が保たれました。原典はこれを保持率の下限とも書いています。
2012年7月には別の入口で追試。総押下は3%減(−0.0321、0.0124、観測120)。ただし原典は、まともな対照群が無く、よい対照群があれば推定はもっと小さくなると断ります。自社名の語では、自然検索が有料検索のほとんど完全な代替だ、が結論です。
「広告は効かない」で止めると、続きを読み落とします。自社名でない語では、押下は同じようには戻りませんでした——広告経由41%減、総押下2%減。
01同じ行に4,173%と−63%。ただし「同じデータ」ではない。列は五つ(通常の回帰二・操作変数法二・差の差一)。推定係数は0.88500(標準誤差0.0143)・0.12600(0.0404)・0.00401(0.0410)・0.00188(0.0016)・0.00659(0.0056)。支出は五列とも5,100万ドル、総収入も28億8,064万ドル。差し替わるのは係数だけ(差の差の列は調整値も3.51から1へ)。投資収益率は4173%・1632%・−22%・−63%・−63%、下限4139%・697%・−2168%・−124%・−124%、上限4205%・2265%・1191%・−3%・−3%。三つ目は幅が−2168%から1191%と極端に広く、明確な差があったとは言えません。係数の出どころの表は観測が10,500と23,730で数も違う。収入と支出も社内データではなく——方針で明かせない専有情報なので、公開情報を用いる。
0225の無作為化比較試験。信頼区間の中央値は100パーセントポイント超の幅。米国の大手小売19社と金融サービス6社、合わせて280万ドルにあたる25の現場実験(19+6=25、期間は2日から105日)。投資収益率の標準誤差の中央値は小売26.1%・証券115%。個人の売上の散らばりが大きく、変動係数10も珍しくない(小売で4から23)〔=散らばりを平均で割った値〕。だから情報量のある広告実験は、容易に1,000万人週を超えて必要になる。10%と0%を見分けるには、小売で中央値61倍(9件は100倍超)、金融は1,241倍。
0315の実験との突き合わせ。半数で購入の増加率が3倍ずれた。ある大規模な交流サイトで2015年に行われた15の米国のキャンペーン——5億の「利用者×実験」の観測、16億の広告表示。研究の半数で、購入の結果の推定された増加率は、すべての手法にわたって3倍ずれている。たいていは過大に、ただし場合によっては有意に過小にも。
一つめ。1960年から2008年の56件の研究から、短期の弾力性751件と長期402件を集めたメタ分析〔751と402は推定値の数、56は研究の数。弾力性=広告費1%増で売上が何%増えるか〕。短期の平均.12・中央値.05は先行のメタ分析の平均.22より低く、長期の平均.24も先行が含意した.41より低い。
その.41は先行研究が書いた値ではなく、短期.22と平均繰越係数.468から、この論文が脚注で.414として導いた含意値です。短期751件は−.35から1.80、長期402件は−1.2から4.5に散らばり、約7%と約5%が負でした。
二つめ。1999年の総説は250件超の論文と書籍を読み直しました——時間的な順序という意味での効果の階層には、ほとんど支持が無い。代わりに置かれたのは、感情・認知・経験を三つの次元とする空間。確かめられた結論ではなく、提案です。
01「押下が増えていれば効いている」——止めても99.5%は別の経路から来ていた。99.5%は「失われた押下」に対する回収の割合で、売上の割合ではありません。しかもこれは自社名の語の結果です。どの比べ方で、どの語を測ったのかで、答えは変わります。
02「だから広告は効かない」——新規と、前年に1〜2点だけ買った人には有意な増加。原典は、新しい利用者の獲得と、頻度の低い利用者の購入に、検知できる正の影響を報告します。前年に3件以上取引した人は影響を受けず、その頻繁な利用者が広告費の大半を占めるため平均は負になる。効く相手はいた。ただしお金は、主にそうでない相手に使われていた。
03「まず知ってもらう順で効く」——250件超の総説は、その順序に支持は乏しいと結論。この順番は自然に聞こえます。けれども総説が置いたのは提案であって、確かめられた結論ではありません。階層が無いことは、認知が無関係だという意味でもありません。
全文まで読めたのは、六本のうち四本です。読めていないものについては書きません。一本は査読を受けていない作業論文版で、刊行版には未到達。三本は第三者サイトに転載された出版社体裁のPDFで、出版社版での再確認が要ります。25の実験と15の実験は無作為化比較試験。自社名でない語の実験は地域の単位で、原典自身が、純粋な無作為標本ではない(売上の傾向に差のない恣意的な標本だ)と断ります〔米国の210地域のうち約30%で停止、試験68・対応する対照65・残り77で対照は計142、2012年4月から7月の60日間〕。メタ分析と総説は、実験ではありません。
標本も偏ります。主にオンラインの検索広告と表示広告で、時期は2012年から2015年。小さな商圏や口伝えが主な商いに同じ数字が当てはまるとは言えません。実験の場と著者の所属が同じ研究も含まれます——取引所の研究の著者はその会社の研究部門に在籍、交流サイトの研究は4名中2名が同社の所属。六本は独立していません——二本に同じ著者が入り、互いを引用しています。
同じ支出と同じ収入に、係数だけを差し替えて、
4,173%と−63%が、同じ行に並びました。
次の3手も、研究が命じた順番ではありません。手元の報告を二つの欄に分けたとき何が起きるかを測った研究は、ありません。出稿も、停止も、評価もしません。
TRY IT TODAY
- 01PICK
紙かメモアプリを開き、手元にある広告や発信の報告を1つだけ選ぶ。
- 02SPLIT
紙を左右に分ける。左に表示・到達・押下・閲覧・反応、右に買った件数・申し込み・問い合わせ。**右が空なら「書かれていない」と書いて終わり。**
- 03NOTE
最後に、その報告の見出しの数字が左右どちらの欄のものだったかを一言。判定はしません。
年代順に、1984年に16件・128推定値から広告弾力性の最初の一般化、1999年に250件超の総説、2011年に56件・1,153推定値のメタ分析、2014年に取引所の現場実験の作業論文(刊行は2015年)、同じ2015年に25の無作為化比較試験の分析、2019年に15の実験と観察的手法の突き合わせ。1999年から2019年の20年、孫引き元まで含めれば35年です。動いたのは、測り方のほうでした。
確かめられたのは三つ。同じ支出と同じ収入に係数だけを差し替えると、4,173%と−63%が同じ行に並んだこと。自社名の語を止めても、失われた押下の99.5%が自然な検索に回収されたこと。平均の収益は負でも、効いた層はあったこと。今日残せるのは、左の欄と右の欄の数字と、一言。記録が1件、残るだけです。
SECOND LAYER · FULL SYLLABUS需要創出・認知拡大力を、もっと深く学ぶ。→HOW TO READ THE NUMBERS数字の読み方＋
この号に出てくる統計の言葉です。数値は原典のまま、意味だけをほどいています。
- 95%信頼区間
- 推定値の「ばらつきを見込んだ幅」。同じ研究を何度もやり直したら、結果の多くがこの幅に収まると期待できます。幅が0(差なし)をまたぐときは、明確な差とは言い切れません。
- メタ分析
- 同じテーマの研究をたくさん集めて統合し、平均的な効き目を推定する方法。1本の研究より安定しますが、集めた研究の質と偏りに左右されます。
- 無作為化比較試験
- くじ引きの要領で「介入を受ける群」と「受けない群」に分けて比べる実験。「効いたかどうか」を言うための標準的な設計です。
- 統計的に有意
- 「偶然だけでは説明しにくい」という意味の専門用語。効果が大きい・重要だという意味ではありません。ごく小さな差でも、人数が多ければ有意になります。
- 中央値
- 全員を並べたときの、ちょうど真ん中の人の値。平均と違って、極端な値に引っ張られません。
