IN CUSTOMER · ISSUE 244
● 12 SEC星が1つ上がると、売上が5〜9%増える。いちばんよく引かれる数字です。この号が見るのは、その出どころに何が書いてあるか、です。サイトや店、商品の名前は書きません。
出どころは、ある経営大学院のワーキングペーパー(2011年公開・2016年改訂)。査読誌の論文ではありません。材料は、あるレビューサイトの評点と、米国ワシントン州の歳入当局が持つシアトル市の飲食店の売上。2003年1月から2009年10月に申告のあった3,582店、四半期に開いている店は平均1,587店です。
発見は三つ。①星1つの上昇は売上の5〜9%増。②この効果は独立店によって駆動されており、系列店では評点は売上に影響しない。③系列店は、このサイトの浸透とともに市場占有率を落としてきた。引かれるのはほとんど①です。
このサイトは平均点を半星刻みに丸めて表示します。あと少しで上の半星に届く店と、届かない店ができる。使われたのはこの境目、手法は回帰不連続デザイン〔境目のすぐ上とすぐ下だけを比べるやり方〕。推定に入れたのは境目から0.1星以内の観測だけです〔帯域0.2星〕。
段差の推定値は、統制の置き方を変えた三通りで0.094・0.092・0.093、標準誤差はいずれも0.041から0.042〔標準誤差=推定値がどれくらいぶれうるかの目安〕。原典自身の注記が付きます——外から与えられた一つ星ぶんの改善は、およそ9%の売上増につながる。(なお、実際の変化は半星ぶんだが、解釈しやすいように私は換算している。)
外から動いたのは、半分の星でした。帯域を0.3星に広げると0.054・標準誤差0.028、観測3,569・店1,001。本文は5〜9%に「推定の仕方によって」と添えます。誤差の幅ではなく、帯域の取り方で点の推定値が動いた範囲です。境目のすぐ上に評点が固まっていないかも検定ずみ(係数0.001・標準誤差0.005・観測78)。
ここまでなら簡単です。ところが①のすぐ隣に②があり、②は別の推定式からでした。
01同じ論文に、二つの推定がある。系列店では0.005だった。②は別の式から。店ごとの高さと四半期ごとの上下を差し引く固定効果に、評点と「系列かどうか」を掛けた項〔交互作用=効き方の違いを見る項〕を足したもの。独立店3,439店で0.065(標準誤差0.009)、系列店143店で0.005(同0.025)、交互作用は−0.055(同0.027)。観測は41,766=39,283+2,483、店数は3,582=3,439+143。要旨は統計的に有意でなく、系列店についてはゼロに近い。原典の説明は、系列店は品質の不確かさがもともと小さいから。系列店は開いている店のおよそ5%です。
02平均評点は、検査機関の点数とも再販価格とも噛み合わない。120分類・1,272製品では、平均評点は検査機関の点数と収束せず、標本が不十分なことが多く、再販価格を予測せず、点数を統制しても高価な製品と上位銘柄で高く出ました(オンライン先行2015年・掲載2016年)。それでも消費者は価格や件数より平均点を重く見て、標本が十分かで頼り方を加減もしない。原典はこれを「妥当性の錯覚」と呼びます。先の飲食店の研究は、レビューが50件以上の店では10件未満の店より評点の影響が50%大きいとも報告します。測っているものが違うので、一方が他方を否定しているのではありません。
03レビューの分布はJの字で、平均が意味を持つ形ではない。ある販売サイトの2005年2月から7月のデータで三分類を調べた短い報告。四つ星以上の割合は、書籍78%・DVD 73%・動画72%〔商品ではなくレビューの割合です〕。五つ星と一つ星に山があり、あいだがほとんど無いJ字。逐語は平均が統計的に意味を持つのは、単峰の分布に基づくときか、対称な二峰の分布に基づくときだけである。2,000件超の商品を各分類から3つ無作為に選んでも、平均が三つ星あたりでも同じ形でした。偏りの正体は問いとして立てられたところまでで、読めたのは冒頭から図1の説明までです。
その前に、二つ。星の重みは、上と下で同じではありません。二つの販売サイトで書籍の相対売上を比べた2006年の研究は、レビューはどちらも圧倒的に好意的だが、ほとんどの標本で一つ星の影響のほうが五つ星の影響より大きいと報告しました。
評点は作られもします。疑わしいとして濾過されたレビューを調べた2016年の研究は、飲食店のレビューのおよそ16%が濾過されている〔店ではなくレビューの割合です〕、それらは他より極端で割合は時とともに増えた、評判が弱い店ほど偽レビューを行いやすく、系列店は行いにくく、競争が激しくなると非好意的な偽レビューを受け取りやすい、と報告します。
泊まった客だけが書けるサイトと、誰でも書けるサイトで宿を比べた2014年の研究は、偽レビューの純利得は単独所有の独立した宿で最も高く系列の複数店舗の宿で最も低いと論じ、誘因の高い宿の隣の宿は誰でも書けるサイトでより否定的なレビューを、その宿自身はより好意的なレビューを受けていると示した。2003年の論文は総説で、効果を推定していません。
01「星1つで売上5〜9%」——自分に当てはまる数字として読む。出たのはシアトル市の飲食店、歳入当局への申告額です。5〜9%は範囲の取り方で動いた幅で、独立店の側。系列店143店では0.005でした。人や店を無作為に割り付けた実験ではありません。
02「平均点は、品質のこと」——1,272製品では噛み合わなかった。この研究について読めたのは抄録までで、内訳も点数の作り方も書きません。「収束しない」は、逆向きに動いていたという意味ではありません。抄録は向きを書いていないからです。
03「平均が同じなら、受け取られ方も同じ」——分布はJの字だった。平均が意味を持つのは単峰か対称な二峰のときだけ、という条件を満たしません。四つ星が二十件の商品と、五つ星十件・一つ星十件の商品は、平均では同じです。起きていることは、同じではありません。
原文まで読めたのは、七本のうち二本です。一本はワーキングペーパー(初版と改訂版の版面を突き合わせた)、もう一本は短い報告で図1の説明まで。残る五本は抄録までで、そこに無いことは書いていません。人や店を無作為に割り付けた研究は、読めた範囲に1本もありません。
対象は、米国の一つの都市の飲食店、消費財の120分類、書籍・DVD・動画、二つの販売サイトの書籍、宿泊施設。企業間の取引や専門的な役務は確かめられていません。評点を上げる方法の話ではありません。
帯域を0.2星にすると0.094、0.3星にすると0.054。
5と9のあいだは、誤差の幅ではなく、選び方の幅でした。
次の3手も、研究が命じた順番ではありません。件数を書き写して何が起きるかを確かめた研究は、ありません。投稿しません。店にも伝えません。評価もしません。
TRY IT TODAY
- 01PICK
今日目にした評点を一つだけ選ぶ。買い物でも、店でも、宿でも。
- 02COUNT
平均点をそのまま書き、**星5から星1までの件数を五つ書き写す**。出ていなければ「表示されていない」と書いて終わり。
- 03NOTE
五つ星と一つ星の件数を並べ、その平均点が何を隠していたかを一行。「ほとんど五つ星」「割れている」で足ります。
出典の年代の幅は13年。動いたのは、星の数の使われ方のほうでした。
確かめられたのは三つ。5〜9%は帯域の取り方で点の推定値が動いた範囲で、外から動いたのは半分の星、一つ星は原典自身の換算だったこと。系列店については明確な差があったとは言えなかったこと。平均評点は検査機関の点数と収束せず、分布はJの字だったこと。「星の数は品質を表している」という前提だけが、研究より先に流通した——というのが、この号の読み筋です。平均点が一つと、件数が五つと、一行。記録が1件、残るだけです。
SECOND LAYER · FULL SYLLABUSブランド知覚基盤を、もっと深く学ぶ。→HOW TO READ THE NUMBERS数字の読み方＋
この号に出てくる統計の言葉です。数値は原典のまま、意味だけをほどいています。
- 統計的に有意
- 「偶然だけでは説明しにくい」という意味の専門用語。効果が大きい・重要だという意味ではありません。ごく小さな差でも、人数が多ければ有意になります。
