IN RESEARCH & DEVELOPMENT · ISSUE 299
● 12 SEC「使う人と一緒に作れば、良いものが生まれる。」——この言い方には、たいてい一つの金額が付いてきます。1億4600万ドル。その金額は実在します。この号が見るのは、それが何の金額か、のほうです。会社名も製品名も人名も出しません。
それは売れた金額ではなく、5年後にこれくらい売れるだろう、という見積もりです。比べられた相手の金額も、同じく見積もりです。
この号が使った資料は6本。全文まで読めたのは3本で、残る3本は抄録までです。〔抄録=論文の冒頭に置かれる要約〕
出どころは1986年に Management Science 32巻7号(791-805頁)へ出た論文です。要旨は、正確な市場調査は使う側の判断の正確さに頼るが、きわめて新しい製品や変化の速い分野では、大半の見込み客はその判断に必要な経験を持たない、と述べ、いま強い必要を持ち、その必要が数か月から数年後に市場一般のものになる使い手に注目する解き方を提案しています。
この要旨の動詞を見ます。探る。提案する。どうすれば体系的に見つけられるかを検討する。効果を測ったとは、一言も書かれていません。
では効果はどこで測られたのか。最もよく引かれるのは、2002年に同じ雑誌の48巻8号(1042-1059頁)へ出た論文です。ある大きな製造業の1社の社内で起きた自然実験——研究者が割り付けたのではなく、二通りのやり方が並行して走った状況です。その会社は統制された実験の場を用意したわけではない、と論文自身が書いています。
この論文の著者には、1986年に概念を提案した本人が入っています。不正ではなく、この分野ではふつうのことです。ただ、提案者自身が測定に加わっている事実は、読むときに知っておいたほうがよいものです。
01完了は7件、予算がついたのが5件、比べた相手は42件。本文によれば、2000年5月までにリードユーザー案件は7件終わり、そのうち5件に、生まれた案の開発の予算がついていた。同じ部門には、同時期に予算がついた別の発想法の案件が42件。5件の平均は、1件が入れ替わるだけで大きく動きます。社内で自然に起きたことを後から拾う以上、群の大きさは選べません。
021億4600万ドルは、売れた金額ではない。要旨の一文です——平均的なリードユーザー案件から生まれた案の年間売上は、5年後に控えめに見積もって1億4600万ドルと予測され、同時期に行われた従来型の案件の平均について予測された売上の8倍以上である。本文は比較の相手を "forecast annual sales"(予測された年間売上)と書きます。1億4600万ドル対1800万ドル。分子も分母も予測です。
03報告の正確さに疑いを書いたのは、著者自身。ただし遡った標本の側。同じ論文にこうあります——情報提供者は自分が記述している案件に実際に参加していたが、報告の正確さには疑わしいところがある(過去の発想の成功の度合いについて、上振れした思い出し方を含んでいるかもしれない)。批判者の言葉ではありません。ただしこれは何十年も前の発明を遡った縦断の標本への但し書きで、5件対42件の横断の比較については著者は脅威を小さいと見ています。
では、意味がないのか。そうではありません。2012年に Journal of Product Innovation Management 29巻2号(245-256頁)へ出た研究は、乳幼児向け用品の消費財市場の課題で、ある企業の専門家の案と、発想の競技会で使う側が出した案を比べました。採点は同じ企業の役員が、どちらの出所かを伏せて行っています。使う側の案は新規性と顧客にとっての便益で有意に高く、実現の可能性ではいくらか低い点を取りました。
ただし、著者自身が但し書きを付けています——実現の可能性の平均値は、新規性や顧客便益とは対照的に全体として比較的高く、この研究では狭い隘路にはなっていなかった。低いほうへ動いた、というだけです。
2009年に同じ雑誌の26巻5号(578-593頁)へ出た研究は、携帯電話のサービスの発想段階を準実験計画で調べ、手引きを受けた使い手の案は漸進的に、先駆けている使い手の案はより急進的になると報告し、こう結びます——ふつうの使い手が、新製品開発の工程にそのまま投入できる案を出すと期待すべきではない。むしろ、企業が使う側の必要について学び、発想の刺激を受ける過程として捉えるべきである。
01「この方法を使えば、売上が8倍以上になる」——8倍以上は、予測どうしの比。比べられたのは、予算がついた5件と、それ以外の発想法による42件。論文自身が、実験計画の無作為な割り付けの条件は満たしていないと書いています。
02「提案者が、効果まで確かめている」——1986年の要旨に効果の測定はない。効果を測った2002年の論文にも、2006年の検定にも、提案者本人が著者に入っています。2006年の検定はある野外の競技の用具を自作改造する使い手が対象で、回収456票のうち88人(19.5%)を特定したもの。企業の開発ではなく趣味の用具です。
03「使う側を入れれば、そのまま使える案が集まる」——2009年の研究は、そう期待すべきではないと結ぶ。2012年の比較でも、上がったのは新規性と顧客便益のほうでした。新しさと、すぐ使えるかどうかは、同時には上がりません。
2016年に Research Policy 45巻6号(1145-1154頁)へ出た研究は、集めたあとを扱いました。国際的に事業を展開する飲料の製造企業の公開の案の募集を、公開データで横断的に分析したものです。要旨は、そうした募集は何千という案を生みうるので、実行したい案を見つけ出すのは厄介になりうる、と書きます。結果は、他人の案によく目を通す投稿者の案・案の人気・革新性の見込みが実行されやすさに正の影響を与えるというもので、直感に反して、投稿数に表れる投稿者の意欲は、案が実行される見込みに影響しないと続きます。
標本の偏りを断っておきます。証拠は、製造業1社の社内・ある企業の1つの課題・ある野外の競技の456票・携帯電話のサービス・飲料企業の1つの募集から採られ、どれも無作為に割り付けた実験ではありません。加えて、2006年の検定と2012年の比較には同じ著者が1人重なっています。
1億4600万ドルは、5年後の年間売上の予測値。
比べられた相手も、予測された売上でした。
だから次の3行も、研究が命じた順番ではありません。研究が測ったのは案の売上の予測値・評点・実行の有無で、見かけた数字を書き写すとどうなるかを確かめた研究はありません。判定はしません。良い悪いも書きません。
TRY IT TODAY
- 01PICK
紙かメモアプリを開く。**この1か月で見かけた「◯倍」「◯億円」型の効果の数字を1つ**選び、見た場所の種類だけを書く(社内の資料、報道、交流サイト、広告など)。媒体名も会社名も人名も書きません。無ければ「見かけなかった」で終わりです。
- 02NOTE
その数字が**実績なのか、予測なのか**が書かれていたかを見る。書かれていたらその1行を書き写し、無ければ「実績か予測かの記載なし」と書く。中身の正しさは判定しません。
- 03CHECK
最後に、**比べられた両側の件数**が書かれていたかだけを見る。書かれていれば書き写し、無ければ「件数の記載なし」と書く。記録するのはこの3行だけです。
1986年、概念が提案される。要旨に効果の測定は無い。2002年、提案者本人を含む著者らが社内の自然実験で5件と42件を比べ、5年後の年間売上の予測値1億4600万ドルを出す。2006年、提案者本人を含む著者らが、趣味の用具の分野で456票・88人を検定する。2009年、ふつうの使い手の案はそのまま投入できないと結論される。2012年、出所を伏せた採点で、新規性は高く実現の可能性は低いと示される。2016年、集めたあとの選別が扱われる。
30年で動いたのは、効果の有無ではなく、何を期待してよいかの範囲のほうでした。——というのが、この号の読み筋です。
SECOND LAYER · FULL SYLLABUS「顧客と共に開発するには？」を、もっと深く学ぶ。→HOW TO READ THE NUMBERS数字の読み方＋
この号に出てくる統計の言葉です。数値は原典のまま、意味だけをほどいています。
- 統計的に有意
- 「偶然だけでは説明しにくい」という意味の専門用語。効果が大きい・重要だという意味ではありません。ごく小さな差でも、人数が多ければ有意になります。
