IN RESEARCH & DEVELOPMENT · ISSUE 292
● 12 SEC「作って、測って、学べば当たる。」この手つきを広めたのは2011年の一般向け単行本で、査読を通っていません。2013年5月に紹介した記事も、査読誌ではありません。
本の題名も雑誌名も人名も企業名も書きません。引用のなかの〔…〕は、伏せた固有名です。
ただし、この手つきは本当に無作為化比較試験にかけられました〔=参加者を偶然の割り当てで二群に分け、片方にだけ介入して比べるやり方〕。2020年に一つ、2024年に追試が一つ。よく引かれる数字は、2024年の表のいちばん左の欄にあります。
2013年5月の記事は、書き出しで〔…〕の新しい研究として新興企業の75%は失敗すると書きます。ただし本文には、その調査の掲載誌も巻号も、たどれる先もありません。
同じ記事の後ろには、看板とは逆向きの一文があります——"While some adherents claim that the lean process can make individual start-ups more successful, I believe that claim is too grandiose."(この手つきが個々の新興企業をより成功させうると言う支持者もいるが、大げさすぎると思う)。
書き手が立てたのは、束にわたって使えば従来より失敗は少なくなるだろう、という見通しだけでした。同じ記事は、2004年にある新興企業へ出資し、条件として自分の講座を受けさせたとも書きます。2011年の本と2013年の記事は、独立した出どころではありません。
その見通しは、実際に試験にかけられました。2020年に査読誌へ出た研究の標本は、イタリアの新興企業116社・約1年の16時点です。
両群とも、市場から反応を得る方法と実現しやすさを見積もる方法を、10回の一般的な講習で受けています。処置群にだけ足されたのは——"conduct rigorous tests of their hypotheses, very much as scientists do in their research"(仮説を厳密に検定する。研究者が研究でやるのとよく似たやり方で)。比べたのは「作ったかどうか」ではありません。
要旨の結果は、科学者のように振る舞った起業家は成績がよく、切り替えが多く、初期の段階で対照群より脱落しやすいわけでもなかった、というもの。
01中止——4つを合わせた欄は9.8パーセントポイント。もとの試験の欄は0.035、目安は.647。2024年の追試は、4つの無作為化比較試験を合わせた759社・11,463データ点の分析です(2016・2017年ミラノ、2018年トリノ、2019年ロンドン。4つとも事前登録〔=調べ方を先に登録簿へ届け出ること〕)。中止の確率は9.8パーセントポイント上がり(p=.001)、打ち切りも平均2.7週間早い(p=.009)。ただし試験ごとの欄は、もとの試験が0.035(.647)、残る三つが0.096(.044)・0.158(.084)・0.097(.035)。原典も"weak and not very precise in the original study (RCT1)"(もとの研究では弱く、精度も高くない)、「一貫して検出することができなかった」と書きます。
02切り替え——回数では、4つを合わせても明確な差は出ず、もとの試験の関係は再現していない。2020年の要旨が「切り替えが多い」としたほうです。4つを合わせた欄は−0.053(.486)で、明確な差とは言えません。もとの試験だけが0.261(.021)、残る三つは0.011(.860)・−0.474(.194)・−0.038(.588)。原典は"This result did not replicate in the subsequent RCTs."(この結果は、その後の試験では再現しなかった)と書きます。回数を分けると、根本的な切り替えが1回の確率は8.3ポイント上がり(p=.003)、2回には明確な影響がなく、3回以上は3.7ポイント下がります。もとの標本に、2回以上切り替えた企業が十分に無かったためです。
03売上——4つを合わせた欄は6,999.327ユーロ多い。明確な差が出たのは4つのうち1つだけ。処置群は対照群より6,999.327ユーロ多く稼ぎました(p=.030)。各試験の最終観測時点の累計売上(ユーロ)です。試験ごとの欄は10,799.493(.125)・1,517.117(.136)・3,253.979(.027)・12,227.935(.164)——いちばん大きい欄が、いちばん精度が低い。原典も"many firms in the total sample earned no revenue as they are early-stage start-ups"(標本の多くは売上をまったく上げていない。初期段階の企業だからだ)と釘を刺します。標本全体は平均15,753.89ユーロ・標準偏差83,051.78・最大1,489,026です。
その前に、二本だけ並べます。一本目は、切り替えという語そのものを調べた2023年の研究(オンライン公開は2020年)。エネルギーとクリーンテックの7つの起業家の企業を追った縦断的な現場研究で、変更の可能性がある93件の戦略的決定を調べました。方針が変わったのは、新しい情報が見立てと食い違うか広がったあとでした。
二本目は、2019年の論考。この手つきをめぐる実務家の会話は、より広い学術の文献から切り離されてきた、と書き、組織学習・実物オプション・新製品開発・技術の進化という四つの系譜へ置き直します。
01「作れば、確かめたことになる」——両群とも同じ10回の講習。違いは、作る量ではなかった。うまくいけば読みが当たり、いかなければ学びが得られる。試験が足したのは、その手前の一行です——外れたら、何が見えるはずか。
02「9.8ポイントは、9.8%のことだ」——別物であり、しかも4つを合わせた欄の値である。〔パーセントポイント=百分率どうしの差の単位〕。9.8パーセントポイントは、中止の確率が9.8%になった、でも9.8%増えた、でもありません。水準が9.8ポイントぶん高くなった、という意味です。中止に至った割合は全体で0.34、759社の約3分の1。しかもこの9.8は合わせた欄の値で、もとの試験の欄は0.035、目安は.647です。
03「ピボットは、一回の大きな決断だ」——7社・93件の現場研究は、積み重ねだったと報告した。報告されたのは、一つの決断ではなく、時間をかけて要素を抜き差ししていった積み重ねでした。この研究は観察であって、無作為な割り付けはありません。実務家向けの要約は「これは規範というより、むしろ稀である」とも書きます。
全文まで読めたのは6本のうち2本で、読めていないものについては書きません。原典の語も揺れます——2020年は「116の新興企業」、2024年は「116人の起業家」。
対象は、2016年から2019年にミラノ・トリノ・ロンドンで無料の経営講習に応募し、選考を通った企業。関心による自己選択を避けるため業種を問わない研修として宣伝され、調査票か面接を終えなかった応募者は入っていません。3試験の参加者は平均して学士以上、30代、65%が男性、36%が理系、起業の経験は平均2.46年。"the study's small scale and specific institutional setting create natural boundaries"(小さな規模と特定の設定が、信頼性と一般化可能性に境界を作る)と、著者自身も断ります。測られたのは中止の確率・切り替えの回数・累計の売上額で、株価ではありません。
4つの試験を合わせた欄は、9.8パーセントポイント(p=.001)。
もとの試験の欄は0.035で、目安は.647でした。
次の3手も、研究が命じた順番ではありません。手元の作業を書き分けたとき何が起きるかを測った研究は、ありません。評価も判定もしません。
TRY IT TODAY
- 01SPLIT
今日やったことから、**作らずに確かめられたこと**を1行、**作ってみないと分からなかったこと**を1行書く。どちらかが空欄でもかまいません。
- 02ADD
「作ってみないと分からなかった」ほうにだけ、一行足します——作る前に書けたはずの予測は、何だったか。思いつかなければ「思いつかない」と書いて先へ。
- 03DATE
最後に、今日の日付を添える。それで終わりです。続けるかどうかも、今日は決めません。
年代順では、2011年に単行本、2013年に査読誌ではない媒体へ「大げさすぎる」という自己限定つきの見通し、2019年に論考、2020年に116社の試験、2023年に7社・93件の観察、2024年に4試験・759社の追試。主張が先で、検証が届くまでに7年かかっています。2020年と2024年は3名の著者が共通し、2024年の分析には2020年の試験のデータそのものが含まれます。独立した標本による追試ではなく、もとの標本を内側に抱えた拡張です。
確かめられたのは四つ。2013年の記事が一社ずつの効き目を退けたこと。2020年の試験が両群に同じ講習を与え、処置群にだけ予測と検定を教えたこと。2024年の追試が中止を9.8パーセントポイント(p=.001)、売上を6,999.327ユーロ(p=.030)と報告したこと。同じ表で、もとの試験の中止の欄が0.035(目安.647)だったこと。看板の数字を見たら、どの試験の、どの欄の値かを聞く。
SECOND LAYER · FULL SYLLABUSアイデアを試作で確かめるには？を、もっと深く学ぶ。→HOW TO READ THE NUMBERS数字の読み方＋
この号に出てくる統計の言葉です。数値は原典のまま、意味だけをほどいています。
- 無作為化比較試験
- くじ引きの要領で「介入を受ける群」と「受けない群」に分けて比べる実験。「効いたかどうか」を言うための標準的な設計です。
- p値
- 差がないと仮定したとき、偶然でこの結果以上が出る確率の目安。小さいほど偶然では説明しにくいことを表しますが、効果の大きさは表しません。
- 標準偏差
- ばらつきの大きさを表す値。大きいほど、人によって結果がばらばらだったことを意味します。
