IN RESEARCH & DEVELOPMENT · ISSUE 293
● 12 SEC「関門を通った。」開発の途中には、続けるか止めるかを決める場所が置かれます。段階と段階のあいだに審査の地点を挟むこの型を、日本語ではステージゲート方式と呼びます。この号が見るのは良し悪しではなく、何が測られ、どこまで確かめられているか、のほうです。
使った資料は6本。5本は要旨まで、残る1本は書誌の記載までで、全文まで読めた資料は1本もありません。運ぶのは、要旨に印字された文と数だけです。
その5本に、無作為な割り付け〔くじ引きで扱いを決めること〕を示す語は1つもありません。だからこの記事は「関門が成果を下げた」とは書きません。国名も書きません——要旨に印字が無いからです。
まず、言葉の中身から。2009年の調査は要旨の冒頭で、審査の地点では案件の情報が検討され、次の段階へ進めるか、完了前に止めるか、より多くの情報が集まるまで保留するかが決められる、と説明します。三択です。
進めるためだけの装置ではなく、止める判断と保留する判断を決まった場所と決まった基準に集める装置でもある——というのが、この号の読み筋です。
この呼び名が誌面に出た出発点は、1990年の実務誌の記事です。書誌に要旨が無く本文にも届いていないので、中身は1文字も引いていません。
この誌が査読〔=同じ分野の研究者が載せる前に中身を検討する手続き〕を取っているかも、確かめられませんでした。発行元の紹介の頁を全文読みましたが、査読・審査に触れた語は1つもありません。査読を経ていない、ではなく、当たった範囲では確かめられなかった、です。
01厳しい基準のくり返しは硬直と結びついた。市場の成果まで書かれたのは新規性の高い側だけ。厳しさの側は2008年の研究。その手順を実際に使った120件の開発案件で、厳格な客観的評価基準のくり返しは案件をより硬直させ、硬直は学習の失敗につながり(技術環境が乱れているときは悪化)、その失敗が新規性の高い新製品の市場での成果に悪い影響を与える、と報告しています。
02地点の数も、班の大きさも、基準の数も、成果と結びついていなかった。数の側は2009年の調査。実務者団体の会員425人で、熟達だけが成果と有意に結びつき、地点の数・班の大きさ・基準の数は結びついていない、と報告。3つの審査の地点のうち係数がゼロより有意に大きかったのは最初のふるいだけでした。
03多くの地点を通っていたのは新規性の高い案件で、それは低い生存率と関係していた。同じ要旨は、新規性の高い案件ほど多くの審査の地点が使われ、これが相対的に低い生存率と関係しているとも書きます。意外なことに、より多くの基準で評価されるのは新規性の低い案件のほう。120件の研究と425人の調査は、別の著者・別の標本です。
「導入すると成果が◯%改善する」という数字を探しました。見つけられませんでした。当たったのは、要旨まで読めた5本と、検索の基盤で「ステージゲート・成果の改善・パーセント」を組み合わせた探索。たどり着いたのは、出典表示のない宣伝の文言だけです。存在しない、ではなく、たどり着けなかった、と書きます。
近いものはあります。2007年の調査は、自動車の技術部門の管理職72人が対象。回答者の48.6%が伝統的な手順を使っていると答え、これらの新製品の60%が商業的な成功とみなされた。ただし1時点の自己申告で、導入の前後を比べた値ではありません。
同じ要旨の末尾です——開発期間を50%短縮するという長年の目標が、他の目標を犠牲にすることなく、ようやく多くの企業にとって実際に手の届くところに来ている。達成された改善の報告ではありません。目標についての見通しです。
014段の連鎖を、両端だけに縮めている。「関門は成果を下げる」と要約されているときは、あいだの2段——硬直と、学習の失敗——が落ちています。右端の箱には「新規性の高い新製品において」の限定が付きます。平均としての良し悪しは、測られていません。
02「少し緩める」と「地点を増やす」を、対処法として並べている。証拠の上では、別々に潰れています。緩めるほうは2008年の研究が測って、条件付き緩和は、その悪影響を和らげない。増やすほうは2009年の調査が別の標本で測って、地点の数も班の大きさも基準の数も結びついていない。同じ論文の結論ではありません。
03目標の一句を、達成の報告として引いている。「開発期間が50%短くなった」という形で流れているとき、落ちているのは動詞の側です。要旨が書いたのは、長年の目標がようやく手の届くところに来ている、まで。数字が正しいかではなく、その数字が何の値かの話です。
標本を並べます。要旨に印字されているのは、その手順を使った120件の開発案件、実務者団体の会員425人、回答した135社、自動車の技術部門の管理職72人。団体に属さない組織は、最初から入っていません。120件は案件、425人と72人は個人、135社は企業。水準もばらばらです。
限界も、要旨にあるものだけ。1995年の調査は135社を比べ、10種類の成果の指標で4群に分け、堅実な群と負け犬の群を隔てる9つの要因を並べ、筆頭に質の高い新製品プロセスを置きます。先に成果で群を分け、そのあとで違いを探す順です。指標には自己申告に頼るものが並び、導入の前後の比較も割り付けの記述もありません。読めるのは「堅実な群に、この特徴がより多く見られた」まで。
厳格な基準のくり返しと、案件の硬直が、結びついていた。
そこから市場の成果まで書かれているのは、新規性の高い新製品についてだった。
提唱者側の総説も置きます。2008年の要旨は、多くの誤解と困難があるとして、それは直線的な過程ではないし、硬い仕組みでもないと誤解を解きます。
ただし、上の批判への直接の反論ではありません。別の号の、別の著者による総説です。同じ要旨は利点はよく記録されてきたとも書きますが、数字は1つも印字されていません。
TRY IT TODAY
- 01PICK
紙かメモアプリを開く。**この1週間で見聞きした、審査や関門の見直しについての言い方を1つ**選び、それを見た場所の種類だけを書く(社内の資料、報道、広告、人づて)。名前は書きません。
- 02NOTE
その言い方に数字が付いていたかを見る。付いていたら、数字と、その分母(何のうち何か)と、いつのものかを書き写す。無ければ「記載なし」と書く。
- 03CHECK
その数字が、達成された結果なのか、これから目指す目標なのかだけを見る。どちらとも読めるなら「どちらとも読める」。記録するのは、この3行だけです。
年の順に並べると、1990年の記事(この号は書誌の記載まで)、1995年の135社、2007年の72人、2008年の120件と総説、2009年の425人。厳しさを測った側と、数を測った側は、最後まで別の話でした。
確かめられたのは四つ。厳格な基準のくり返しと硬直が結びつき、市場の成果まで届く経路は新規性の高い新製品にだけ書かれていたこと。条件付き緩和は、その悪影響を和らげないこと。数ではなく熟達だけが結びつき、有意だったのは最初のふるいだけだったこと。「導入で◯%改善」には、たどり着けなかったこと。通った案件の一覧に、落ちたものは載っていません。今日残せるのは判定ではなく、3行の記録が1件だけです。
SECOND LAYER · FULL SYLLABUS「開発の関門を設計するには？」を、もっと深く学ぶ。→HOW TO READ THE NUMBERS数字の読み方＋
この号に出てくる統計の言葉です。数値は原典のまま、意味だけをほどいています。
- 統計的に有意
- 「偶然だけでは説明しにくい」という意味の専門用語。効果が大きい・重要だという意味ではありません。ごく小さな差でも、人数が多ければ有意になります。
