IN BUSINESS PROCESS · ISSUE 217
● 12 SEC「ばらつきを減らせば、良くなる。」この言い方には、査読誌の上に検証があります。2012年の論文が、その手法を導入した200の企業の財務データを、条件を突き合わせた別の企業——統制群——と比べました。
見るのは、入れると何がどこまで動くと確かめられているか、です。
並べるのは7本の査読論文と、うち1本をめぐる投書と返信の欄。全文まで読めたのは8つのうち1つ——査読を経た研究論文ではないほうでした。
使われたのは事象研究——その企業と、条件を突き合わせた別の企業とを前後で比べる読み方。突き合わせは導入前の総資産利益率・業種・規模を変えて何通りも試された。規模は比べる相手を選ぶ条件で、発見ではありません。
結果です——総資産利益率への正の効果を示す強い証拠が得られた。ただしこれらの改善はそのほとんどが間接費(直接つくるのに紐づかない側)の大幅な削減から生じており、直接費と資産生産性の有意な改善は認められない。「認められない」は「差が無い」ではなく、言い切れなかった、の意味。売上成長の小さな改善も見出した、とも。
製造業とサービス業で効果の違いは無視できる程度。効果は品質システムの成熟度(先行するISO 9000認証で示される)と負の相関——すでに整えてある組織ほど上乗せが小さい向き。便益と相関する条件は、製造業では集約の度合い、サービス業では導入前の財務業績、とも。
では「認証を取れば業績が上がる」のほうは。並べた3本は違う向きの答えを出し、統合されていません——別々の標本を、別々の期間・やり方で測ったものです。
011997年、豪州とニュージーランドの大きな無作為標本。ISO 9000認証が、総合的品質管理の環境の有無にかかわらず、組織の業績に有意な正の効果を持つとは示されなかった。平均して業績をほとんど、あるいはまったく説明しない、とも続きます。「無作為」なのは標本の抽き方で、割り付けではありません。
022005年、米国の上場する認証取得の製造業すべて(SIC 2000〜3999)・1987〜1997年。有意な異常な改善が続いた。ただし正確な時期と大きさは、統制群の設定の仕方に依存する。「異常」は統制群と比べた差という用語。次の一文は——3年後には、どの設定のもとでも強く有意な異常業績を示している。動くのは時期と大きさのほうです。
032008年、自動車部品を供給する産業の長期パネル。効率と収益性の改善という約束を、研究は一貫して裏づけてこなかった——大多数が採用してしまうと、遅れて採用した企業はもはや財務上の便益を得られない。技術の焦点が非常に狭い企業と広い企業も便益が小さい。水準は企業です。
観察研究で目覚ましい改善が報告され、急速に広まった道具があります——手順を紙に落とし、読み上げて確かめる表。では、義務にしたら。2014年の研究は、カナダのオンタリオ州がこの表を病院に採用させた方針を自然実験に使い、州内のすべての急性期病院で前後3か月ずつを比べました。101の病院、採用前109,341件・採用後106,370件の手術。導入の単位は病院、測ったのは手術です。
死亡(院内または術後30日以内)の調整済みリスクは0.71%(95%信頼区間0.66〜0.76)から0.65%(0.60〜0.70)、オッズ比0.91(0.80〜1.03)、P=0.13。合併症は3.86%(3.76〜3.96)から3.82%(3.71〜3.92)、オッズ比0.97(0.90〜1.03)、P=0.29。調整済みリスクは、条件をそろえたうえでの割合です。どちらの信頼区間も1をまたぎ、明確な差とは言えません。要旨は、有意な減少とは結びついていなかった、と結びます。医療の是非を論じる号ではありません。
同じ誌の同じ年に、投書5通と、著者の返信と、論説を書いた人の返信が載りました。反論の側に立つのは、この表を広めるもとになった試験の著者たち——義務づけた採用は、遵守率の報告が高くても行動は変わらないことが多い、この研究は9%の死亡の減少を示したが3か月ぶんしかなく、手術の60%超が外来・20%が眼科だ、と書きます。
01「効果が確かめられた手順を義務にすれば、同じ効果が広く出る」。観察研究に入るのは自分から採り入れた組織、義務のあとは採らなかった組織も含めた全体——測る相手が入れ替わっています。著者の返信は、20万人を超える患者を含む研究に検出力が不足していたとは同意しない、危険の高い緊急の手術(4.5%)や入院の手術(1.7%)でも改善は見られなかった、と答えます(この二つは下位集団の手術死亡率で、効果の大きさではありません)。
02「認証は効く」「認証は効かない」。落ちやすいのは2005年の後半です——「設定に依存する」だけを引くと「比べ方しだいで消える」に寄りますが、3年後の有意性は、どの設定でも保たれていました。
03「5年で何倍」「品質を落とした費用は売上の何割」。当たった範囲では、どちらも査読の一次に行き着きませんでした。近いのはある1社の3年ぶんの見積もり。もう一方は査読の外側に複数あり、値も、割る相手——売上か売上原価か——も違う。分母が違えば、並べて比べられません。本文に到達していないので、正しいとも「存在しない」とも書きません。
残る7本は、すべて抄録までです。読めた範囲に、無作為な割り付けの記述はありません。1997年の「無作為」は標本の抽き方、投書欄の「無作為化」4か所は試験が行われていない・求められるべきだという文脈です。
水準もばらばらです——企業(200)、工場(226)、上場企業、産業のなかの企業、病院(101)と手術(109,341と106,370)。人ひとりの手際を測ったものは、1本もありません。国名は印字のあるものだけ——226工場と2005年は米国、1997年は豪州とニュージーランド、2014年はカナダのオンタリオ州。残る3本に印字はなく、日本を対象にしたものもありません。続いている組織のデータだけが残る逆向きも排除できません。
この3か月という区間は、死亡の50%の減少を報告した先行研究に合わせて意図して選んだ——著者たちは、そう返信に書いています。
厳密な無作為化試験は行われておらず、また行われそうにない——論説を書いた人の返信は、そう結んでいます。
だから次の3手も、研究が命じた順番ではありません。時間の差を書いて何が起きるかを測った研究は、ありません。
TRY IT TODAY
- 01PICK
手元でくり返している**短い作業を1つ**選ぶ。5分前後で終わるもの。日付と作業名を書く。組織に属していなくても、買い物の記録や片づけで成立します。
- 02TIME
1回目の始めと終わりの時刻を書き、所要時間を分か秒で書く。間をおいてもう1回し、同じように書く。**速くしようとせず、手順も変えません。**
- 03GAP
**2回の差を1つの数として書く。**差がゼロでもかまいません。割合は出さず、判定もしません。日付・作業名・1回目・2回目・差の5点が残れば終わり。
年代順に並べると、細かくなったのは条件のほうでした。2008年には、この手法が何を指す言葉なのかが定め直され、同じ年、従来と区別できる実務が3つ特定されて従来型の7つと組み合わせて検定されてもいます。1997年から2014年までの17年で細かくなった条件は、外へ出るときにたいてい落ちます。
確かめられたのは、改善のほとんどが間接費から生じ、直接費と資産生産性には有意な改善が認められないこと。認証の3本が統合されないまま違う向きを向いていること。義務化後の3か月で、信頼区間がどちらも1をまたいだこと。今日残せるのは、1回目と2回目とその差。記録が1件、残ります。
SECOND LAYER · FULL SYLLABUS品質管理・ばらつき低減力を、もっと深く学ぶ。→HOW TO READ THE NUMBERS数字の読み方＋
この号に出てくる統計の言葉です。数値は原典のまま、意味だけをほどいています。
- 95%信頼区間
- 推定値の「ばらつきを見込んだ幅」。同じ研究を何度もやり直したら、結果の多くがこの幅に収まると期待できます。幅が0(差なし)をまたぐときは、明確な差とは言い切れません。
- 無作為化比較試験
- くじ引きの要領で「介入を受ける群」と「受けない群」に分けて比べる実験。「効いたかどうか」を言うための標準的な設計です。
- 観察研究・前向き研究
- 介入せずに経過を追いかける研究。「関連がある」までは言えますが、「それが原因だ」とは言い切れません。
- オッズ比
- ある状態の「起こりやすさの関連」を表す倍率。1なら差なし、1より大きいほどその群で起こりやすい関連です(確率が何倍、という意味ではありません)。
- 統計的に有意
- 「偶然だけでは説明しにくい」という意味の専門用語。効果が大きい・重要だという意味ではありません。ごく小さな差でも、人数が多ければ有意になります。