IN WAYS OF THINKING · ISSUE 184
● 12 SEC1995年の報告にこういう手続きがあります。イスラエルのテルアビブ大学の専門医52人に、1人の患者の記述と、互いに重ならず全部を覆う4つの見通しを渡す。各医師は無作為にどれか1つへ割り付けられ、その1つだけの確率を見積もりました。
平均は14%、26%、55%、69%。理論どおりなら合計は100%のはずでした。実際は164%(95%信頼区間134%から194%)〔繰り返し調べたとき、この幅に入ると見込まれる範囲〕。おかしいのは、足したときだけです。
この号が扱うのは構造化思考。分け方の作り方ではなく、分け方を変えたときに同じ範囲へ振られる数がどう動いたか。正しい分け方は渡しません。6本のどれにも書かれていないからです。
1994年のサポート理論では、人は出来事ではなく、示された記述に確率を振っている。焦点となる仮説を開くと上がり、対立仮説を開くと下がる。劣加法性〔開いて足した合計が、包んだままの見積りより大きくなること〕、逆が超加法性です。
設計の層は揃いません。無作為割り付けの明記があるのは、この1995年の報告と後述の2012年の研究だけ。1977年の報告は、参加者を日時の希望で群へ割り当てたと自分で書いています。割り付けのある行だけ「開いた群のほうが高かった」と書き、無い行は「その木を見た群では」で止めます。
では、どこまで測られているのか。まず測られたのは、この3本です。
01同じ範囲を開いて示すと、割り当てが移った。同じ報告の1つ目の課題は米国スタンフォード大学の研修医59人。無作為の半数には2つの診断名+「上記のいずれでもない」、残りには同じ2つ+新たな3つ+「上記のいずれでもない」。範囲は同じ、包みが部分的に開いているだけです。短い一覧の「上記のいずれでもない」は平均50%、長い一覧の対応部分の合計は69%(p<0.005)。「胃腸炎」1診断名は31%から16%へ(同じくp<0.005)。
024つを別々に聞くと164%、2つだけなら99%だった。冒頭の専門医52人・合計164%。ただし「開けば必ず膨らむ」ではありません。カナダのトロント大学の4年生149人は、無作為の半数が「この入院を生き延びる」、残りが「この入院中に死亡する」を見積もり、78%と21%、合計99%(95%信頼区間94%から104%)。原典の言い方は「人は、求められた仮説ではなく明示されたものを過大評価している」。別の4年生148人ではCTの推奨が短い版20%、長い版32%(p<0.05)——動くのは確率だけではありません。
03枝を落としても、「その他」はその分を受け取らなかった。1977年の技術報告書が使ったのは「車が始動しない」の故障の木、「その他すべて」を含む7枝。参加者はオレゴン大学の学生新聞の広告に応じた148人。完全な木を見た93人、3枝を落とした木の29人。振り分けは無作為ではなく、参加できる日時の希望によります。93人が「その他すべて」に振ったのは平均.078。落ちた分がここへ来れば6倍の.468のはずが、実際は.140。整備士でも同じで、完全な木を見た13人から計算した.441に対し、刈られた木の16人は.215。経験年数との順位相関は.058でした。
動くのは、引用されていく途中です。落ちやすいのは3か所。
01「32人中25人」を、範囲外を開いた効果として引くと、2つの統計が混ざる。2012年の研究の対象は、捜索計画を立てる実務者32人。無作為の2群(各16人)が、捜索区域と、区域の外の筋書きを、それぞれ5つに開きます。動いたのは平均ではなく変化量。区域の外を開いた群は区域外の確率を有意に引き上げました——F(1,28)=4.753, p=.038。ただし個人単位で出たのは32人中11人(34%)、区域の外を開いた16人では50%(8人)。よく引かれる「32人中25人(78%)」は別の指標=劣加法性、しかも2群を合わせた値です。原典自身、2群の確率が同じ種類の事象を指していないと脚注で断っています。
02「細かく書くほど数が増える」と読むと、原典が測ったのは別のことになる。同じ報告で、詳細の水準を変える操作の効果は小さいものでした。枝を細かくしても、その系統の割合は有意に増えません。ところが束ね方を変えると動きます。115人の木では、同じ情報を2枝に割ると割合が平均.066(約3分の1)増え、融合すると下がりました。2004年の研究(抄録まで)は「ヨーロッパのある国と商売をしている実業家」を、イングランドやフランスと開いて比べ、典型的な例では効果が消え、典型的でない例では逆に下がりました(超加法性)。抄録は、サポート理論では現在の定式化で説明できないとも書きます。
03漏れもダブりも無いことを、分け方が1つに決まる保証として読む。広く使われる作法は、漏れなくダブりなく分けるという原則です。この号は、この作法の効果を測った研究を自分では調べていません。効果があるともないとも書きません。7枝の完全な木も、3枝を落とした木も、その中では漏れもダブりもありません。それでも答えは違いました。同じ情報は6枝にも8枝にも組め、どれも漏れもダブりも無い。漏れとダブりが無いことは、分け方が1つに決まることを意味しません。
全文まで読めたのは6点のうち3点。抄録までが2点、書誌と題までが1点。読めていないものについては書きません。答えたのは、米国の研修医59人、イスラエルの専門医52人、カナダの4年生149人と別の148人(1本の報告の4課題・3か国)、オレゴンの148人(ほかに82人・110人・173人・115人)、整備士29人(刈られた木は16人)、実務者32人。性別と年齢の記載はこの32人だけ(全員成人男性・平均39.4歳)です。日本語での追試は、たどった範囲にありません。
1977年の「本来なるはずだった値」は、現実の故障統計ではありません。.468は完全な木を見た93人自身の平均、.441は整備士13人の平均です。各枝に実際どれだけの割合が帰属するかは分からない、と原典自身が書いています。当たり外れの記録は1件もなく、「開いて聞けば正確になる」も6本から出てきません。2012年の著者は、範囲外を先に開く手順を勧めながら「元の捜索区域を早く見切る危険がある」と自ら打ち消し、1977年の是正も「その他」を.140から.217へ動かしただけでした。1995年の著者たちは「除去する簡単な方法は無い」と断ったうえで、広いカテゴリーを開き同じ粒度どうしで比べよと書きます。著者の処方で、この記事の助言ではありません。
足したら、164%だった。
落とした枝の分は、その他に来なかった。
測られたのは、渡された記述に医師と整備士と実務者が振った数字です。あなたが同じことをしたらどうなるかを確かめた研究は、ここにありません。判定も採点もしません。
TRY IT TODAY
- 01PICK
メモに、今日か明日に結果が分かる懸案を1つだけ書く。**医療や投資に関わる判断は選ばないでください。**
- 02SPLIT
起こりうることを3つに分ける。互いに重ならず、全部を覆うように。3つめは「それ以外」でも。
- 03ADD
3つに**それぞれ%を書く。合計を意識せず、1つずつ独立に。**足して、**合計と、100からのずれ**を記録し、最後に1行——増えたなら開いた項目、足りないなら包んだままの項目はどれか。
確かめられたのは4つ。専門医52人が4つの見通しのどれか1つへ無作為に割り付けられ、14%・26%・55%・69%、合計164%になったこと。研修医59人では「上記以外」50%に対し対応部分は69%、「胃腸炎」は31%から16%へ下がったこと。93人の「その他すべて」平均.078に対し、3枝を落とした木の29人は.140(本来.468)だったこと。2012年では、範囲外を開いた効果(11人)と劣加法性(25人)が別々の統計だったこと。正しい分け方は、どこにも書かれていません。——今日残せるのは3つの項目と3つの%、その合計、100からのずれ。記録が1件、残るだけです。
SECOND LAYER · FULL SYLLABUS構造化思考を、もっと深く学ぶ。→HOW TO READ THE NUMBERS数字の読み方＋
この号に出てくる統計の言葉です。数値は原典のまま、意味だけをほどいています。
- 95%信頼区間
- 推定値の「ばらつきを見込んだ幅」。同じ研究を何度もやり直したら、結果の多くがこの幅に収まると期待できます。幅が0(差なし)をまたぐときは、明確な差とは言い切れません。
- 統計的に有意
- 「偶然だけでは説明しにくい」という意味の専門用語。効果が大きい・重要だという意味ではありません。ごく小さな差でも、人数が多ければ有意になります。
- p値
- 差がないと仮定したとき、偶然でこの結果以上が出る確率の目安。小さいほど偶然では説明しにくいことを表しますが、効果の大きさは表しません。
