IN WAYS OF THINKING · ISSUE 191
● 12 SEC1980年に出た論文の場面から。米国オハイオ州の州立大学の学部生20人が、3つの数の並びの規則を当てます。最初に 2、4、6 が示され、自分で並びを作って提出するたびに答えが返る。1960年からある課題と同じで、変えたのは返る答えの側だけ。
告げられるのは、実験者が「DAX」と「MED」の2つの規則を考えていること。出した並びには毎回どちらかが返り、「合っていません」は返りません。DAX は昇順の3つの数、MED はそれ以外のすべて。「間違い」と呼ばれていた並びに、名前が1つ付いただけです。
20人中12人(60%)が最初の宣言で正解しました。他の3実験では98人中16人(16.3%)。ただし、そこに至るまでに著者たちは3回外しています。反証を教える実験、反証を促す実験、2つの仮説を書かせる実験——どれも成績を変えず、3つめは悪くしました。
仮説思考(hypothesis-driven thinking)は、材料を集めきる前に答えの候補を1つ置き、それが正しいなら何が観察されるはずかを決めてから確かめにいく道具です。売り方は決まっています——「速くなる」、そして「検証を怠るな」。この続きに前提が1つ。検証は、心がけの問題である。
実験室で測られたのは、心がけではありません。規則を当てる課題で人がどんな並びを提出したか、結末を知らされた人がその結末にどれだけの確率を割り当てたか、の2つ。この号は、仮説を立てる手順も検証の手順も渡しません。
4本は設計の層も同じではありません。無作為な割り付けを原典が明記しているのは、1975年の1本だけ。1960年の課題は群分けのない単一の集団、1980年の4実験には割り付けの方法が書かれていません。だから、その行だけ「伝えると上がった」と書きます。
まず測られたのは、この3本です。
0122人のうち15人は、合わない例を一度も出さなかった。1960年、ロンドンの大学の心理学の学部生29人。先行する誤りなしに最初の宣言で当てたのは6人。13人は1回誤り、うち次の宣言で正解したのは10人でした。最初に誤った22人のうち15人は、自分の理由と合わない並びを一度も出していません。宣言までの並びの平均は、当てた6人が8.0個、外した22人が3.68個。
02反証の指示は3回外し、名前を1つ足した4回目だけが動いた。1980年、同じ課題での4実験。実験Iは確証を教える17人と反証を教える16人で、解けたのは11人対11人。実験IIの24人は宣言の時点で反証を促され、解けたのは18人(75%)、最初の宣言では2人(8%)。実験IIIは2つの仮説を書かせる21人と1つずつの20人で、13人対18人と逆に悪化(有意)。そして実験IVが、冒頭の DAX/MED です。
03結末を伝えると、24組すべてで確率が上がった。1975年、イスラエルの2つの大学。4つの結末それぞれに確率を答えます。結末は無作為に割り付けられ、4群のうち3群は実際には起きなかった結末を渡されています。24組の比較すべてで、伝えられた結末の確率が上がりました。差は3.6%から23.4%、平均10.8%。33.8%対57.2%はその最大値で、答えたのは別々の20人。「知らなかったつもりで」と指示された80人でも、差は9.2%までです。結論は二択のまま——"subjects are either unaware of outcome knowledge having an effect on their perceptions or, if aware, they are unable to ignore or rescind that effect."(気づいていないか、取り消せないかのどちらかである)。
数字は動きません。動くのは、引用されていく途中のほうです。落ちやすいのは3か所。
01「およそ2割が6割になった」と読むと、2つの論文の値が1本の矢印になる。流通している要約はこうです——枠を変えたら成功率が2割から6割に上がった。この矢印は、2本の論文の値を1つの主語に束ねています。「6割」は1980年の実験IVの第1群、20人中12人。その論文に「2割」に当たる値はありません。比較の相手は他の3実験の98人中16人=16.3%、2割に近いのは1960年の論文の29人中6人=20.7%。さらに、追試は別の17人中9人(53%)で、60%は高いほうの回の値。そして1980年の謝辞は、実験IVの着想を1960年の課題を作った本人に帰しています。独立した2件ではなく、同じ課題の親子です。
02「だから反証せよ」と読むと、原典が3回試して3回とも外した処方を引くことになる。教訓は「合わない例を試せ」です。1980年の論文は、それを3回試しました。教示はどれも効いて試し方は変わり、成績はどれも変わらず、3つめは悪化した。動いた実験IVで当てた人たちの反証は平均0.35個(他の実験の同じ層では2.64個)。結論は"reliance on disconfirmation is not an essential part of the most efficient strategy."(反証への依存は、最も効率的な戦略の欠かせない一部ではない)。1987年の論文は、これを確証したい気持ちではなく、探し方の既定値として整理し直しました(抄録まで)。
03「専門家なら後知恵は小さい」と読むと、2004年のメタ分析で消える。外したあとに「そう思っていなかった」となる現象の名前が、後知恵バイアス(hindsight bias)です。1991年のメタ分析は専門性と縮小の相関を報告しましたが、より多くの研究と厳密な定義を使った2004年のメタ分析は、関係を見いだせませんでした。2012年の総説の言い方は、専門性そのものは包括的な保護を与えない、水準によっては向きが逆にもなりうる(著者らの仮説)。別の結末を考えさせる操作は軽減しますが、除去はしません。落とし穴も——"the consider-the-opposite strategy is most effective if restricted to consideration of no more than two or three alternative explanations."(2つか3つまでに絞ったときが最も効果的)。
答えたのは、ロンドンの29人、オハイオの98人と20人と17人、イスラエルの367人と80人と94人。性別の記載があるのは4本のうち2本で、1960年の29人は男性17人・女性12人、1980年は男女を均等にそろえたとあります。実施地はイギリス・アメリカ・イスラエルで、日本はありません。課題はどれも実験室で1時間以内。締切のある本物の判断にそのまま当てはまるとは限りません。
「先に仮説を置くと成果が上がる」を測った研究は、この4本に入っていません。たどり着けたのは2019年の論文1本で、読めたのは抄録まで。大手コンサルティング会社の進め方を6段階の方法論に翻案したもので、抄録には、標準化された方法論は"enhances the credibility of their proposed solutions."(提案する解の信頼性を高める)とあります。使った場合と使わなかった場合を比べた記述は、抄録にありません。1975年の実験1は別人同士の比較で、同じ人の予想が書き換わったことは測っていません。それを測った別の研究には到達しておらず、数値は書いていません。
足したのは、反証の指示ではなかった。
合わない例に、名前が1つ付いただけだった。
この3手も、研究が命じた順番ではありません。ここからは、ALIFEが提案する実践の入口です。判定はしません。今日する判断をひとつ選び、実行の前に予想を1行書き、あとで見聞きしたことを2つの欄に3つまで入れる。
TRY IT TODAY
- 01PICK
今日これからする判断をひとつだけ書く。**結果が今日か明日に分かり、自分の手元で完結するもの**を。医療や投資の判断は選ばないでください。
- 02WRITE
**実行する前に、予想を1行だけ書く。**「20分で着く」のように、あとで○か×が付けられる形にして、日付と時刻を添える。
- 03SPLIT
その下に「合う」と「合わない」の欄を2つ書き、実行後に見聞きしたことを合わせて3つまで入れる。片方は空のままでも構いません。**×でも、1行目は書き換えません。**
確かめられたのは4つ。1960年の29人のうち最初の宣言で当てたのは6人、最初に誤った22人のうち15人は合わない並びを一度も出さず、当てた側のほうが多く試していたこと。1980年の4実験で、反証の指示は成績を変えず、2つ書かせた実験は悪化させ、名前を替えた実験IVだけが20人中12人を当てさせたこと。
1975年に結末を伝えると24組すべてで確率が上がり、指示された80人でも9.2%までしか縮まなかったこと。総説では、専門家なら小さいという関係が2004年のメタ分析で見つからなかったこと。確かめ方の手順は、どこにも書かれていません。——今日残せるのは判定ではありません。予想が1行と、欄が2つと、○か×。記録が1件、残るだけです。
SECOND LAYER · FULL SYLLABUS仮説思考を、もっと深く学ぶ。→HOW TO READ THE NUMBERS数字の読み方＋
この号に出てくる統計の言葉です。数値は原典のまま、意味だけをほどいています。
- メタ分析
- 同じテーマの研究をたくさん集めて統合し、平均的な効き目を推定する方法。1本の研究より安定しますが、集めた研究の質と偏りに左右されます。
- 統計的に有意
- 「偶然だけでは説明しにくい」という意味の専門用語。効果が大きい・重要だという意味ではありません。ごく小さな差でも、人数が多ければ有意になります。