IN WAYS OF THINKING · ISSUE 181
● 12 SEC前の号は、書かれた説明の良し悪しでした。今度はその手前——説明できるつもりのものを、実際に書かせると何が起きるか。2002年の報告が12の研究で測ります。48項目を7段階で自己評価し(T1)、うち4つの説明を書いて評価し直し(T2)、要点を突く質問のあと、また評価し直す(T3)。大学院生16人で F(4,56)=16.195、p<.001、η²=.536(η²は、その要因で説明できるばらつきの割合)。
ただし内訳で形が変わります。最初の評価と以降の差は p<.002 で有意、書いた直後とそのあとには差がありません。落ちたのは、最初に書いた一回だけでした。この号は、理解を深める方法を渡しません。書き出したあとで判断がよくなったかを測った研究は、6本のどこにもありません。
この落差の名は説明深度の錯覚——実際より深く説明できると見積もること。原典の理屈は、頭の中と目の前、説明の階層、名前と仕組みの取り違え。6本のうち、無作為に割り付けたと明記があるのは2本(2002年は反復測定、2006年は自己選択、2015年は明記なし)。だから「効く」「直る」とは書きません。書けるのは、そう動いた、まで。
測られたのは、この3本。
0116人から97人へ。追試は4通り、別々の集団だった。同じ報告が条件を1つずつ変えて追います。第2はイェール学部生33人(F(4,124)=38.9)、大学院生との交互作用は非有意。第3は選抜の緩い地方の州立大学の16人。材料は第1・第2と同一で、装置は差し替えていません(F(3,42)=23.557)。差し替えたのは第4で、イェール学部生32人、新しい8項目の組を4つ作り1組8人(F(2,42)=22.695)。「地方の大学でも、装置を差し替えても」と一息に言える研究は、原典にありません。別の集団に別のことをした2つの追試、合計97人。
02見えている部品と、実物の自転車。最初の自信を当てていたのは何か。第12の研究は、学部生54人が装置40項目を5つの尺度で評価。残ったのは、見えている部品と隠れている部品の比(β=.698)。なじみも、複雑さ=部品の総数も残りません(調整済みR²=.777、単相関 .815)。過大評価の予測では、その比だけで調整済みR²=.472。2006年の英国の研究は自転車の骨組みに描き足させ、乗らない81人は描画44%・選択40%、週1回以上の68人は9%と13%が誤り。一手は脚注に——実物を見ながら描いた58人は16%と12%、"made no more errors than did the experts"(専門家より誤りが多くはなかった)。2024年は329人を無作為に割り付け、部品を見せた側4.22、外観だけの側5.37(F(1,327)=111.7、G²=.109)。
03検索窓と、「科学者は分かっている」の一言。2015年の第1実験は、オンラインの米国・カナダの住民202人(分析197人)。片方は問い4つをインターネットで調べ、片方は資料なしで考え、無関係な6分野で答えられる度合いを評価。調べた側3.61・調べなかった側3.07(t(195)=3.24、p=.001、d=0.50)、6分野すべて同じ向き。交絡も原典自身が挙げます(所要214.4秒対26.3秒)。131人に何も返らない検索をさせても3.75で、調べなかった側の3.05より高い(t(458)=−4.50)。上がったのは中身ではなく、調べられる状態のほうです。2016年の4実験は、中身を与えず「科学者は理解している」と告げるだけで、告げられた側の自己評価が上がりました。ただし "the effect does not occur when the explanations exist but are held in secret"(説明が存在しても秘密にされていると起きない)。読めたのは、抄録の範囲までです。
動くのは数字ではなく、引用の途中です。落ちやすいのは3か所。
01「説明させると下がる」が、何でも下がる、に化ける。よく引かれるのは落ちた話だけ。報告の後半は、落ちない領域を探す作業です。同じ物差し(最初の評価と書いた直後の差)で並ぶのは、装置 .918、自然現象 .860、物語 .351、事実 .291、手順 −0.173。手順だけが、下がるどころか上がっています(37人、F(2,70)=1.598、p=.210。装置との比較は F(1,132)=40.934)。「自然現象では装置以上に落ちた」は向きが逆(F(3,279)=2.612、p<.07。装置のほうがやや大きい傾向で、有意ではない)。「物語では下がらなかった」は有意性の話。物語 .351 は事実 .291 より数としては大きく、差は統計的にありません(F(1,89)=.496)。落ちるのは、道筋が自分の手の外にあるものだ。
02落差が、その人の頭のよさの話に化ける。「下がったのは、実は分かっていなかったからだ」——原典が正面から潰します。第3の研究は「エリートの傲慢さ」を疑って走らせたもの(SATの平均はイェール約1,500、地方大学約960)。結果は逆。所属の主効果は非有意(F(1,63)=.750、p=.390)、所属×時点は有意(F(4,252)=3.874、p=.005)で、落差は地方大学のほうが大きかった——最初の自己評価が1点近く高かったため。"opposite of what the ‘elitist arrogance’ hypothesis would predict"(「エリートの傲慢さ」仮説の予測とは逆)。いちばん錯覚が大きい装置が、いちばん恥ずかしくない(24人・103項目。差は錯覚の大きさを予測しません)。12の研究は、性別も年齢も記載していません。
03「書かせれば錯覚は消える」が、独り歩きする。第6の研究では31人に手続きを先に明かしても、落差は小さくなっただけで消えません(F(3,234)=4.119、p=.007)。第2実験の94人に「ペダルとチェーンが何をしているか考えてから描いて」と言っても、誤りは減らず増えました(χ²(1, n=175)=3.99、4.36、p<.05。原典は、増加の大部分は女性の比率の差だとします。描画の誤りは女性(43人・67人)で65%と75%、男性(37人・24人)で22%と25%)。2023年の事前登録実験(第3実験264人、説明群119・統制群145)は、説明した当のものも(t(118)=−1.76)、残り5つも(t(118)=−6.11)、書き写した統制群でも下がりました(t(144)=−3.62)。観測の数が1つ・5つ・6つと違うので「別のものほど大きく下がる」とは読むな、と釘を刺し、「個々の錯覚がまとめて剥がれる」のか「全般的な自信過剰なのか」は区別できないと書きます。
全文まで読めたのは6点のうち5点。読めていないものについては書きません。答えたのは、イェールと地方の州立大学の学生97人、英国の大学の公開日と自転車の団体(非専門家175人・専門家68人・実物58人)、オンラインの米国・カナダの住民(202人・138人・240人・327人・264人)、米国の大学生329人と381人。読めた範囲に日本語での追試はありません。明日の判断の見通しでもありません。
6本は独立してもいません。2015年は著者を2002年と共有し、2023年は課題の項目を2002年から取り、2006年も2024年も冒頭で2002年を引く。5本が、1本を起点にした連なりです。「使えば理解が深まる」も、「自己評価は当てにならない」も、この6本からは出てきません。他人に説明させて詰まりを指摘する使い方を測った研究もありません。2006年は自己評価も取り、高く評価した人ほど誤りが少ない(−.29から−.48)。前後の変化は非専門家で非有意、専門家だけ有意(4.6→4.5、4.2→4.0、5.4→5.6)。原典自身も "these self-ratings only crudely measured changes"(変化を粗くしか測っていない)と書きます。
見えている部品が、自信を当てていた。
実物を置いたら、素人が専門家に並んだ。
この3手も、研究が命じた順番ではありません。測られたのは、数字の動きと、絵の誤りと、波及だけ。数字を2つと、その差を1つ。
TRY IT TODAY
- 01RATE
仕組みを説明できるつもりのものを1つ選び、いまの自信を10段階で書く。思い当たらなければ「無し」と書いて閉じる。
- 02WRITE
その仕組みを、AのあとにBが起き、その結果Cになる、という順序で5行ほど書く。書けないところは「書けない」と書く。
- 03RATE AGAIN
もう一度、いまの自信を10段階で書く。残すのは最初の数字、あとの数字、その差の3つだけ。差が0でも構いません。
実体とは、自分がどこまで中身を持っているかを確かめる作業。確かめられたのは四つ。16人の自己評価が下がり、落ちたのは最初の一回だったこと。4集団97人で同じ形が出て、落差は選抜の緩い地方大学で大きかったこと。装置 .918・自然現象 .860 に対し手順は −0.173 だったこと。警告しても、書かなかったものでも、書き写した群でも下がったこと。どうすれば消せるかは、どこにも書かれていません。残るのは最初の数字と、あとの数字と、その差。記録が1件だけ。
SECOND LAYER · FULL SYLLABUS実体を、もっと深く学ぶ。→HOW TO READ THE NUMBERS数字の読み方＋
この号に出てくる統計の言葉です。数値は原典のまま、意味だけをほどいています。
- 効果量 d・g
- 2つのグループの平均の差を、ばらつきの大きさで割った値。一般的な目安では 0.2=小、0.5=中、0.8=大。g は d を小規模研究向けに補正したものです。
- 統計的に有意
- 「偶然だけでは説明しにくい」という意味の専門用語。効果が大きい・重要だという意味ではありません。ごく小さな差でも、人数が多ければ有意になります。
- p値
- 差がないと仮定したとき、偶然でこの結果以上が出る確率の目安。小さいほど偶然では説明しにくいことを表しますが、効果の大きさは表しません。
