IN WAYS OF THINKING · ISSUE 180
● 12 SECやりとりされている説明を集めて「これは良い説明か」を採点させたら、何が高い点に結びつくのか。2017年の研究が測っています。材料は、素人向けの説明が投稿される掲示板の8つの問いと、それぞれ別の仕組みを持ち出す説明3本ずつ計24本。オンラインで募集した米国在住の235人が、1人1本だけを読んで評価しました。
質と強く結びついたのは、部分どうしのかみ合い(R = .82)と、言葉の運びのうまさ。原典は後者に「認識論的な価値を何ら与えないにもかかわらず」と但し書きを付けます。この号が扱うのは書き方ではなく、観察から説明へ跳ぶ推論に何が保証されていないかのほう。「身につければ判断がよくなる」とは書きません。たどった6本に、仕事の判断そのものを測った数字がないからです。
アブダクションは、観察から、その裏側にありそうな説明へ跳ぶ推論。演繹は前提が正しければ結論も正しく、帰納は事例を増やせば確からしさが上がる。跳ぶほうには、増やせるものがありません。観察は1件で、それを説明しうるものは複数あるからです。保証されるのは結論の正しさではなく、比べたという手続きのほう——というのが、この号の読み筋です。
では、それぞれどこまで測られているのか。まず測られたのは、この3本です。
01うまく書けている説明が、高く評価された。この相関の分母は235人ではなく、属性ごとに24本の説明の平均点を出して並べた偏相関〔他の条件をそろえたうえでの結びつきの強さ〕。かみ合い R = .82、穴 −.65、根本原因の数 .64、長さ .60。うまさは、本文の印字で .79、一覧表では .69。単純さは質を予測せず、込み入り具合は逆向きの正の相関 .49——ただし多重比較の補正は生き延びていません。うまいから高いのか、書く力と説明する力を併せ持つ人がいるからかは相関では決められない、とも原典は断ります。
0210倍ありそうでも、39%が短いほうを選んだ。架空の生き物に症状が2つ。1つの病気で両方を説明する案と、2つの病気でそれぞれを説明する案。実験2の144人は8つの頻度条件へ無作為に割り付けられ(1条件18人)、15倍ありそうな条件で94%、9対10で89%、2つが2倍ありそうな条件で67%、10倍ありそうでも39%が1つを選びました。単純な説明は、確率でおよそ4倍(95%信頼区間2.3〜6)の下駄を履いていた計算です。絵で見せた実験3の108人でも形は同じ。実験4の48人に確率まで書き添えると17%。よく並べられる61%は実験2(2対3の条件)の値で、実験4の内側の比較は17%と46%です。
03平均は0.30。3つそろった19だけが0.57。「考え方は教えられるのか」を集計した2015年のメタ分析。検索で7,524件、全文精査2,332件、採択684件——この684は、三つのコレクションを合わせたレビュー全体の数。母体は別で、867の効果量から外れ値15を除いて852、設計で425、標準化されていない測定84を除いて341。この341で、ランダム効果〔研究ごとに本当の効果が違うと見る〕の平均が g+ = 0.30(.25〜.34)、固定効果なら0.25、異質性72.27%。内訳の単位は効果量の数(k)。本物に近い問題22で0.25、対話43で0.23、両方45で0.32、1対1の手ほどきが加わった19だけが0.57(0.38〜0.77)(頻度の低い組み合わせは除外)。
数字そのものは動きません。動くのは、引用されていく途中のほうです。落ちやすいのは3か所。
01実験室では単純さ、現実では複雑さ——が、そのまま矛盾として運ばれる。選択肢を2つ並べられると短いほうに引かれ、実際の説明を読まされると原因の多いほうを高く評価しがちになる。けれども食い違いの説明は、2017年の研究が自分で書いています——2007年の課題は、原因があれば結果は必ず起きると教示されている。だからどちらを選んでも症状は必ず起きる。同じ「良い説明」が、二つの別の作業を指していたわけです。同じ研究の実験2では、90人が読む前から複数の仕組みに訴える説明を良しとし(6つの問いで7段階平均3.8〜5.7)、2本をつないだ説明を75人が高く付けました。ただし元の1本と比べ有意だったのは3つ。
020.30 が、「批判的思考は教えられる」の一言になる。0.30は、341の効果量をランダム効果で重みづけた平均。固定効果なら0.25で、異質性72.27%は「どの研究でもだいたい0.30」ではありません。翌2016年の71件のメタ分析は、大学在学中の伸びを技能0.59SDと報告しつつ、批判的思考を必修にした看護の課程の学生は他専攻より伸びていなかったとも書きます。無作為な割り付けは現実的でないので非等価な比較群の分析であり、上積みを生む可能性は排除できないとも著者らは書きます。卒業生を追った研究は、検索で1本も見つかりません。
03「転移する・しない」が、何がどこへの指定なしで運ばれる。2017年の整理は、チェス・音楽・作業記憶の訓練の3つのメタ分析を並べ、効果の大きさは実験計画の質と逆に動くと書きます。別の活動をした群(能動統制群)と比べると効果はほぼ消えます。音楽の遠い転移は受動統制群(何もしなかった群)比較で0.25、能動統制群比較で0.03。作業記憶は0.18から0.05へ、チェスは1本しかない研究で0.10。例外は、作業記憶の訓練が別の記憶課題へ及ぼした効果——能動統制群比較0.44・受動統制群比較0.46。訓練一般の値ではありません。2002年の総説は転移に9つの軸があるとし、単一の効果量の推定は見当違いだと。ある条件での証拠はかなりあるが、決定的な条件は未検証、とも。
答えたのは、ある大学の学生たち(実験2で144人、実験3で108人、実験4で48人)と、米国在住の回答者(掲示板の説明を評価した235人、つないだ説明を読んだ90人)。統合の側は341の効果量、71件、3つのメタ分析。たどったのは6本で、6本とも全文まで読めています。相関の分母も24本の説明でした。日本語での追試は、たどった範囲にありません。
設計の強さもそろっていません。無作為な割り付けは2007年の実験だけ。掲示板の研究は相関、大学の伸びは非等価な比較群、残る2本はメタ分析と枠組みの提案。強い設計のものほど、扱う場面が小さい。「身につければ判断がよくなる」も、「学んでも無駄だ」も、この6本からは出てきません。0.30も0.57も、標準化されたテストの得点の話です。最善の物差しは、道具そのものの外側にある——というのが、この号の読み筋です。
短いほうが、納得できた。
うまいほうが、良く見えた。
次の3手も、研究が命じた順番ではありません。説明を3つ書き出すと何が起きるかを確かめた研究は、扱っていません。ここからはALIFEが提案する入口で、候補を数えるだけです。
TRY IT TODAY
- 01PICK
**今日か昨日、「意外だ」と思った出来事を1件**、1行で書く。返信が遅かった、いつもより空いていた——その粒度で。無ければ「無し」と。
- 02LIST
その下に、その出来事の説明を3つ書き出す。良い説明である必要も、当たっている必要もありません。数がそろっていることだけが条件。
- 03MARK
いま最善だと思うものに丸を付け、理由を1行書く。その理由が「短いから」「うまいから」だけだったかを確かめる。直さなくて構いません。
確かめられたのは四つ。235人が24本の説明を評価したとき、質と結びついたのはかみ合いと言葉の運びのうまさで、単純さは予測しなかったこと。10倍ありそうでも39%が1つの病気を選び、確率を書き添えると17%へ落ちたこと。341の効果量の平均は0.30、三つそろった19だけが0.57だったこと。訓練の効果は計画の質と逆に動き、近くへは0.44から0.46で届くが遠くへは0.03や0.05まで落ちること。どうすれば正しい説明を選べるかは、どこにも書かれていません。残せるのは、出来事が1行と説明が3行と丸が1つ。記録が1件、残るだけです。
SECOND LAYER · FULL SYLLABUSアブダクションを、もっと深く学ぶ。→HOW TO READ THE NUMBERS数字の読み方＋
この号に出てくる統計の言葉です。数値は原典のまま、意味だけをほどいています。
- 効果量
- 差や関連の「大きさ」を、単位の違う研究どうしでも比べられるようにした共通の物差し。「効果があるか」ではなく「どれくらいか」を表します。
- 95%信頼区間
- 推定値の「ばらつきを見込んだ幅」。同じ研究を何度もやり直したら、結果の多くがこの幅に収まると期待できます。幅が0(差なし)をまたぐときは、明確な差とは言い切れません。
- メタ分析
- 同じテーマの研究をたくさん集めて統合し、平均的な効き目を推定する方法。1本の研究より安定しますが、集めた研究の質と偏りに左右されます。
- 統計的に有意
- 「偶然だけでは説明しにくい」という意味の専門用語。効果が大きい・重要だという意味ではありません。ごく小さな差でも、人数が多ければ有意になります。
