IN STUDIES · ISSUE 056
● 12 SEC「批判的思考の訓練で、学業成績や問題解決能力が有意に向上する——メタ分析多数」。学習の資料でも研修でも、これほど手早く引かれてきた一文はそう多くありません。出どころのひとつは特定できます。2013年のメタ分析——大学生を対象に批判的思考の技能を伸ばそうとした介入研究を集め、31本から得た40の効果量の平均は 0.195（95%信頼区間 0.087〜0.303）。著者たち自身が、小さいと書いています。
この号が扱うのはそこから先だけです。「伸びた」と言えるまでに、何を通っているのか。考え方の鍛え方も、頭のよさの見分け方も配りません。定義を決め、その定義に沿った検査を選び、比べる相手を置き、差を数字にする——この四つのうち、どこまでが確かめられているのかを見ます。学校に通っていない人も、この号の読者から外れません。
論理的思考（Logical Thinking）は、研究の世界ではおもに批判的思考（critical thinking）という名で測られてきました。測られているのは推論そのものの正しさではなく、標準化された検査の得点です。検査が拠る定義は、1990年に米国で公表された報告に連なります。46人の学者・教育者・中心人物が合意を作り、認知的な技能と性向の二側面を整理して、教え方と測り方の勧告を並べた文書。ただしこれは、教えると成績が上がるかを検証した文書ではありません。提案の文書です。
では、その四つの関門は、どこまで確かめられているのか。まず測られたのは、この3本です。
01平均は0.195。小さい、と著者は書いた。2013年のメタ分析は、大学生を対象にした介入研究を集め、31本から40の効果量、平均は 0.195（95%信頼区間 0.087〜0.303）。統計的には0と区別できますが、著者たちの言葉では小さい値です。ばらつきも大きく、異質性は Q = 137.96（p < 0.001）、I² = 71.7%——散らばりの大きさの目安であって、内訳を説明する数字ではありません。「有意」は差が大きいという意味ではなく、0ではないという意味です。
0231本のうち13本には、比べる相手がいなかった。同じ報告では、31本のうち13本が統制群を置かない一群の前後比較でした。学期の初めと終わりに測り、上がっていた、という形。これでは、同じ検査を2度受けた慣れ、介入とは無関係な成熟や経験、測られていると知っている人の振る舞いを、介入と分けられません。「効果が無い」ではなく、「その設計では、効果と他の要因を分けられない」です。
03154人が2回受けた検査は、揃わなかった。2013年の妥当性の検証は、教育科学を専攻するオランダ語話者の大学1年生に、2種類の批判的思考検査の翻訳版を年度の始めと終わりに実施しました。2回とも受けたのは154人。内的整合性は記述式を含む検査で 0.53（1回目）と 0.64（2回目）、選択式で2回とも 0.52。著者たちはどちらも全体としての信頼性は高くないとし、この集団に十分な信頼性と妥当性を示した検査は無かったと結論します。受験者の範囲が制限されていたことを、著者自身が理由に挙げています。
ここから先で、話はよく別のものへ入れ替わります。手がかりは3つ。
01提案の文書を、効果の証拠として引いている。1990年の合意報告は、46人で定義と勧告をまとめた提案の文書で、効果を検証した研究ではありません。にもかかわらず教育の資料では、「訓練で学業成績や問題解決能力が有意に向上」という一文の代表文献として置かれていることがあります。提案が、効果の証拠の位置に座っている——というのが、この号の読み筋です。報告の側に問題があるという話ではありません。
02本数の多さを、証拠の強さと読んでいる。「多数」は、本数の話です。2011年の文献レビューは、1994年から2009年の、高等教育での批判的思考の指導を扱った実証研究42本を読み直しました。同じ介入でも実施のされ方で結果が変わる。質的データが、数量的な検査では見えにくい変化を示す。大半が、研究設計・標本の大きさ・代表性のいずれかに限界を抱えている。因果を言うなら準実験の設計を、と勧告しています。本数が増えても、設計の限界は足し算では埋まりません。
03能力の高さを、偏りの少なさと読んでいる。1998年の総説は、確証方向に集める傾向を「既存の信念や仮説に有利な形で証拠を探し、解釈すること」と定義し、意図的な一方的論証ではなく、それと気づかない選択性だとします。気づかないので、努力では止まりません。では能力が高ければ止まるのか。2007年の二つの実験は、大学生1,400人超（n = 1,484）の8通りの比較で、認知能力が高いほど自分の側に寄る度合いが小さいという証拠は、ほとんど見つからなかったと報告。速い判断と遅い判断を分ける2008年の総説も、遅いほうが必ず監査役とは限らないと書きます。
三つを並べると、言えることの形が見えます。2013年のメタ分析には、採録の条件がひとつありました——3種類の標準化された検査のどれかを使っていること。裏返せば、その3種類のどれでも測らなかった研究は、集計に入っていません。「伸びたか」への答えは、この3種類の上で出されている。うち1種類を含む2種類を154人に2回実施した検証で、内的整合性は0.52から0.64にとどまり、残る2種類は扱われていません。
全文まで読めたのは7点のうち5点。読めていない2点の数値は、報告の帰属として引きます。同じ報告では、12週より長い単発の介入が最大の効果を示し、学位課程まるごとより大きかった。測っているのが検査の点数なら、短い介入のほうが検査に近い形で教えられる——というのは、この号の読み筋です。数字はいずれも欧米の大学生のもので、働きながら学ぶ大人の研究はごく少なく、検査室での得点と実際の判断は別物です。この号は、検査の得点で人を格付けしません。
「有意」は、大きいという意味ではない。
答えは、選ばれた検査の上で出ている。
だから、筋道が通らなかった日を失敗として数える必要はありません。次の3手も、研究結果そのものではなく、能力の側では止まらないなら手続きの側しかない、という読みからALIFEが提案する実践の入口です。
TRY IT TODAY
- 01WRITE
今日下した判断を1つ、紙かメモに書き出す。何時に寝るかでもよい。
- 02COUNTER
その判断に反する事実を1つだけ書き添える。反対意見ではなく、事実。
- 03STOP
1つ書けたら終わり。書けなければ「まだ探していない」と書く。
論理的思考は、頭のよさの証明書ではありません。「伸びた」という言葉が、何を物差しにして出た数字なのかを見分ける話です。確かめられたのは三つ。大学生対象31本の平均は0.195。そのうち13本に比べる相手がなかった。検査は、教育科学専攻1年生154人で0.52から0.64。1990年の提案から2013年の数字まで、23年かけて、提案が数字に変わっています。今日書けるのは統合値ではありません。今日下した判断が1つと、それに反する事実が1つ。その二行だけです。
SECOND LAYER · FULL SYLLABUS論理的思考を、もっと深く学ぶ。→HOW TO READ THE NUMBERS数字の読み方＋
この号に出てくる統計の言葉です。数値は原典のまま、意味だけをほどいています。
- 効果量
- 差や関連の「大きさ」を、単位の違う研究どうしでも比べられるようにした共通の物差し。「効果があるか」ではなく「どれくらいか」を表します。
- 95%信頼区間
- 推定値の「ばらつきを見込んだ幅」。同じ研究を何度もやり直したら、結果の多くがこの幅に収まると期待できます。幅が0(差なし)をまたぐときは、明確な差とは言い切れません。
- メタ分析
- 同じテーマの研究をたくさん集めて統合し、平均的な効き目を推定する方法。1本の研究より安定しますが、集めた研究の質と偏りに左右されます。
- 統計的に有意
- 「偶然だけでは説明しにくい」という意味の専門用語。効果が大きい・重要だという意味ではありません。ごく小さな差でも、人数が多ければ有意になります。
- p値
- 差がないと仮定したとき、偶然でこの結果以上が出る確率の目安。小さいほど偶然では説明しにくいことを表しますが、効果の大きさは表しません。
