IN WAYS OF THINKING · ISSUE 192
● 12 SEC1999年の論文に、こういう場面があります。米国コーネル大学の学部生65人が小咄を採点し、そのあと「面白さを見分ける自分の能力は、下から何%の位置か」を答える。正解の「面白さ」は、プロのコメディアン8人の評定です。
そのテストで下位4分の1に入った16人は、実際には下から12パーセンタイル〔下から数えて何%の位置か〕にいて、自分の能力を58パーセンタイルと答えました。差は46ポイント。「自信の山と谷」の曲線のもとは、この数字です。ただしその曲線は、この論文には載っていません。
載っているのは、成績順に4等分した四分位ごとの平均を結んだ折れ線です。そこには算術の問題があります——低い点なら、定義からして過大評価が起きやすい。これを先に書いたのは批判者ではなく、1999年の論文自身です。本当の問いは、低かった人たちがどれだけ外れるか、である。
メタ認知は、思考についての思考、と紹介されます。よく引かれる定義は1976年のもので、自分自身の認知過程についての知識(この号は1976年の原典に到達していません。2017年の論文の引用文です)。
紹介はたいてい自信の話になります。しかし測られていたのは、自信ではありません。「これくらいできたはずだ」という見積もりと、実際の成績との差です。取り方を変えても、測り方を変えても、差のほうが動きます。
見積もりには種類もあります。1999年の論文は「一般的な能力」と「今日のテストの得点」を別々に聞いており、同じ58や61でも別の値です。無作為な割り付けは7本のうち1本の一部だけ。それ以外は「その課題では、こうなった」で止めます。
では、どこまで測られているのか。まず、この3本です。
014つの実験。下位4分の1はいつも上に見積もり、著者は算術の反論を先に潰した。1999年の論文は、コーネル大学の4つの実験。下位4分の1の能力への見積もりは、ユーモア65人で58(実際12)、論理45人で68(同12)、文法84人で67(同10)。文法の61は「得点」への見積もりで、種類が違います。上位4分の1は4つとも逆に低く見積もりました〈Z=−5.66・−4.77〉。無作為の割り付けは実験4だけ。140人のうち70人が10分の訓練資料を受け取り、下位群19人で動いたのは成績ではなく見積もりの較正で、過大評価そのものは残りました。
02同じ1,154人のデータを2度使って、同じ形を乱数から描いてみせた2本。2016年と2017年の2本は、著者5人も、1,154人のデータも同じ連作です。2016年がしたのは実演でした——自己評価を0から100の乱数に置き換えても、四分位ごとに平均を結べば同じ形が出る。4等分すれば下位の実際の位置は平均12.5、上位は87.5、乱数の自己評価はどこでも50。開きは下も上も37.5ポイントです。そして、単一の全体質問だと相関は.29〔一緒に動く度合いの目安〕、25項目を1つずつ自己評価させると.60。1999年の4実験は、いずれも単一の全体質問です。
03選んだ理由は、選んだあとに出てくる。同一の品4足と、顔写真。1977年の論文の現場実験。商業施設で衣料品を4つ並べ、「どれがいちばん品質が良いか」を選ばせて直後に理由を尋ねる。ナイトガウン4着の版(378人)と、すべて同一のストッキング4足の版(52人)。どちらも右端が大きく選ばれ、ストッキングでは右端が左端のおよそ4倍。位置を理由に挙げた人は1人もいません。28年後、スウェーデンの120人が2枚の顔写真から選び、15組中3組で選ばなかったほうを手渡されます。その場で気づかれたのは354試行のうち46——13%(分母は試行数)。事後の面接まで合算しても26%を超えません。
数字は動きません。動くのは、引用されていく途中のほうです。
01「乱数でも出るから効果は無い」と読むと、批判した側の但し書きが消える。「あの図は統計の産物で、現象は無かった」と読みたくなります。批判した側は、そこまで書いていません。2016年の論文は、十分で信頼できるデータがあればこの描き方も有用でありうると書き、2017年の論文は自分たちのデータも同じX字になると認め、熟達者のほうが自己評価は正確だとも書きました。1999年側は下位の外れ方は上位のおよそ4倍という非対称を反論の芯に置き、乱数側は乱数なら両端は同じだけ外れると書いた。2020年の研究(一般市民929人・抄録まで)は、ばらつきの偏りを見つけず関係は直線だと結論しています。
02「メタ認知訓練で学習効率が最大30%向上」は、その論文にない数字です。準備資料には「メタ認知訓練により学習効率が最大30%向上(2007年の論文)」とありました。その論文はフィードバックのレビューで、訓練の実験でも、学習効率という指標でもありません。保存した全文を検索しても、30%は出てきません。あるのは、12本のメタ分析・196研究・6,972の効果量で平均0.79〔差の大きさをばらつきで割った目安〕、基準線としての学校教育の平均0.40、別のメタ分析の平均0.38・うち32%が負、という数字です。「30%は嘘だ」とは書きません。書けるのは、見つからなかったことと、その論文が報告している数字だけです。
03「人は自分の判断の理由を語れない」と読むと、但し書きが消える。1977年の論文の抄録には条件が付いています——正確な報告は、影響を与えた刺激が目立っていて、その原因としてもっともらしい場合に起こる。主張は「語れない」ではなく、「語れるかどうかは、何が効いていたかで決まる」です。2005年の側にも但し書きが。語りは8つに分類され、そのうち1つは元の選択についての本当の報告でした。全部が作り話だったのではありません。原典自身も、この実験は仕組みについては何の結論も許さないと書いています。
全文まで読めたのは7点のうち6点。読めていないものについては書きません。答えたのは、コーネル大学の学部生65人・45人・84人・140人、米国の高等教育機関の1,154人、一般市民929人、商業施設の52人と378人、スウェーデンの120人です。1977年の論文は国名を書いておらず、929人の研究も抄録に実施国がありません。日本での実施はありません。
性別の記載は3本だけ。2017年の集計は、1,154人全体ではなく学部生1,035人(女664・男371)のものです。男性の得点が高いのは第1世代の学生・理系志望・母語の偏りによる、と原典は断っています。「メタ認知を鍛えると成績が上がる」という数値は、ここにありません。下位群を呼ぶ "incompetent" の中身も、「その日のその課題で下位4分の1に入った」です。
その形は、乱数からも出る。
そして乱数なら、上の端も同じだけ外れる。
だから次の3手も、研究が命じた順番ではありません。前もって1行書いたら何が起きるかを確かめた研究は、ありません。
TRY IT TODAY
- 01PICK
**今日これから決める小さなことをひとつだけ**書く。自分の手元で完結するもの。医療や投資の判断は選ばないこと。
- 02BEFORE
決める前に、「こう決めた理由」を1行だけ書く。20字まで。書けなければ「書けない」と書いて構いません。
- 03AFTER
その日の終わりに、前の1行を見ないで同じ理由をもう1行書く。見比べて「一致」「違う」「思い出せない」から1つ選ぶ。
メタ認知は、自分の思考を見張る道具です。その道具だけは、外から点検する手がかりが少ない——というのが、この号の読み筋です。確かめられたのは三つ。1999年の論文が算術の必然を自分で認め、上位のおよそ4倍という非対称を芯に置いたこと。同じ形が乱数からも出て、上の端も同じだけ外れること。聞き方を変えるだけで相関が動くこと。書かれているのは、測り方を変えると見える形が変わる、というところまでです。今日残せるのは、判断がひとつ、2つの行、印が1つ。記録が1件、残るだけです。
SECOND LAYER · FULL SYLLABUSメタ認知を、もっと深く学ぶ。→HOW TO READ THE NUMBERS数字の読み方＋
この号に出てくる統計の言葉です。数値は原典のまま、意味だけをほどいています。
- 効果量
- 差や関連の「大きさ」を、単位の違う研究どうしでも比べられるようにした共通の物差し。「効果があるか」ではなく「どれくらいか」を表します。
- メタ分析
- 同じテーマの研究をたくさん集めて統合し、平均的な効き目を推定する方法。1本の研究より安定しますが、集めた研究の質と偏りに左右されます。
