IN LEARNING & GROWTH · ISSUE 195
● 12 SEC2019年に公表された米国の実験。微積分を使う物理の入門コースに春65人・秋92人の計157人が登録し、辞退と未完了の8人を除く149人が残りました。教室は2つ、教員も2名。配布資料もスライドも同じです。
変えたのは、進め方だけです。片方は教員が説明と実演をし、もう片方は学生が小グループで先に例題に取り組む。割り付けは個人単位で無作為、全員が2単元で能動と受動を1回ずつ経験(交差の設計)。
結果は、二つに割れました。テストの点は手を動かす形のほうがおよそ0.46標準偏差〔散らばりの幅〕ぶん高く、「学べたと感じた度合い」はおよそ0.56標準偏差ぶん低い。原典の一文は、能動の側の学生は自分が学べていないと感じたが、実際にはより多く学んでいた。
自己マスタリー(self-mastery)は、学習する組織の話でよく引かれます。内側のビジョンと現実との張力が、学習のエネルギーの源泉になる——説明はだいたいこの形です。
出どころは1990年の一般向けの書籍。この号が当たった範囲では、張力が学習のエネルギーになるという主張を測った査読研究には、たどり着けませんでした。だから「無い」とは書きません。近いのは2本(韓国での5つの柱の測定尺度化と、5年間の組織介入の評価。後者は「正の関係は示されなかった」)。どちらも張力そのものは測っていません。
張力は、ビジョンと現在地の差です。差を計算するには両方の位置が要る。ビジョンは当人が決める。では、現在地は誰が知っているのか。——ここは繰り返し測られています。扱うのはその結果だけ。熟達までの練習量は入れません。
では、その現在地はどこまで測られているのか。
0122件のメタ分析を並べ直すと、平均の相関は .29 だった。2014年のまとめは、能力の自己評価と客観的な出来を扱った22件のメタ分析の並べ直し。22は一次研究ではなく、メタ分析の本数です。個々は .09 から .63 まで散らばり、平均の相関は .29(標準偏差 .11)。相関〔0なら関係が無く、1に近いほど順番がそろう〕です。知能では、2012年の分析が41件の公表研究の154個の効果量を統合して .33、異質性は両水準で有意。
02職場では、自己評価と上司評価の観測相関が .22 だった。2009年の分析は、自己評価と上司評価の一致を扱った128の独立標本。相関を統合したのは115標本・37,752人で、観測相関 .22、測定の誤差を補正した推定で ρ = .34。水準もずれていて、欧米に限った89標本・35,417人では自己評価が甘い側(観測 d = 0.32、補正後 Δ = .49)。128・115・89 は引き算で分かれる内訳ではなく、別の分析の分母です。上司の評価が正しいと示したものではありません。
03英語圏5か国の医師では、20の比較のうち13が、ほとんど関係が無いか逆を向いていた。2006年の系統的レビューは、医師の自己評価と外から測った能力の突き合わせ。採択の条件に実施国が入り、英国、カナダ、米国、オーストラリア、ニュージーランド。検索725本、満たしたのが17件、3件が外部比較を2つずつ持つので比較は20。うち13はほとんど関係が無いか逆を向き、正の関連は7つ(13+7=20)。採択は参加者の50%以上が医師か類似の医療職。現役の医師だけは6件、1件は医師と診療助手と上級看護職、残りは研修医か混合。出方は訓練の段階や経験年数、実施年で変わらなかったとも。「一部の研究では、技能が最も低い人と自信が最も高い人で正確さがとくに低かった」——この限定のまま。
動くのは数字ではなく、要約されていく途中です。落ちやすいのは3か所。
01「自分のことは自分が分かっている」と読むと、一致が高くなる条件が消える。分野も対象も測り方も違うのに、値はどれも .2 から .35 に落ちる。22件の平均が .29、職場の観測相関が .22(補正後 .34)、知能の見積もりが .33。ただし「自分では分からない」と読むのは、原典より強い。同じまとめが報告するのは、一致が高くなる条件のほう——領域が具体的・課題が客観的・慣れている・複雑でないとき。裏返せば、曖昧で複雑で慣れていない仕事ほど外れやすい。
02「手応えのあった日は、よく学べた日だ」と読むと、逆を向いた実験の逆側が消える。点は0.46標準偏差ぶん高く、感触は0.56標準偏差ぶん低い。実際の学習と、学べた感触が逆を向きました。学生が信じたのは感触のほうで、「授業は全部この形で」と答えたのも講義形式の側でした。「教え方がなめらかだ」と感じた学生は、そうでない学生より学べた感じが0.51標準偏差ぶん高い(P < 0.001)。この回帰では、授業の形式のほうは有意に予測しませんでした。「負荷のあいだは手応えが下がる」は測った量ではなく、著者たちの提案。コース2つ・2単元・149人。無作為な割り付けは6本中この1本だけ。
03「自分を高く見積もるのは人間の定数だ」と読むと、逆を向く側と文化差の非有意が消える。2020年のまとめは、平均より上に自分を置く傾きを124本・291標本・965,307人で統合。ランダム効果で dz = 0.78(95%信頼区間 0.71〜0.84)。dz は同じ人の中の差をばらつきで割った値。965,307人のうち805,708人は2件から。特大5件を除くと286標本・45,160人、固定効果なら 1.19。要約で落ちるのは、ここからです。①性格の特徴(0.89)は能力(0.51)より大きい。②対応7標本では、やさしい能力が 1.10、難しい能力は −0.52 と下へ振れ、原典は「不可避ではない」と。③文化差は全体では有意でない(p = .42。欧米222標本・東アジア36・その他33と偏る)。差が出るのは同一研究内の対応11標本だけで、欧米 0.98 対 東アジア 0.40。個人主義的な特性は 1.20 対 0.41、集団主義的な特性は 0.96 対 1.03 で差なし。要約は、文化で大きさは変わったが、欧米でも東アジアでも傾きはおおむね頑健。④最も厳しい出版バイアス補正で、能力の領域は 0.51 が 0.09 へ。⑤男女差なし(0.63 対 0.61)。英語以外の言語の研究が無いことも、著者の挙げる限界。
全文まで読めたのは6点のうち4点。読めていないものは書きません。測られた水準は、6本ともすべて個人。組織の水準の値も、日本の職場での追試もありません。外から評価される機会がなければ、検証自体ができません。
6本のうち2本は、筆頭著者が同じです。共著者は重ならず、使い回しも見あたりませんが、独立した6件ではなく、同じ研究者を含む5系統として読むほうが正確です。医師の研究は職種の例で、受診や治療の判断の材料ではありません。評価を頼みに行く手順も、この号にはありません。
手応えは、逆を向いた。
現在地の情報にも、日付がある。
次の3手も、研究が命じた順番ではありません。日付を書いた効果を測った研究はありません。判定も採点もしません。
TRY IT TODAY
- 01PICK
紙かメモアプリに、「これはできる」と思っている作業を1つだけ書く。うまい・下手は書かず、名前だけ。
- 02DATE
その下に、その作業について最後に誰かが何か言った時期を書く。思い出せなければ「思い出せない」と。
- 03SORT
その1行を「1年以内」「1年より前」「思い出せない」の3つに分類し、右端に印を付ける。それで終わりです。
自己マスタリーという言葉には、静かな安心があります。誰の許可も要らず、進み具合を自分で判定できるからです。確かめられたのは、その最後のひとつでした。
残ったのは三つ。22件のメタ分析の平均が .29 で、一致が高くなる条件も書かれていたこと。職場の観測相関は .22 で欧米では甘い側へ寄り、英語圏5か国の20の比較のうち13が関係が無いか逆を向いたこと。149人の実験で、点は高く感触は低かったこと。現在地を正しく知る方法は、どこにも書かれていません。あるのは、見え方に幅があるというところまで。——今日残せるのは判定ではありません。作業がひとつ、時期がひとつ、印がひとつ。記録が1件、残るだけです。
SECOND LAYER · FULL SYLLABUS自己マスタリーを、もっと深く学ぶ。→HOW TO READ THE NUMBERS数字の読み方＋
この号に出てくる統計の言葉です。数値は原典のまま、意味だけをほどいています。
- 効果量
- 差や関連の「大きさ」を、単位の違う研究どうしでも比べられるようにした共通の物差し。「効果があるか」ではなく「どれくらいか」を表します。
- 効果量 d・g
- 2つのグループの平均の差を、ばらつきの大きさで割った値。一般的な目安では 0.2=小、0.5=中、0.8=大。g は d を小規模研究向けに補正したものです。
- 95%信頼区間
- 推定値の「ばらつきを見込んだ幅」。同じ研究を何度もやり直したら、結果の多くがこの幅に収まると期待できます。幅が0(差なし)をまたぐときは、明確な差とは言い切れません。
- メタ分析
- 同じテーマの研究をたくさん集めて統合し、平均的な効き目を推定する方法。1本の研究より安定しますが、集めた研究の質と偏りに左右されます。
- 系統的レビュー
- あらかじめ決めた基準で研究をもれなく集めて整理する方法。数値の統合(メタ分析)まで行わないこともあります。
- 統計的に有意
- 「偶然だけでは説明しにくい」という意味の専門用語。効果が大きい・重要だという意味ではありません。ごく小さな差でも、人数が多ければ有意になります。
- p値
- 差がないと仮定したとき、偶然でこの結果以上が出る確率の目安。小さいほど偶然では説明しにくいことを表しますが、効果の大きさは表しません。
- 出版バイアス
- 「効果が出た」研究ほど論文として世に出やすい偏り。これがあると、統合した平均値が実際より大きく見えます。
- 標準偏差
- ばらつきの大きさを表す値。大きいほど、人によって結果がばらばらだったことを意味します。
