IN LEARNING & GROWTH · ISSUE 196
● 12 SEC2023年のメタ分析の数え方は、変わっています。やる気と行動の相関ではなく、「決めた/決めなかった」と「やった/やらなかった」を掛けた4つの箱に人を振り分けた。22本の論文から25の独立した標本、参加者29,600人(英語の査読誌に限る)。
箱に入った割合は、決めず動かずが26.0%、決めず動いたが4.2%、決めて動かずが33.0%、決めて動いたが38.7%(ランダム効果メタ分析〔研究ごとに値が違う前提で平均を推定するやり方〕)。足すと101.9%になります——区画ごとに別々に推定して丸めた値だからです。決めた人だけを分母にした未実行の割合は、印字で47.6%、印字された割合からの計算で33.0÷(33.0+38.7)=46.0%。この1.6ポイントの差は、原典の中にあります。
結論は"Successful translation of a positive intention into behaviour is nearly at chance."(前向きな意図を行動へ翻訳できるかどうかは、ほとんど偶然に近い)。この数字の対象は身体活動であって、学習ではありません。それでも借りるのは、距離を数字にする数え方だからです。
学習エージェンシー(learning agency / student agency)は、学ぶことを自分で方向づける力。よく引かれるのは、2019年に公表された枠組みの定義です——"the capacity to set a goal, reflect and act responsibly to effect change"(目標を定め、振り返り、変化を起こすために責任を持って行動する力)。
同じ文書が、その定義の足元も自分で書いています——"There is no global consensus on the definition of 'student agency'."(定義について、世界的な合意は無い)。日本についても1段落あり、この語は集団性の文脈で使われ、個人の意見より共同体の調和が重んじられる、と。効果の推定ではなく、文化差の記述です。
この文書は概念の枠組みであって、効果を推定した報告ではありません。それでも、学業成果や粘り強さが良くなる、といった文は並びます。成果の主張はあります。その大きさを示す数値が、この15ページには1つも書かれていません。統計の載った図表は1点だけで、縦軸は数学のPISA得点差(2012年のPISAデータベース)。学習エージェンシーの効果の図ではありません。
では、その「大きさ」は、どこまで測られているのか。まず測られたのは、この3本です。
01身体活動の25標本・29,600人で、意図した人の47.6%が実行に至らなかった。この枠組みには先行研究があります。2013年の10研究・3,899人では、同じ4区画が21%・2%・36%・42%。要旨の結果欄は「ギャップは46%」、貢献欄は「48%」。36÷(36+42)=46.15%なので46%は内訳と自分で合い、48%の出どころは分かりません(表には到達していません)。2本には同じ著者がいる連作で、10研究が22論文にどれだけ含まれるかは未確認。独立した2件として読まないでください。
02意図を実験的に動かした47の検証では、意図の変化 d = 0.66 に対して行動の変化は d = 0.36。2006年の分析は、割合ではなく動かした量で見ます。集める条件は要旨に——"participants should be assigned randomly to a treatment that significantly increases the strength of respective intentions"(参加者を、意図の強さを有意に高める処置へ無作為に割り付ける)。満たした47の実験的検証で、d = 0.66 に対し d = 0.36。d(効果量)は差の大きさをばらつきで割った目安で、「中程度から大きめ」「小さめから中程度」は要旨自身の語です。
03同じ人を2回以上測った11件・2,688人では、出来から自信への向きが3倍近く大きい(学業に限る)。2018年の分析は、向きを問い直します。縦断研究〔時間をおいて同じ人を2回以上測ること〕11件・2,688人の相関から両方向を同時に推定し、出来から後の自信へ β = 0.205、自信から後の出来へ β = 0.071(どちらも p < 0.001)。β(標準化パス係数)は単位をそろえた動きの大きさの目安で、0.205 ÷ 0.071 ≒ 2.9 倍。対象は学業の自己効力感と学業成績です。相互になるのは成人で、児童では成績から後の自己効力感への一方向だけ。観察の統合なので、「自信をつけさせても動かない」とは言えません。
数字そのものは動きません。動くのは、引用されていく途中です。落ちやすいのは3か所。
01「これは学習の話だ」と読むと、身体活動という限定が落ちる。47.6%も、46%も、48%も、対象は身体活動です。適格条件が「身体活動の測定があること」なので、限定というより定義です。0.66 と 0.36 も学習の数字ではなく、47件の行動領域の内訳は読めていません。「学習でも47.6%が止まる」とは、1度も書いていません。
02「実行できたかは自分がいちばん分かっている」と読むと、3倍の差が消える。2010年の、89件の実証研究を集めたメタ分析。研修で学んだことが仕事で使われるか(転移)。動機づけと転移の関係は r = .23〔相関。1に近いほど一緒に動く。測り方の不確かさを見込んだ補正済みの推定値で、補正前は .19〕。K = 24・N = 2,574人(K は研究の数)。測り方で分けると——"the r was .33, compared with .11 when transfer was measured objectively or by others"(本人が測ると .33、客観的あるいは他者が測ると .11)。前者は K = 10・N = 1,288人(観測 .27)、後者は K = 13・N = 1,236人(観測 .10)。ちょうど3倍。10+13=23 で全体の24に1足りず、1,288+1,236=2,524 で2,574に50足りません。この分けは、同じ人が同じ場面で答えた研究を除いた24件だけ(除いた5件なら .41〈N = 1,270人〉、29件すべてで .29〈N = 3,844人〉)。測り方を書かずに .33 だけを引くと、.11 が消えます。
03「自律性を高めれば学ぶようになる」と読むと、枠組みが効果の報告に化ける。2019年の枠組みは、概念のノートです。定義と文脈と文化差の議論があり、成果についての文も複数あります。確かめたのはその先です。効果の大きさを示す数値が、この15ページに1つも書かれていません。人数も、効果量も、p値も出てきません。枠組みを作ることと、その枠組みどおりの状態が何をどれだけ変えるかを推定することは、別の作業です。
数えられたのは、身体活動の25標本・29,600人、先行研究の10研究・3,899人、無作為割り付けを条件にした47の実験的検証(参加者の総数は要旨に無し)、職場の研修の24件・2,574人、同じ人を2度以上測った11件・2,688人(学業)。水準は5本とも個人で、企業の集計ではありません。性別・年齢・職種・国の記述は、ほとんど見つかりません。日本で実施された研究は、この6本の中に見当たりません。
全文まで読めたのは6点のうち2点。読めていないものについては書きません。「自分で決められるようにすれば学ぶようになる」という効果の数値も、ここにはありません。割り付けを条件に効果を集計したと言えるのは1本だけで、その対象も学習ではありませんでした。運べるのは形のほうです——「決めた件数」と「着手した件数」を別々に数えると、そのあいだの距離が数字になる。
半分は、決めただけだった。
それでも、その差だけは数えられる。
次の3手も、研究が命じた順番ではありません。件数を数えたら何が起きるかを確かめた研究は、扱っていません。採点も、件数を増やすことも目標にしません。
TRY IT TODAY
- 01LIST
紙かメモアプリを開く。**今週のはじめに「やろう」と決めていた学びを、思い出せるだけ書き出す。**
- 02MARK
**そのうち、1分でも着手したものに印を付ける。**開いた、再生した、検索した。そこまでで印が付きます。
- 03COUNT
**決めていた件数と、印の付いた件数を、2つの数字として並べて書く。**0件でも構いません。
学習エージェンシーは、学ぶことを自分で決められる状態の名前です。その状態を作ることと、決めたことが実際に起きることは、別の問題でした。確かめられたのは4つ。
2023年の集計が未実行の割合を印字47.6%・計算46.0%と置き、2013年の先行研究がひとつの要旨に46%と48%を並べたこと。意図を強める処置は、d = 0.66 の意図の変化に対し行動は d = 0.36 までだったこと。研修の転移は測り方で .33 と .11 に割れ、学業では出来から自信への向きが3倍近く大きく、児童では一方向だけだったこと。2019年の枠組みが、成果の主張はしても大きさの数値を1つも書いていないこと。決めた時点で、もう何かをやり遂げた気分になれる——というのが、この号の読み筋です。決めた件数がひとつ、着手した件数がひとつ。数字が2つ、並ぶだけです。
SECOND LAYER · FULL SYLLABUS学習エージェンシーを、もっと深く学ぶ。→HOW TO READ THE NUMBERS数字の読み方＋
この号に出てくる統計の言葉です。数値は原典のまま、意味だけをほどいています。
- 効果量
- 差や関連の「大きさ」を、単位の違う研究どうしでも比べられるようにした共通の物差し。「効果があるか」ではなく「どれくらいか」を表します。
- 相関係数 r
- 2つのものが連動する強さ。−1〜+1で、0は関連なし。一般的な目安では ±.10=弱い、±.30=中くらい、±.50=強い関連とされます。関連があっても、原因と結果の関係とは限りません。
- 効果量 d・g
- 2つのグループの平均の差を、ばらつきの大きさで割った値。一般的な目安では 0.2=小、0.5=中、0.8=大。g は d を小規模研究向けに補正したものです。
- メタ分析
- 同じテーマの研究をたくさん集めて統合し、平均的な効き目を推定する方法。1本の研究より安定しますが、集めた研究の質と偏りに左右されます。
- 観察研究・前向き研究
- 介入せずに経過を追いかける研究。「関連がある」までは言えますが、「それが原因だ」とは言い切れません。
- 統計的に有意
- 「偶然だけでは説明しにくい」という意味の専門用語。効果が大きい・重要だという意味ではありません。ごく小さな差でも、人数が多ければ有意になります。
- p値
- 差がないと仮定したとき、偶然でこの結果以上が出る確率の目安。小さいほど偶然では説明しにくいことを表しますが、効果の大きさは表しません。
