IN GOVERNANCE · ISSUE 555
● 12 SEC「現場のことは現場がいちばん分かっている。だから自分たちで点検すればいい」。この号はこの見立てを6点で確かめます。人が自分の出来をどう見積もるかを扱った総説2本、メタ分析(多くの研究を束ねて分析する方法)2本、実験1本、そして書誌しか読めなかった論文1本です。
先に向きを言うと、読めた研究は、自己評価が外からの評価や試験とずれやすいことを伝えています。ただし標本は学生や研修の受講者で、組織が自分の守りを点検する仕組みそのものを調べたものは、読めた範囲にありません。この号は、自己点検のやり方を勧めず、教室や研修の数字を日本の小さな店や事務所に当てはめることもしません。
シラバス側の説明では、統制自己評価(control self-assessment)は、現場の担当者が、自分たちの手順や守りが働いているかを自分で点検し、評価するやり方です。現場に近く、負担も軽い出発点として扱われます。この号が読めた研究は組織の点検ではなく、その土台にある「人が自分の出来をどう見積もるか」を調べたものです。
自己評価の正確さは、ふつう、先生の採点・試験の点・専門家の判断のような外の物差しと並べて測られます。2016年の総説は、少なくとも教育の場ではこの並べ方が社会的に合意されていると整理しました。以下の3本は、その並べ方で見えたずれです。
012004年の総説は、人は平均すると自分を高く見積もりがちだと整理した。心理学の研究を健康・教育・職場の三つの領域で見渡した総説です。自己評価と実際の成績の相関(二つが一緒に動く度合い)は多くの領域で中程度から乏しく、人は平均すると自分を「平均より上」と答えるとまとめ、職場については “Employees tend to overestimate their skill”(従業員は自分の技能を高く見積もりがち)と書きます。
021989年のメタ分析は、自分の点と先生の点の近さに関わる条件を示した。高等教育で、学生の自己採点と先生の採点を比べた量的研究を束ねた分析です(論文の索引の要約では51研究)。近さに関わったのは、研究の設計の質(よく設計された研究ほど近い)・課程の水準・学問の分野の3つで、要旨は “students in advanced courses appearing to be more accurate assessors than those in introductory courses”(上級の課程の学生は入門の課程より正確に評価しているように見える)と書きます。
032010年のメタ分析では、学びの自己評価は、意欲や満足と最も強く結びついていた。学校と職場の研修で、知識の自己評価が何を映すかを束ねた分析です。“Self-assessment's strongest correlations were with motivation and satisfaction”(自己評価の相関が最も強いのは意欲と満足)で、試験などで測った学びとは中程度でした。評価研究の3分の1近くが、知識の自己評価を学びの証拠として読んでいたとも報告しています。
ずれは、誰にでも同じ大きさで出るとは限りません。2014年の実験と2016年の総説は、成績の低い人の気づきにくさと、外からの指摘の受け止め方を扱っています。2014年の実験は2004年の総説と著者の一人が重なりますが、別の論文です。
01専門職大学院の学生では、成績の最も低い人は、自分の不足をあまり見抜けていなかった。2014年の論文は、専門職大学院の学生を対象にした3つの研究で、感情知性(感情を読み取り扱う力)の評価を調べ、“the least skilled had limited insight into deficits in their performance”(最も技能の低い人は自分の成績の不足をあまり見抜けていなかった)と報告しました。職場の従業員を調べたものではありません。
02具体的な結果を返されると、成績の低い人は、その正確さか関連性を軽く見た。同じ論文によると、成績の低い人は、手軽にできるほうでフィードバックを退け、本を買う・指導を受けるといった自分を伸ばす道にも、成績の高い人より消極的でした。逆説的に、フィードバックのあとに伸びたいと強く望んだのは、成績の高い人でした。
032016年の総説は、学生が自分の出来を判断するには外の基準が要ると整理した。学生の自己評価の研究を見渡したこの総説は、自己評価を自ら学ぶ力の一部とする研究を引きつつ、その誤差と妥当性はよく分かっていないと両面を書きます。そのうえで “students need external criteria to determine if their performance is meeting expectations”(学生は自分の出来が期待に届くかを判断するのに外の基準を要する)と整理しました。
読めた研究の標本は、高等教育の学生、学校と職場の研修の受講者、専門職大学院の学生で、測ったのは先生の採点・試験・感情知性の評価との近さです。組織の担当者が自分たちの守りを点検する仕組みそのものを調べたものは、全文まで読めた1本と要旨まで読めた4本の範囲にありません。
全文まで読めたのは6点のうち1点で、4点は要旨まで、2002年の論文は書誌だけです。読めていないものについては書きません。「苦手な人ほど高く見積もる」という型は、2014年の実験と、学生の研究を整理した2016年の総説の範囲でだけ書いています。この号は、自己点検の表や手順をどう作るべきかを書きません。
学校と職場の研修のメタ分析で、
学びの自己評価は、
試験で測った学びより、
満足と強く結びついていた。
組織の自己点検そのものは、
読めた範囲で測られていない。
シラバス側は「苦手な人ほど過大に見積もる」を2004年の総説に帰しますが、読めた要旨にこの型は無く、同じ型を報告したのは2014年の実験(専門職大学院の学生)です。また「基準が具体的なら正確、利害が絡むとずれる」を1989年のメタ分析に帰しますが、要旨が挙げる条件は研究の設計の質・課程の水準・分野で、評価基準の具体さは挙がっていません。
TRY IT TODAY
- 01DATE
今日の日付と、自分や自分の店で「できている」と思っている手順を一つ(締めの確認、記録の付け方、点検など)書く。
- 02LOG
それを「できている」とする基準を一文で書き、自分以外の人が確かめるとしたら見られる記録や事実を、分かる範囲で書き出す。
- 03SORT
書き出した記録や事実が、いま「ある」「ない」「分からない」のどれかに分ける。何を足すべきか、誰に見せるべきかは決めない。
この号が運べたのは三段です。2004年の総説は、人は平均すると自分を高く見積もりがちだと整理したこと。メタ分析2本は、自分の点と先生の点の近さが研究の設計や課程の水準で変わること、学びの自己評価が意欲や満足と最も強く結びつくことを示し、専門職大学院の学生の実験は、成績の最も低い人は不足に気づきにくく、指摘を軽く見ることを示したこと。それでも、組織の自己点検そのものの効果は、読めた範囲で測られていないこと。
次の号は、グループ会社を統治するにはどうすればよいのか、を見ていきます。
SECOND LAYER · FULL SYLLABUS「現場が自ら律するには？」を、もっと深く学ぶ。→HOW TO READ THE NUMBERS数字の読み方＋
この号に出てくる統計の言葉です。数値は原典のまま、意味だけをほどいています。
- メタ分析
- 同じテーマの研究をたくさん集めて統合し、平均的な効き目を推定する方法。1本の研究より安定しますが、集めた研究の質と偏りに左右されます。
