IN PEOPLE SYSTEMS · ISSUE 436
● 12 SEC評価がばらつくなら、集まって話せば揃う。キャリブレーション——複数の評価者が評点を持ち寄り、目線をすり合わせる会議には、そういう期待がかかります。
この号が読むのは、ある多国籍企業1社の記録で報告された25%という調整の割合と、その会議で同時に起きていた二つの変化です。会議を開けば公正になる、という話は書きません。
キャリブレーションとは、複数の評価者が集まって評点を持ち寄り、「この人はA、この人はB」と目線をすり合わせる会議のことです。会議に何ができるかを見る前に、揃わなさがどこから来るのかを押さえます。2000年に出た研究は、管理職を対象にした2つの大きなデータで、業績評点のばらつきを要素に分解しました。評点そのものではなく、評点の散らばりがどこから来ているかを見るのが、この号の入口です。
読めた抄録の範囲では、話は三つに分かれます。ばらつきの出どころ。立場の違う評価者どうしがどれくらい一致するか。そして、会議そのものが評点に何をしていたか。いずれも記録を外から分析したもので、会議のやり方を割り付けて比べた実験ではありません。
01評点の半分以上は、評価者ごとの癖で動いていた。2000年の研究は、育成目的の評点を集めた2つのデータ（管理職2,350人と2,142人が、上司2名・同僚2名・部下2名と本人の7人から3つの軸で評価を受けたもの）でばらつきを分解しました。“idiosyncratic rater effects (62% and 53%) accounted for over half of the rating variance”（評価者ごとの癖が、どちらのデータでもばらつきの半分以上を占めた）。評価される人の出来ばえは21%と25%、偶然の誤差は11%と18%です。
02立場をまたぐと、一致はそれほど高くない。1997年のメタ分析は、部下・上司・同僚・本人による評点をまとめ、同じ立場の評価者どうしの一致（1に近いほど揃う）は部下.30・同僚.37・上司.50、立場をまたぐ相関は.14から.34だったと報告しました。研究数と人数は、読めた抄録に印字がありません。この見方の由緒として置かれる1980年の総説には、書誌の情報までしか届いていません。
031社の会議は、甘さを減らし、真ん中を増やした。ある大きな多国籍企業1社の門外秘の記録を分析した2019年の研究は、委員会が評点を動かすのは控えめ（調整率25%）で、評価者のあいだの一貫性は高まったと報告しました。ただし同じ研究は “mitigate leniency bias, but exacerbate centrality bias”（寛大化は和らげるが、中心化の偏りは悪化させる）とも書いています。1社の記録の分析で、割り付けた実験ではありません。
自分がいま、どちら側にいるのか。手がかりは、会議のあとに残る手応えのほうに出ます。三つとも、制度の大きさの話ではなく、手元の評点の話です。
01角が立たなかったことを、揃った証拠にしている。2019年の研究で、1社の委員会は評価者のあいだの一貫性を高めていました。同時に、中心化の偏り——真ん中へ寄せる傾向——は悪化しています。なめらかに終わったことと、正しく揃ったことは、同じ出来事ではありません。
02真ん中に寄った評点を、慎重さの印だと読んでいる。同じ1社の記録では、調整の向きは対称ではありませんでした。下げる調整のほうが、上げる調整より多く、幅も大きい。真ん中への寄りは、その会議の産物として報告されたもので、評価者の性格の話ではありません。
03甘さの理由を、相手の出来ばえの中だけで探している。1993年の研究は、評価にともなう気まずさを測る20項目の尺度の得点から、甘めにつける傾向が予測できたと報告しました。ただし対象は “178 undergraduate business students who rated performance of group members on three group projects”（三つのグループ課題でたがいの働きぶりを評価した、経営学を学ぶ学部生178名）で、職場の上司と部下の評価ではありません。
25%も、甘さと真ん中の向きも、ある多国籍企業1社の門外秘の記録から出た数字です。25%は、委員会にかかった評点のうち実際に動かされた割合——つまり、四分の三はそのまま通っています。会議のやり方を割り付けて比べたものではないので、会議が評点を変えたとは言えません。この1社の外——別の業種、別の規模、別の国——で同じ向きになるかは、読めた抄録の範囲では分かりません。
同じ研究は、調整の向きが対称でないこと——“downward adjustments are significantly more frequent and of greater magnitude than upward adjustments”（下げる調整のほうが、上げる調整より有意に多く、幅も大きい）——と、委員会が情報の面で優位にある監督者へ評点の決定を委ねる傾向にあったことも報告しています。違う断片を持ち寄って一つの像にまとめる、という筋書きとは別の動き方です。委員会は、自分たちから組織のうえで遠い相手の評点ほど動かしにくかったとも書かれています。
1社の記録では、甘さは減り、
真ん中への寄りは増えた。
同じ人数・同じ評価者構成の2,350人を扱った1998年の分解も、評価の方法によるばらつきが、評価者の立場よりも個々の評価者と強く結びつくと報告しています。ただし人数も評価者の構成も重なるため、この号は2000年の分解と別々の証拠には数えていません。
この号が読めたのは、6点のうち5点が公式の抄録まで。残る1点は書誌の情報までで、中身は書きません。ばらつきの分解も、立場をまたぐ一致の低さも、会議の両刃も、抄録に印字された範囲です。
TRY IT TODAY
- 01LIST
最近つけた評点や、人について言った評価の言葉を、思い出せるだけ書く。
- 02SORT
各件を「甘め」「辛め」のどちらかに分け、それぞれの件数を数える。
- 03RECORD
その時、相手の出来ばえ以外に何があったか（関係の近さ、直前につけた評価、その日の機嫌）を一言そえる。
開けば揃う、ではありませんでした。1社の記録で報告されたのは、甘さが和らぐ一方で真ん中への寄りが強まるという、二つの向きが同時に動く姿です。だとすれば、テーブルを囲む前に、自分の評点がどちらへ振れやすいかを手元で見ておく——というのが、この号の読み筋です。癖は消えなくても、どちらへ振れやすいかが見えていれば、そのぶんを差し引いて話すことはできる。ここで言えるのはそこまでで、効果が確かめられた手順ではありません。
SECOND LAYER · FULL SYLLABUS「評価のばらつきを減らすには？」を、もっと深く学ぶ。→HOW TO READ THE NUMBERS数字の読み方＋
この号に出てくる統計の言葉です。数値は原典のまま、意味だけをほどいています。
- メタ分析
- 同じテーマの研究をたくさん集めて統合し、平均的な効き目を推定する方法。1本の研究より安定しますが、集めた研究の質と偏りに左右されます。
- 統計的に有意
- 「偶然だけでは説明しにくい」という意味の専門用語。効果が大きい・重要だという意味ではありません。ごく小さな差でも、人数が多ければ有意になります。
