IN RECRUITING · ISSUE 235
● 12 SEC「エンゲージメントの高い部門は、生産性が21%高く、離職率が43%低い。」採用や人事の資料でよく見かける一組です。この号が見るのは、それがうまくいくかどうかではなく、その数字が何を測ったものか、です。
引いた資料は7つ。ある調査会社が定期的に更新している技術報告の第9版(2016年)と第11版(2024年)、同じ会社の別の世論調査の公式頁、査読誌の論文4本(2000年・2001年・2007年・2008年)。本文の全文まで読めたのは7つのうち2つ。読めていないものについては書きません。
第9版には、上位4分の1と下位4分の1の事業単位の中央値の差の一覧があります。逐語は——顧客のロイヤルティ・エンゲージメントで10%、収益性で21%、生産性(売上)で20%、生産性(生産記録と評価)で17%……。21%は収益性の行です。
一覧は11行。上から顧客のロイヤルティ・エンゲージメント10%、収益性21%、生産性(売上)20%、生産性(生産記録と評価)17%、高離職率の企業の離職24%、低離職率の企業の離職59%、安全上の事故70%、棚卸差損28%、欠勤41%、患者安全上の事故58%、品質(欠陥)40%。21%は2行目、生産性は3行目と4行目です。引用のときに、行が1つずれています。
この%は、上位4分の1と下位4分の1の事業単位の中央値の差です〔中央値の意味は記事末尾の「数字の読み方」に〕。組織全体の伸びでも、個人の伸びでもありません。離職の2行は比べる相手で分かれ、年換算の離職率が40%を超える企業で24%、40%以下の企業で59%。59を24で割ると2.4倍あまり。一行に縮めると、どちらの企業かが落ちます。
ここまでなら、行を1つ戻せば済む話です。ところが同じ一覧が、版によって別の数字になっていました。8年後の第11版では、行の並びも、数字も、研究の数も動いています。
01第9版の21%は収益性の行。生産性は20%と17%。この%は、上位4分の1の事業単位の中央値と下位4分の1の事業単位の中央値との差であって、「上げれば21%増える」ではありません。方法は、339の研究を49の業種の230組織にわたって蓄積し、従業員は73か国。事業単位ごとの相関の集まりです。
02第11版では同じ一覧が収益性23%・生産性18%と14%に動いた。欠勤の行は41%から78%へ動き、並び順も入れ替わりました。行そのものも11行から13行に増え、幸福感70%と組織市民行動22%が加わります。帰結の数も9つから11へ。研究は339研究・230組織から736研究・53業種・347組織、従業員は90か国——2倍以上と1.5倍ほど。引用に版が書かれていることは、めったにありません。
03「離職率43%低」の43は、読んだ2つの版の本文に0件。離職の差は24%と59%(第9版)、21%と51%(第11版)。どちらの版でも高離職率か低離職率かで倍以上ちがいます(59÷24は約2.46、51÷21は約2.43)。両版の本文を正規化して「43%」で探すとどちらも0件。43という並びは現れますが、中身は相関0.43、補正値0.43、平均観測相関−0.43、参考文献の1943年、表の中の数、そして「欠勤のデータは43組織について含まれた」の一文。射程はこの2つの版の本文だけです。
その前に二つ。一つめ、出している側が因果について自分で断っています。両版に同じ一文——本稿は因果性の問題を直接には扱わない。推論用のデータベースは、347の独立した組織のために実施された736の受託研究、つまり自社のものです。
二つめ、同じ発行元の別の刊行物にも23%があります。ただし収益性ではなく、世界で「エンゲージしている」と分類された従業員の比率で、2022年のピーク値。公式頁の文は、世界の従業員エンゲージメントは2022年のピークである23%から20%へ低下した。収益性の23%と比率の23%は、別の数字です。
ここから査読の側です。2001年のメタ分析は312標本・合計54,417人を集め、逐語は——全般的な職務満足と職務業績のあいだの平均真相関は .30 と推定された〔相関は−1から1で、0なら結びつきなし〕。同じ抄録は、いずれのモデルについても決定的な確認も否定も与えてこなかった、とも書きます。
01「生産性が21%高い」——21%は収益性の行に付いている。行が1つずれています。第9版は21%が収益性で20%と17%が生産性、第11版は23%が収益性で18%と14%が生産性。どの版かを書かずに引くと、この差は見えません。離職の24%と59%も、40%超と40%以下という別々の集団の差です。
02「.30という相関で裏づけ」——繰り返し測るとβ=.06に落ちる。.30は312標本・54,417人の平均真相関。2008年の分析は、同じ対象を繰り返し測った16の研究だけを集め、ベースラインの業績を統制。逐語は——職務態度がその後の業績に及ぼす効果は、弱いが統計的に有意だった(β = .06)。効果は時間差に対して負に依存していた〔βは結びつきの強さを表す数字〕。「関係が無かった」とは書かれていません。逆方向はβ=.00で、原典は態度のほうが業績に影響すると結びます。
03「満足しているから成果が出る」——再分析は見せかけだと書く。2007年の再分析の逐語——満足と業績の関係は大部分が見せかけであることが示唆された。一般的な性格特性……または仕事上の統制の所在を統制すると部分的に消え、組織基盤の自尊感情を統制するとほぼ完全に消えた。ただし読めたのは抄録までで、研究の数も人数も相関値も印字がありません。反対側も。2000年の2つのフィールド研究は、心理的な良好さは業績を予測したが職務満足は予測せず、標本は47人と37人。
本文の全文まで読めたのは7つのうち2つ——技術報告の2つの版だけです。世論調査は公式頁の1文まで、査読論文4本は抄録まで。だからこの号は、2007年の再分析の研究数も合計人数も個別の相関値も書いていません。
技術報告は347の独立した組織のための受託研究で、個々の研究を外から確かめる方法はありませんでした。査読の側は、繰り返し測った研究が16本。読めた4本の抄録には、対象者の国も職種の広がりも印字されていません。分かるのは47人が対人サービス職、37人が少年保護観察官だったことだけ。技術報告が測っているのは事業単位、査読の4本はそこで働く人です。
離職の差として載っているのは、24%と59%、あるいは21%と51%。
%の付いた43は、この号が読んだ2つの版の本文に0件でした。
次の3手も、研究が命じた順番ではありません。数字の分母を書き出したとき何が起きるかを確かめた研究は、扱っていません。評価はしません。誰の状態も測りません。
TRY IT TODAY
- 01SET
メモに、日付・見かけた数字・その分母の3列を作る。分母とは「何と何を比べた数字か」「誰の、何件ぶんか」にあたる部分です。
- 02WRITE
今日目にした数字を1つ選び、日付と、その数字と、そこに分母が書いてあったかを書く。書いてあればその分母を、なければ**「不明」**と。自分の状態も他人の状態も入れません。
- 03COUNT
同じ形で14日続けたら、分母が書いてあった行の数と、「不明」の行の数を数える。2つの数が残るだけです。
年代順に並べると、2000年に満足は業績を予測せず(47人と37人)、2001年に312標本・54,417人で平均真相関.30、2007年に自己評価を統制すると関係はほぼ完全に消え、2008年に16の研究でβ=.06。2016年の第9版が収益性21%・生産性20%と17%、2024年の第11版が23%・18%と14%です。
24年で動いたのは関係の向きではなく、数字の大きさと、その数字が指す範囲のほうでした。確かめられたのは三つ。21%は収益性の行で、生産性は20%と17%だったこと。第11版では23%・18%と14%になり、欠勤は41%から78%へ、研究は339研究・230組織から736研究・347組織へ増えていたこと。%の付いた43は、読んだ2つの版の本文に0件だったこと。今日残せるのは判定ではありません。日付と、数字と、その分母。記録が1件、残るだけです。
SECOND LAYER · FULL SYLLABUSエンプロイーサクセス継続保証力を、もっと深く学ぶ。→HOW TO READ THE NUMBERS数字の読み方＋
この号に出てくる統計の言葉です。数値は原典のまま、意味だけをほどいています。
- メタ分析
- 同じテーマの研究をたくさん集めて統合し、平均的な効き目を推定する方法。1本の研究より安定しますが、集めた研究の質と偏りに左右されます。
- 統計的に有意
- 「偶然だけでは説明しにくい」という意味の専門用語。効果が大きい・重要だという意味ではありません。ごく小さな差でも、人数が多ければ有意になります。
- 中央値
- 全員を並べたときの、ちょうど真ん中の人の値。平均と違って、極端な値に引っ張られません。
