IN RECRUITING · ISSUE 230
● 12 SEC選考が上手くいったかは、たいてい採った人のその後で語られます。では、落とした人のその後は。その欄は、埋まらない。その人にその後が起きる場所を、こちら側が用意しなかったからです。
出発点は、採用の外。2018年の保釈判断の論文の抄録は——「我々は、釈放された被告についてしか犯罪の結果を観測しない。裁判官が勾留した被告については観測しない。」採用の研究ではなく、借りるのはこの2文だけ。読めたのも抄録までです。
この形には名前があります。2017年の国際会議の会議録が選択的ラベルと名づけました。観測される結果そのものが人間の意思決定者の既存の選択の帰結であるとき——「結果が観測される事例は、母集団の無作為標本を表していない。」査読誌ではなく会議録で、使ったのは定義だけです。
採用でも同じ形が出ます。低技能のサービス業の労働者を雇う15社で職務テストを導入した2018年の研究の要旨——「テストの推奨に反して採用したと見える管理職は、平均的により悪い採用に行き着く。」推奨を覆すのは偏っているか誤っているからだと「示唆する」。そこまでが、原典の言い方です。
測られているのは、採った人の側です。推奨に従って落とした人のそのあとは、この設計でも測られていません。その人の「そのあと」が、会社の記録に作られていないからです。
もう1本。2008年の研究は、ある全国チェーンの小売1社の1,363店舗が1年かけて選考をテストへ切り替えた記録。1,363は店舗の数で、会社は1社です。作業論文版の要旨は「在職期間の中央値を10%以上引き上げた」と記録し、少数派はテストで低い成績だったが採用には測定可能な影響を与えなかったとも書く。ただし切り替えの順番は必ずしも無作為ではない、と本文にあります。
記録の形の話は、ここまで。同じ研究でも、どの版を読むかで数字が違う。
01保釈判断の論文は、釈放された被告の結果しか観測しないと書く。通した人には入社・在職・評価の記録が残り、落とした人については何も残らない。1本目は保釈の研究で、読めたのは抄録まで。2本目は会議録です。
0215社の研究が測ったのは、落とした人の側ではない。全文まで読んだのは作業論文の版で、掲載版の本文には届いていません。両版の抄録の違いは綴りとハイフンの2か所だけで、数値の食い違いはありません。比べられているのは、記録が残る側の中です。
03小売の研究は在職期間が伸びたと書くが、版で題も語も動く。両版の抄録の違いは、題を含めて7か所(数え方=書き換えられた語句の数)。題は疑問形から断定形へ、原典の綴りの誤りは掲載版で直り、「中央値を10%以上」が「平均と中央値を10%かそれ以上」へ。
版の話がいちばん濃い研究を1本。採用を探索の問題として扱った研究で、触れたのは2020年8月の作業論文版と2024年11月の公開版の全文と、掲載版の抄録です。本文には到達していません。
材料は、ある大手企業1社の専門サービス職の一次面接の可否の記録。2016年1月から2019年4月までの応募88,666件、内訳は訓練用48,719件(面接2,617人)・検証用39,947件(2,275人)。この会社は書類選考で応募者の95%を落とす。成果指標は最終的な採用率で、入社後の業績ではありません。論文自身、記録に依拠するため選択的ラベルの問題に直面すると書いています。
01「合格した人の成績が上がったから、選考の精度が上がった」。上がったのは、記録が残る側の平均。落とした側は精度が低いのではなく、値が作られていないのです。全文まで読めた5本のうち実証の4本に「対照群」は0件。ただしこの会社では応募者が書類選考の担当者へ無作為に割り当てられ、原典はそれを推定に使います。無作為でないのは、選考のやり方のほうです。
02「アルゴリズムを入れると、採用の質がこれだけ上がる」。2020年8月の版——UCBと更新型の教師あり学習モデルに選ばれた人の平均採用率は25%と30%、採用担当者は10%、静的な学習モデルの予測される歩留まりは15%。2024年11月の版——教師あり学習とUCBに選ばれた応募者の32%と27%が最終的に採用され、採用担当者では10%。分母はどちらも、面接に選ばれた人のうち採用された割合。推定は分解から逆確率重みづけへ変わり、モデルの区分も3本から2本へ減りました。人の判断の側の10%だけが、両方の版で同じでした。構成も動きます——面接に選ばれた人のうち黒人またはヒスパニックの割合は2020年版で10%→23%、2024年版で9.4%→24.3%(教師あり学習では4.2%)。女性は35%→41%・50%・39%、2024年版で34%→41%・38%。
03「同じ論文なら、どの版から引いても同じ」。小売の研究は題を含めて7か所、15社の研究は2か所、探索の研究の掲載版の抄録は3語です。2020年版の抄録にだけあった一文——探索にもとづくアルゴリズムのほうが効果的に学習できる——は、2024年版にも掲載版にもありません。作業論文のほうにも版があります。印字は2004年9月・2007年1月改訂と、2015年11月・2017年9月改訂。「作業論文版」では、どの版かが決まりません。
本文全文まで読めたのは、10点のうち5点。読めていないものについては書きません。抄録までが4点、1点は本文にも抄録にも届いていません(1999年の年刊シリーズの章。巻と頁は一次の記録に行き着いておらず、書きません。同じ題名の章が2012年に別の著者2名で出ていて、題名だけでは同定できません)。
標本の国はいずれも米国です(15社、小売1社の1,363店舗、大手企業1社の応募記録、保釈の判断)。日本の選考記録で、落とした人のその後まで追った研究には行き着いていません。これは、誰を採るべきかの話ではありません。差別や格差に触れた箇所でも、何がどう測られたかだけを書いています。
同じ研究の同じ問いで、人の判断の側は10%のまま動きませんでした。
動いたのは、機械の側の数字と、その数え方のほうです。
次の3手も、研究が命じた順番ではありません。手元の記録を2列に分けて数えたとき何が起きるかを確かめた研究は、ありません。人は評価しません。点も付けません。
TRY IT TODAY
- 01PICK
選考の記録を1件だけ選ぶ。自分の組織のものでも、公開の募集要項でもよい。採用に関われないなら、過去に自分が受けた選考で。日付と、記録の名前(記号でよい)を書く。
- 02LIST
紙を2列に分ける。左に「通った人について残っている項目」、右に「落ちた人について残っている項目」。入社したか、在職はいつまでか、評価はどうか。名前だけを書き、中身も人も書きません。
- 03COUNT
左と右の行数を数えて、2つの数として書く。差の理由も、良し悪しも書きません。**右がゼロに近くても、それが記録です。**
確かめられたのは三つ。保釈判断の抄録が、釈放された被告の結果しか観測しないと書いていたこと。15社の研究が、推奨に反して採った側の平均を測っていたこと。小売の研究の中央値10%以上が掲載版で平均と中央値に変わり、探索の研究では推定もモデルの区分も版で入れ替わっていたこと。
載っていた場所は四通り——査読誌の論文、国際会議の会議録、査読前の作業論文と公開版、年刊シリーズの章。上から下へ信頼度が並ぶ話ではありません。空欄が空欄のままであること自体が、この号のいちばん確かな結果です——というのが、この号の読み筋です。残せるのは、日付と、記号と、2つの数。記録が1件、残るだけです。
SECOND LAYER · FULL SYLLABUS候補者ナーチャリング・スクリーニング力を、もっと深く学ぶ。→HOW TO READ THE NUMBERS数字の読み方＋
この号に出てくる統計の言葉です。数値は原典のまま、意味だけをほどいています。
- 中央値
- 全員を並べたときの、ちょうど真ん中の人の値。平均と違って、極端な値に引っ張られません。
