能力に重みを付ける — スコアは正確になるのではなく、説明できるようになる

いくつの基準を満たしたかを数えると、どれを満たしたのかが隠れます

候補者を職務に照らしてまとめるいちばん単純なやり方は、数えることです。職務が求める七つの能力のうち四つを満たした、というように。すっきり読めて説明も簡単で、だからこそ多くの採点表がそこで止まります。問題は、その数え上げが何を捨てているかです — どの能力も取り替えがきくものとして扱うので、満たした四つが「効く四つ」だったのかどうかを教えてくれません。

仕事のほとんどが書くことであるサポートの職務を思い浮かべてください。一日じゅう、文章で、共感をもって顧客に対応する仕事です。その職務には製品知識、優先順位づけ、記録の作成も挙がっていて、どれも本物ですが二次的です。ある候補者は文章によるコミュニケーションと共感を満たし、残りの三つを外します。別の候補者は二次的な三つを満たし、この職務を定義している二つを外します。数え上げでは、二人目のほうが強く見えます — 三は二に勝ちます。職務に照らせば、実際に仕事ができるのは一人目だけです。

この結末に、計算の誤りは何もありません。計算は言われたとおりのことをしただけです。これはモデルの失敗です。この職務では、ある部分が仕事を背負い、別の部分がそれを支えているという情報が、モデルには一度も渡されていませんでした。重み付けは、その情報を渡す方法です。

重みについて、研究は実際のところ何を言っているのか

ここは多くのベンダーの資料が居心地の悪くなるところです。正直な知見は、こちらに都合の良いものではないからです。長く積み重ねられた研究が示しているのは、単位重み — どの構成要素も等しく扱うこと — が、はるかに手間をかけて導いた重みとほぼ同じように人を並べる、ということです。Wainer は 1976 年の論文に、以後この知見について回ることになる言い回しを題として付けました。it don't make no nevermind（大差ない）。Dawes は 1979 年に、自ら「不適正な線形モデル」と呼んだものについて対をなす議論を展開し、単純な等重みの合成が驚くほど頑健で、新しいデータではより凝った方式をしばしば上回ることを示しました。

Bobko、Roth、Buster は 2007 年に、私たちが選考で組み立てるまさにその合成スコアについてこの問いに立ち返り、文献を概観したうえで、単位重みは広い条件のもとで大いに適切な手立てであると結論づけました。理由は不思議なものではありません。よくできたアセスメントの構成要素は互いに相関しがちで、いったんそうなると、要素のあいだで重みを動かしても、結果として得られる順位は直感よりずっと動かないのです。差をつけた重みには、それ自体の推定の誤差もあり、足すはずだった精度を静かに打ち消してしまうことがあります。

ですから、能力に重みを付ければスコアがより正確になる、あるいは入社後の成果につながりやすくなる、とプラットフォームが言ってきたら、その主張は慎重に扱ってください。証拠に照らすかぎり、重み付けが確かに買ってくれるのはそれではありません。そう率直に述べるとベンダーは耳ざわりの良い一文を失いますが、文献に触れて生き残る言い方はこちらだけです。

では、なぜ重みを付けるのか — スコアが職務と噛み合わなければならないから

重み付けの根拠は、成果を言い当てることではありません。内容的妥当性 — アセスメントとそれが生むスコアが、測ると称している職務を代表していなければならない、という要請 — です。書くことが中心の職務にこの候補者はよく合っている、と告げながら、書くことを静かに全体の六分の一として数えている数字は、その職務を言い表していません。候補者をそれなりに並べることはできるかもしれません。ただ、恥ずかしさなしには説明できないのです。

その説明できることこそ、現実の見返りです。選考の決定は問い直されます — 納得しない採用責任者に、なぜですかと尋ねる候補者に、ときには弁護士に。そういう場面で役に立つのは、記録された一本の鎖です。これが職務分析で、そこから出たのがこれらの能力で、それぞれがこれだけ効き、その理由はこうで、そしてこれがこの候補者についての証拠です。重みを付けた合成スコアは、その鎖を完結させます。重みのない合成は、相対的な重要さについての筋道があるべきところに穴を残します。そして職務が明らかにそうなっていないとき、「初期設定がそうだったので全部同じに数えました」は弱い答えです。

もうひとつ、静かな効きめがあります。重みを決めることは、チームがふだん飛ばしてしまう対話を強います。文章によるコミュニケーションは記録の作成の 3 倍効く、と決めるには、採用責任者と採用担当が、この職務が何であるかについて合意しなければなりません — 候補者が現れる前に、誰か一人をめぐって言い争っている最中ではなく。重み付けという作業の価値の多くは、スコアがひとつも計算されないうちに手に入っています。

重みは、必須要件とは別の問いに答えます

重み付けは「必須と印を付けること」と混同されがちですが、この二つは本当に別の道具です。重みは、ある領域の強さが別の領域の弱さを埋め合わせられる合計のなかで、その能力がどれだけ効くのかを述べます — 補償型のモデルです。必須要件は、ここでの不足はほかのどれだけの強さでも埋め合わせられない、と述べます — 関門です。選考モデルの文献はこの二つを、競い合うものではなく補い合う設計として扱っており、補償型と多段階関門の比較は、どちらが正しいかではなく、費用、順序、効用をめぐって論じられます。

つまずき方は、一方が要るところで他方を使うことです。本物の必須要件を重い重みとして表せば、候補者は職務の譲れない部分ができないまま、全体としては基準を満たしてしまえます。単なる優先事項を必須要件として表せば、職務が吸収できる程度の不足で人を落とし始めます — そしていくつもの能力に必須の印が付くと、ほとんど誰もがどれかで落ち、その印は情報を運ばなくなります。

実際的な目安があります。「ここが弱い人を採用できますか」への正直な答えが「いいえ」なら必須要件へ、「はい、ただし代償はあります」なら重みへ手を伸ばしてください。必須要件は少なく保ってください。その力は、まれであることから来ています。

• 重み — ある領域の強さが別の領域の弱さを埋め合わせられるスコアの中で、これがどれだけ効くのか。
• 必須要件 — 不足がそれ自体として報告され、ほかの領域の強さで平均にならされることは決してありません。
• 両方を使ってください — 全体像には重みを付けた合成スコアを、譲れないものには関門を。

測れなかったことが、決して意味してはならないこと

重みを付けたモデルには、名指しする価値のあるつまずき方があります。候補者がしていないことで、その人を罰してしまうからです。職務に重い重みの能力が挙がっているのに、アセスメントがそれを一度も測っていなかった場合、素朴な合成はその不在を 0 点として扱います — そして候補者は、誰も尋ねなかった問いのせいで減点されます。

正しい扱い方は、測らなかったものを分子からも分母からも外し、スコアが実際に踏んだ範囲だけを言い表すようにすることです。候補者は、存在する証拠に照らして測られるべきで、レポートは、その証拠が職務のどこまでを覆っているのかを明示すべきです。この透明性は雇用主にとっても役に立ちます。いつも「未測定」として現れる能力は、アセスメントの穴です。それが言葉になって見えることが、その穴を埋める課題を誰かに足させるのです。

これは、説明できる採点のしくみのほかの部分を貫くのと同じ原則です。証拠がないことは、ないことの証拠ではありません。そして一方を静かに他方へ変換する採点のしくみは、いずれ誰にも正当化できない決定を生みます。

実際に弁護できる重みの決め方

等しいところから始めてください。単位重みについて研究が言っていることを踏まえれば、等しい重み付けは怠慢な初期値ではなく弁護できる初期値であり、ある能力がなぜ多く効くのかを誰かが言えるようになるまでは、ブループリントはそうしているべきです。理由が要るのは、そこから離れる決定のほうであって、留まることではありません。

差はアセスメントからではなく、職務から導いてください。問うべきは、その能力が職務を果たすうえでどれだけ中心的か — 仕事のどれだけがそこに触れるか、そこが弱いとき結果がどれだけ目に見える形で表れるか — であり、その問いに答えるのは職務を知る人たちです。できれば、能力の一覧を生んだのと同じ職務分析の入力を使ってください。お気に入りの候補者をよく見せるために発明された重みは、重みではありません。逆算された結果です。

目盛りは粗いままに、筋道は書き留めてください。細かすぎる重みは、その裏にある判断が持っていない精度をほのめかします。そして 1.7 と 1.8 の差は吟味に耐えません — チームが実際に信じていることを言い表すには、少数の段階で足ります。初期値でない重みがなぜ存在するのかを記録しておけば、その場にいなかった誰かが数か月後にモデルを説明できます。

• 初期値は等しい重みに。そこから離れることは、理由を要する決定として扱ってください。
• 重みは、候補者を見る前に、職務分析から導いてください。
• 目盛りは粗く — 段階をいくつか。ありもしない精度をほのめかす小数ではなく。
• 初期値でない重みには、どれもその理由を書き留めてください。
• 職務が変わったら重みを見直してください。古びたブループリントは、もう存在しない仕事を測っています。

SkillCort ではどう実装されているか

SkillCort の職務ブループリントは、職務が必要とする能力を、それぞれ目標水準、重み、そして任意の「必須」の印とともに並べます。候補者の証拠は、その人が取り組んだ課題からそれらの能力へと積み上がり、レポートは二つの数字を並べて示します。測った能力のうちいくつが目標を満たしたか、そして — ブループリントが実際に初期値でない重みを持っているときにかぎり — 職務の測った重みのうちどれだけが満たされたか。重みが等しければ、この二つは作りからして一致するので、重複したものは表示されず、この機能が加わっても既存の数字が静かに動くことはありません。

必須の能力は合成スコアの外に留まります。そこでの不足は平均にならされるのではなく、それ自体の不足として報告されます。これにより、補償型のまとめと譲れないものが、それぞれあるべき別の列に保たれます。証拠のない能力はどちらの数字からも外れるので、測っていない要件が候補者を引き下げることは決してありません。

これらすべてに添える主張は、意図して狭くしてあります。重みを付けた数字のほうが、重みのない数字より入社後の成果をよく言い当てる、と SkillCort が申し上げることはありません。証拠がそれを支えていないからです。申し上げるのは、その数字はあなたが定めた職務を映しているということ — そしてそれを、誰かに問われたときに筋道を示せるよう、ブループリント、証拠、監査証跡と組にしてお渡しするということです。

出典と参考資料

• Wainer (1976)「Estimating coefficients in linear models: It don't make no nevermind」Psychological Bulletin
• Dawes (1979)「The robust beauty of improper linear models in decision making」American Psychologist
• Bobko, Roth & Buster (2007)「The Usefulness of Unit Weights in Creating Composite Scores」Organizational Research Methods
• Ock (2018)「The Utility of Personnel Selection Decisions: Comparing Compensatory and Multiple-Hurdle Selection Models」Journal of Personnel Psychology