By Daniel Whitmore, MSc in Industrial and Organizational Psychology
ひとことで言うと
評価者の目線合わせとは、採点する人たちが共通の評価ルーブリックに照らして同じ見本の回答を各自で採点し、基準ごとにスコアを見比べ、実際の候補者を見る前に各水準が何を意味するのかを合意する、短い作業の会のことです。評価者をまたいで評価ルーブリックのスコアを一貫させるうえで、これがいちばん効く方法です — そして採点のぶれは時とともに戻ってくるので、定期的な再点検が要ります。
評価ルーブリックのスコアは、なぜぶれるのか
採点のぶれは人格の欠点ではありません。評価者が複数いるどんな進め方でも、それが初期状態です。確認者は一人ひとり、自分だけの内なる基準を携えて現れます。直近に採用した相手のチーム、記憶に残るいちばん強かった候補者、そして不完全な答えへの自分なりの許容度に形づくられた基準です。評価ルーブリックはそのばらつきを狭めますが、「次の一手が明確である」や「適切な語り口」といった言葉には、なお解釈の余地が残ります — そして、ぶれが住みつくのは解釈のところです。
ぶれは時とともに積み重なりもします。インサイドセールスのロールプレイを一週間に 20 件採点する評価者は、評価ルーブリックではなくその束に照らして採点し始めます。弱いものを三つ見たあとでは、平凡な初回ヒアリングも強く見えるのです。締め切りの重圧のもとで、厳しいほうへ、あるいは甘いほうへぶれる人もいます。こうしたことはスコアそのものには何ひとつ現れません。だからこそ危ういのです — ある確認者の 4 点と、別の確認者の 4 点が、二人の別の候補者を言い表していることがあり得ます。
手当ては、もっと凝った評価ルーブリックではありません。ある点を越えると、評価ルーブリックの記述を足しても、一致は増えずに読む負担だけが増えます。手当ては目線合わせです。評価者に同じ成果物を採点させ、その差を浮かび上がらせ、あとから全員が指し示せる共通の基準を取り決めること — 実際の候補者の結末が、たまたま誰の読みが通るかに左右されてしまう前に。
目線合わせの会、その手順
実際の採点が始まる前に、構造のある会を一度開いてください。その課題そのものへの実際の回答を二つか三つ選びます — たとえば、いら立った顧客への候補者の書面の返信や、営業職務のための、記録された反論対応の演習です。選び方は意図的に。明らかに強いものをひとつ、明らかに弱いものをひとつ、そして本当に境目にあるものをひとつ。目線合わせが元を取るのは、この境目の見本のところです。
会そのものは単純な順序をたどり、その順序が肝心です。各自での採点が先に来なければなりません。誰か一人の評価者が口を開いた瞬間、ほかの人はその意見に引き寄せられ、この演習は一致ではなく同調を測ることになります。三、四人の場なら 1 時間ほどを見込み、この会は任意の追加ではなく、アセスメントを立ち上げる作業の一部として扱ってください。
- 評価者はそれぞれ、すべての見本を評価ルーブリックに照らして各自で採点し、基準ごとに理由を書きます — この時点ではまだ話し合いません。
- 全員のスコアを一度に開示し、候補者ごとではなく基準ごとに差を算出します。
- スコアが一水準を超えて分かれた基準についてだけ話し合います。一致しているところに時間を使う必要はありません。
- 食い違いのひとつずつについて、その評価ルーブリックの水準が実際に何を求めているのかを決め、言葉が両方の読み方を許していたなら記述を書き直します。
- 話し合った見本を、合意したスコアと理由とともに、評価ルーブリックに添える基準例として保存します。
人ではなく、差について話す
スコアを開示したあとの対話こそが眼目であり、そしてそれは予想どおりの形で壊れます。誰が正しいかの論争になるのです。組み立て直してください。問うべきは決して「なぜ 2 点を付けたのですか」ではなく、「回答のどこと、評価ルーブリックのどこが、あなたをそこへ導いたのですか」です。たいてい、どちらの評価者も評価ルーブリックに忠実に従っています — ただし、その別々の読み方に。
差のほとんどは、三つの原因のどれかにたどり着きます。評価ルーブリックの記述が曖昧である、評価者が下位の基準に別々の重みを置いている、あるいは一方の確認者が評価ルーブリックの覆っていないもの — 判断を測るはずの課題における誤字のような — を採点している。いま見ているのがどの原因かを名指しすると、口論は編集作業に変わります。曖昧さには書き直した記述を、隠れた重み付けには明示を、範囲外の基準にははっきりした除外を与えます。
どの話し合いも、成果物で終えてください。心地よい対話だけを生んだ目線合わせの会は、ひと月後にもう一度やることになります。研ぎ澄まされた記述と、保存された基準例を生んだ会は、新しい評価者が場に加わるたび、そして境目の候補者が集まりをある水準の文言そのものへ引き戻すたびに、配当を払い続けます。
実際の回答で評価ルーブリックに基準例を留める
抽象的な記述はぶれを招き、具体的な実例はそれに抗います。意味のある採点の水準ごとに — たいていは「及第」と「強い」の境目で、採用の決定が実際に転ぶのはそこです — 目線合わせで使った実際の、匿名化された回答をひとつと、それがなぜその水準にあるのかを説明する一文を添えてください。「3 点は、直し方を提案する前に顧客のいら立ちを受け止めている。この返信はそうしているが、次の一手が埋もれている」は、形容詞を並べた一段落に値します。
基準例は、評価者の仕事の仕方を変えます。「この答えはどれくらい良いのか」— 個人の基準を招き入れる問い — を尋ねる代わりに、「これは 3 点の基準例と 4 点の基準例の、どちらに近いのか」を尋ねるようになります。比較は絶対的な評定よりずっと信頼できる判断であり、しかもそれは場の全員にとって同じ判断です。半年後に加わり、最初の会には一度も出ていない評価者にとっても。
継続的な抜き取り点検 — 目線合わせは一度きりの行事ではありません
一度の目線合わせの会は基準を定めますが、それを保ちはしません。ぶれは、件数と時間と場の入れ替わりとともに戻ってきます。保つための作法は軽いものです。決まった間隔で、すでに採点された回答をいくつか、伏せたまま二人目の評価者に回して見比べます。流れてくるものを採点し直しているのではありません — 食い違いがないか、抜き取りで調べているのです。
個々の外れではなく、型を見てください。境目の回答で 2 点の差がひとつ出るのはふつうのことです。同じ二人の評価者のあいだで一水準の隔たりが続くならぶれであり、組み合わせをまたいで食い違いを生み続ける基準があるなら、それは人の問題ではなく評価ルーブリックの問題です。型が現れたら、その基準ひとつだけで短い合わせ直しをしてください — 見本をひとつ採点し、話し合い、記述を締める。研修ではなく、20 分です。
アセスメントのプラットフォームが元を取るのも、ここです。すべてのスコアがその理由とともに評価ルーブリックに照らして記録されていれば、評価者ごとの型は逸話ではなく目に見えるものになり、抜き取り点検は、長い採点の周期の終わりに組み立てる表計算ではなく、読むだけのレポートになります。作法が軽いほど、忙しい採用の季節に触れても生き残ります。
実際の候補者について、二人の採点が食い違ったとき
実際の候補者についての食い違いは、進め方の失敗ではありません — 本当に僅差の決着を、進め方が浮かび上がらせたのです。誤った応じ方は、怠けたほうです。黙ってスコアを平均する、あるいは年長の評価者を既定で勝たせる。平均は食い違いを隠します。年功は、証拠ではなく序列でそれを解きます。どちらも、あとからそのスコアを説明できない状態にあなたを置きます。
そうではなく、実質的な食い違いは合図として扱ってください。二人の評価者が、評価ルーブリックとその基準例に照らして理由を見比べます。二人が同じ記述を指し示した時点で、隔たりのほとんどは数分で解けます。それでも食い違うなら、三人目の評価者を入れ、先の二つのスコアを見せずに伏せたまま採点してもらい、三つの独立した読みから話し合いを進めてください。
どう決着したにせよ、記録してください。もとのスコア、その理由、そして最終のスコアがなぜそこに着地したのか。その記録は、僅差の決定を採用責任者に — あるいは将来その候補者の立場に立つ人に — 説明できるものにします。そして解けた食い違いはひとつずつ基準例の蓄えの候補になるので、同じ議論を二度する必要はなくなります。
要点
- 採点のぶれは、評価者が複数いるどんな進め方でも初期状態です。評価ルーブリックはそれを狭めますが、閉じるのは目線合わせだけです。
- 実際の採点の前に目線合わせの会を開いてください。まず各自で採点し、次に差だけを話し合い、そして言葉が二通りに読めたところで評価ルーブリックを直します。
- 基準例 — 採点の水準に留めた実際の回答 — は、絶対的な評定を比較に変えます。比較のほうがはるかに一貫します。
- 軽く、定期的な、伏せたままの抜き取り点検で一致を保ち、型が現れたらその基準ひとつだけを合わせ直してください。
- 実際の候補者をめぐる食い違いを平均でならして消しては決してなりません。理由を見比べ、必要なら伏せたまま三人目に読ませ、どう解けたのかを記録してください。