複数の評価者の目線を合わせる

手順 1: 見本の回答を二つか三つ選ぶ

目線合わせには材料が要ります。評価の場がそろって採点できる、本物の回答です。目にすると思われる幅にわたる、仕上がったワークサンプルを二つか三つ選んでください。はっきり強いもの、中くらいのもの、はっきり弱いものです。同僚に試しに解いてもらった回答でも足りますが、前の採用の一巡から名前を伏せた回答があれば、なお良いでしょう。本物の候補者の雑然とした手ざわりをそのまま持っているからです。

カスタマーサポートの職務なら、強い見本は、お客さまを受け止め、請求の誤りを正確に直し、はっきりした次の一歩を定めた返信かもしれません。目線合わせがその値打ちを示すのは、中くらいのもののところです。困りごとは解いているけれど冷たく書き出している返信や、あたたかいけれど返金の日を約束しすぎている返信でしょうか。評価の場が両極について食い違うことはめったにありません。食い違うのは真ん中についてです。

配る前に、もとの書き手が分かるものはすべて取り除き、それぞれの見本を、本番の回答が届くのと同じ形で示してください。評価の場は、名前や同僚の評判にではなく、仕事そのものに反応するべきです。そして見本が本物の候補者の提出物に近く感じられるほど、目線合わせは実際の確認へよく引き継がれます。

• 強い回答、中くらいの回答、弱い回答を一つずつ。最も大切なのは中くらいのもの。
• 試しに解いてもらった回答か、名前を伏せた過去の回答を使う。生きた候補者のものを最初に使わないこと。
• 本物の候補者が取り組むのと同じ課題を対象にする。
• 分け合う前に、名前と、人が分かる細部を取り除く。

手順 2: 評価ルーブリックに照らして、それぞれ独立に採点する

見本の回答と評価ルーブリックを、一つの決まりとともに、すべての評価者に送ってください。一人で、基準ごとに採点し、それぞれのスコアに一行の理由を書くこと。話し合いなし、共有の文書なし、のぞき見なし。独立していることが、すべての要です。一人の評価者が他人の数字を見た瞬間から、あなたが測っているのは一致ではなく、同調です。

まず全体の印象を作るのではなく、それぞれの基準を別々に採点するよう、それぞれの評価者に頼んでください。インサイドセールスの状況を探る通話の回答は、打ち解け方は高くても、条件を確かめる問いは低いかもしれません。ひとつの直感のスコアは、その違いをぼかしてしまいます。理由の一行は、評価者に証拠を指し示すことを強います。「予算については尋ねたが、時期については一度も尋ねなかった」というふうに。次の話し合いの手順は、これを燃料にして進みます。

期限は一日か二日に定め、この稽古は全員の予定を尊重できるだけ短く保ってください。見本三つを一つあたり十分から十五分で、というのが無理のない頼み方です。目線合わせは勢いをすぐ失いますし、それぞれの評価者の頭の中で回答がまだ新しいうちに、すべてのスコアが出そろっているのが望ましいのです。

手順 3: 基準ごとの差を比べる

スコアを一つの表に集めてください。行が基準、列が評価者、見本の回答ごとに一つの格子です。あなたが探しているのは、誰が「正しく」採点したかではありません。まだ答えの基準はないのですから。探しているのは差です。評価の場が一段より大きく割れた基準や、二人の評価者がいつも残りより上か下に位置している基準です。

一つひとつの開きよりも、形のほうが多くを語ります。ある評価者が三つの見本すべてで、語り口の基準をどれも一段低く付けているなら、その人は「きちんとしている」を「格式ばっている」と読み、他の人たちは「あたたかい」と読んでいます。判断の基準で評価の場そのものが割れるなら — たとえば返金の求めを上へ引き継ぐことが良い方針感覚を示すのか、引き受ける気のなさを示すのか — 評価ルーブリックの記述があいまいなのであり、話し合いが直すべきは人ではなく言葉です。

• スコアが評価ルーブリックの一段より大きくまたがる基準に、すべて印を付ける。
• すべての見本を通して、一人の評価者に体系的な甘さや厳しさがないか見る。
• 評価ルーブリックのあいまいさ（全員が割れる）と、読み方のずれ（一人が割れる）とを分ける。

手順 4: 評価の場が基準点で一致するまで話し合う

評価の場に集まって、働く回を持ってください。見本三つなら、たいてい一時間で足ります。印を付けた差を、一つずつたどります。それぞれの評価者が、どの証拠が自分のスコアを動かしたのかを説明し、そのうえで、どちらの読み方が評価ルーブリックの意図に合うのかを評価の場が決めます。それぞれの話し合いから出てくるのが基準点です。「この回答が、書く明快さの 3 がどう見えるのかを示すもので、その理由はこうです」。

話は序列ではなく、証拠についてのものに保ってください。採用担当のマネージャーの読み方が自動で勝つわけではありません。もしそうなら、評価の場は要らなかったはずです。二つの読み方がどちらも守れるとき — サポートや営業の場面の判断の基準ではよくあることです — 評価の場は一つを選び、それに従います。すべての候補者に当てられる一貫した基準は、行き当たりばったりに当てられる二つの「正しい」基準に勝るからです。

どれだけ話し合っても基準点を置けない基準があるなら、それは評価の場の失敗ではなく、評価ルーブリックの欠陥です。その場で、評価の場自身の言葉で記述を書き直し、先へ進む前に新しい言い回しで見本を採点し直し、そしてアセスメントの持ち主が大もとの評価ルーブリックを直せるように、その変更を書き留めてください。

手順 5: 合意した読み方を書き残す

記憶の中にしかない目線合わせは、一週間で薄れます。その回の決めごとを、アセスメントに結びつけた短い目線合わせの記録に収めてください。それぞれの見本の回答について置いた基準点のスコア、評価の場が合意した理由、そして変わった評価ルーブリックの言い回しです。確認の途中で、ある評価者が本物の候補者を前にためらったとき、当てずっぽうやチャットへの呼びかけの代わりに手を伸ばすのが、この記録です。

具体的に保ってください。「反論の受け止めの 4 とは、候補者が反論を名指しし、それを組み替え、追いかけの問いを立てたということ。見本 B を参照」は、確認のときに使えます。「反論の受け止めについて目線を合わせた」は使えません。この記録は、あなたの決定のファイルの一部にもなります。採点の判断にいつか問いが立てられたとき、候補者が誰も確認される前にその基準が存在していたことを、示せるのです。

• すべての見本の回答について、基準点のスコアと理由を記録する。
• その回のあいだに書き直した評価ルーブリックの記述を記録する。
• 決定のファイルとともに動くように、記録をアセスメントと一緒に保管する。
• あとから評価の場に加わる評価者にも、それを渡す。

手順 6: 確認の期間のあいだ、ずれを確かめ直す

目線合わせは、一度きりの儀式ではありません。長い確認の期間のあいだに、評価者はずれていきます。十番目の平凡なサポートの返信は、一番目のときより悪く見えますし、基準は静かに引き締まったり緩んだりします。確認が一週間より長く続くなら、あるいは二十数人より多くの候補者にわたるなら、途中にずれの確かめを組んでください。

最も軽いやり方はこうです。すでに採点された回答を一つ選び、二人の評価者に伏せて付け直してもらい、もとのスコアと比べます。差が一段を越えて忍び寄っているなら、書き残された基準点に照らして短いおさらいを行ってください。仕組みの上のしるしにも目を向けてください。一人の評価者の平均が評価の場から離れていくこと、あるいは上書きと二度目の確認が集まり続ける基準です。それらは、どこを見るべきかを教えてくれるずれです。

最後に、本物の確認のあいだに見つかったすべての食い違いを、ただでもらえる目線合わせの材料として扱ってください。今日、評価の場を割った際どいサポートの返信は、明日の中くらいの見本の回答ですし、上書きを生み続ける基準は、次の採用の一巡の前に基準点を置き直すべき最初のものです。こうした瞬間を捉えている評価の場は、改まった目線合わせのやり直しをほとんど必要としません。