一貫して採点する評価ルーブリックを設計する

手順 1: 基準を、回答からではなくブループリントから導く

あなたの評価ルーブリックのすべての基準は、職務ブループリントの中のふるまいにさかのぼるべきです。ブループリントの対応の表を開き、その課題が見るために作られた能力を見つけ、そのふるまいを基準として運んできてください。ブループリントが名指ししていないものは評価ルーブリックに入らず、課題が見るために設計されたものは採点されないままになりません。このさかのぼれることが、のちにスコアを意味あるものにします。「方針の中での判断」の 4 は、定められたふるまいを指し、それが仕事の本物の実物を指すのです。

数は絞って保ってください。課題ごとに三つから五つの基準です。評価者は、それぞれの基準が互いに重ならないときに、頼れる採点をします。重なり合う十の基準は後光による採点を生み、そこでは一つの強い印象がすべての行ににじみ出ます。書かれたサポートの返信における「明快さ」と「筋道」のように、二つの基準がほとんどいつも一緒に動くのなら、まとめて、そのことを基準の説明に書いてください。

回答に驚いたからといって、確認の途中で基準を足したくなるのをこらえてください。良いことであれ悪いことであれ、評価ルーブリックが見られない何かを候補者がし続けるなら、代わりに次の版のための預かりの一覧に書き留めてください。測っている最中に道具を変えることが、一貫性の死に方です。昨日採点された候補者と明日採点される候補者が、違う基準に向き合うことになり、どのスコアが何を意味するのか、誰にも言えなくなります。

手順 2: 基準を、特性ではなく目に見えるふるまいとして書く

基準が目に見えるとは、評価者が、それを満たしている回答の中の一行を指し示せるということです。特性の言葉 — 共感的、自信のある、細部に目が届く — は、それぞれの評価者に私的な定めを参照させます。そして私的な定めこそ、二つのスコアが分かれるところです。すべての特性を、この課題のこの成果物の中でそれを証拠づける、目に見える行いに書き直してください。

書き直しの型は機械的です。特性を名指しし、強い回答の中に文字どおり何が見えるだろうかと問い、それを書き留めます。書き直しは、課題を設計した段階で試しに解いてもらった回答に照らして行ってください。試しの回答は、それぞれのふるまいが、この形式で、この長さで、どう見えるのかを、まさに見せてくれたからです。以下の例は、サポートとインサイドセールスの課題から取ったものです。

• 「共感を示している」の代わりに →「直し方を何か提案する前に、書き出しの数行でお客さまのいら立ちを受け止めている」。
• 「良い判断」の代わりに →「返金の方針を正しく当てはめ、そこで作る例外とその理由を説明している」。
• 「強い伝え手」の代わりに →「次の一歩と、それを引き受ける人と、お客さまがいつ返事を受け取るのかを述べている」。
• 「相談に乗れる」の代わりに →「製品を位置づける前に、相手のいまのやり方について少なくとも一つ、状況を探る問いを立てている」。
• 「整っている」の代わりに →「守れる優先順位で列に取り組み、その順序を選んだ筋道を述べている」。

手順 3: すべての段に、具体的な記述で基準点を置く

基準点のない 1 から 4 の目盛りは、直感の四つの味わいでしかありません。それぞれの基準について、それぞれの段の回答が実際に何を含んでいるのかを、短く記述してください。これが、独立した評価者を一つに寄せる、段で刻んだ、つまりマトリクスの評価ルーブリックです。そろえる仕事をするのは基準点なので、そのそれぞれが、程度の言葉ではなく証拠を述べていなければなりません。「やや明快」と「とても明快」は、何の基準点にもなりません。

サポートの問い合わせの課題における、気持ちの静め方の基準を取り上げましょう。段 4: いら立ちを具体的に受け止め、身を守る構えを取らず、方針の中で解き、時期を伴う具体的な次の一歩を約束している。段 3: 受け止め、正しく解いているが、約束があいまい。段 2: 方針の上では正しいが、お客さまの気持ちを顧みていない、あるいは何も解かずに謝っている。段 1: 語気を強めている、方針を言い誤っている、あるいはお客さまを前へ進む道のないまま残している。

段の数は偶数にしてください。四つがうまく働きます。そうすれば、決めかねたスコアを置いておける居心地のよい真ん中がなくなります。そして基準点は、試しに解いてもらった回答から置いてください。あなたの内側の人たちが生み出した強い成果物、並の成果物、弱い成果物は、その段の本物の例であり、その形を基準点に引き写すことが、目盛りを課題に対して誠実に保ちます。

手順 4: 意図をもって基準に重みを置く

重みのない評価ルーブリックは、すべてが等しいと黙って宣言します。それはブループリントの言っていることと、ほとんど決して一致しません。ブループリントの能力の重みを、評価ルーブリックへ降ろしてください。採用担当のマネージャーが目をつぶって採用することを拒む能力が、最も重い基準を得て、指導で埋められる能力は軽くなります。採点が始まる前に重みを定め、それぞれの隣に一文の理由を書いてください。そうすれば、その選択は言い伝えではなく、確かめられるものになります。

何が重みを持たないのかについても、同じだけ意図的であってください。時間の限られた下書きの中の綴り、体裁の飾り、音声の回答における候補者のなまりは、ブループリントがそれを名指ししていない限り、採点しないものとしてはっきり並べるべきです。そしてたいていのサポートとインサイドセールスの職務では、名指ししていません。基準でないものを名指しすることは、評価ルーブリックが取れる最も強い公平さの一手です。評価者が自分では気づいていない偏りの、武器を取り上げるからです。

• 重みはブループリントを映す: 決定にとって重い能力が最も重く、指導で埋められるものは軽く。
• 重みごとに、一文の理由を記録する。
• 基準でないものをはっきり名指しする: 評価者がスコアを動かさせてはならないもの。
• 判断の基準に合否の関門を置かない。灰色の回答は、基準点に照らして釣り合いよく採点する。

手順 5: 公開の前に、見本の回答で評価ルーブリックを試す

何も採点したことのない評価ルーブリックは、仮説です。試しに解いてもらった回答に、あなた自身が意図して不完全に書いたものをいくつか加えてください。あたたかいけれど方針の上で誤っている返信や、正確だけれど冷たい追いかけのメールです。それを二人の評価者に、下書きの評価ルーブリックに照らしてそれぞれ独立に採点してもらいます。そのうえで、基準ごとに比べてください。

二つのスコアが食い違うところでは、直すべきはほとんどいつも、評価者ではなく基準点の文です。同じ回答についての 2 と 3 の開きは、段の記述が解釈の余地を残しているという意味です。争いになった回答が含んでいた具体的な証拠で、それを鋭くしてください。あたたかいけれど誤っている返信は、とりわけ役に立ちます。語り口と正しさが、一つの印象ににじむのではなく、別々の行で採点されることを、評価ルーブリックに証明させるからです。

独立したスコアが、すべての基準で互いに一段のうちに収まるまで繰り返してください。ここで AI は決定を支えるものとして助けになります。長い回答を要約したり、回答がそれぞれの基準に触れた場所を指し示したりです。けれどもこの試しのスコアは、あなたの人の評価者から出なければなりません。評価ルーブリックが生み出すために存在しているのは、その人たちの一致だからです。

手順 6: 候補者が入る前に、版を固定する

最初の候補者の回答が届いた瞬間から、評価ルーブリックは動きを止めなければなりません。版 1 として固定してください。基準、基準点、重み、そして基準でないもの。日付と、それが導かれたブループリントの版へのつながりとともに。これでその募集のすべてのスコアが、固定された道具を指します。それが、最初の候補者と四十番目の候補者とを比べられるようにし、決定に問いが立てられたときには、何か月ののちでも両方のスコアを守れるようにします。

改善は、動いている評価ルーブリックではなく、預かりの一覧に入ります。募集が閉じたとき — あるいは本当に壊れた基準点が早めの改訂を強いるとき — 変更の記録とともに版 2 を出してください。そして変更が募集の途中に起きるのなら、それより前の回答を新しい版で採点し直すのかどうかを、はっきり決めて記録してください。固定され、版のついた評価ルーブリックこそが、監査に耐える決定のファイルと、誰にも組み直せない数値の山とを分けるものです。