評価ルーブリックを設計する

What you'll need

• その職務の能力についてのはっきりした見取り図（職務ブループリントがあると助かります）
• その評価ルーブリックが採点する、ほぼ完成したワークサンプルの課題
• 質の違う 2〜3 通の見本の回答（実物でも書き起こしでもかまいません）
• 実際にその仕事をしている人、または管理している人からの意見

Step 1: 基準は課題からではなく、職務から導く

そのアセスメントが答えるために存在している問いから始めてください。この職務は実際にどの能力に支えられているのか。評価ルーブリックのそれぞれの基準は、そのどれかにさかのぼれるべきです。課題から始めてしまうと、その課題が明らかにするはずのスキルではなく、成果物の付随的な特徴 — 体裁、長さ、道具の選び方 — を採点することになります。

並べる数は少なく保ってください。評価ルーブリック一つにつき三つから六つの基準が、たいてい適切です。異なるスキルを分けられるだけあり、しかも評価者が一つの回答を読みながらすべてを頭に置ける程度の少なさです。二つの基準がいつも一緒に上下するなら、まとめてください。一つの基準が独立した二つの判断を隠しているなら、分けてください。

Step 2: 特性ではなく、観察できる行いを書く

「伝える力が強い」は特性です。「直し方を提案する前にお客さまの困りごとを受け止め、具体的な次の一歩で締めくくっている」は、評価者が回答の中で指し示せる行いです。どの基準も、同じ回答を読んだ二人が、採点するために同じ証拠を見るような言い方でなければなりません。

役に立つ確かめ方があります。それぞれの基準について「このスコアを裏づけるために、回答のどこに線を引くだろうか」と問うてください。答えが、一文でも、決定でも、候補者の成果物の中の何かでもなく、感覚だったなら、観察できるものを名指しするまで基準を書き直してください。

• 人についての形容詞を、仕事についての動詞に置き換える
• 成果物を名指しする: 回答の何がそれを示しているのか
• 意図や人柄を当てなければならない基準は避ける
• 一つの基準に一つの判断を。「明快さと正確さ」のような混ぜ物は作らない

Step 3: 従来の点数入力と、水準で刻んだマトリクスから選ぶ

SkillCort は二つの評価ルーブリックの形を支えています。従来の点数入力は、基準ごとに数の目盛りを評価者に示します。速く、慣れ親しんだやり方ですが、7 が何を意味するのかという、評価者それぞれの内なる感覚に寄りかかります。水準で刻んだマトリクスは、基準ごとに水準をはっきり定め、それぞれにその水準に値する行いの手がかりを添え、評価者は回答に合う水準のカードを選んで採点します。

評価者が複数いる場合や、本当に重みのある場合には、マトリクスを選んでください。手がかりのある記述が、目線合わせの仕事を先に済ませてくれます。確認する人がそれぞれ自分の目盛りを作り出す代わりに、全員が同じ書かれた基準に回答を照らします。従来の入力は、重みが軽く、評価者が一人の採点なら今も筋が通っています。

Step 4: 水準ごとに、具体的で見分けのつく記述をつなぐ

マトリクスの編集画面では、どのマス — それぞれの基準の、それぞれの水準 — にも記述を書いてください。良い手がかりは、その水準の回答が実際に何をしているのかを言い表します。上位の答えには何が入っているか、許せる答えは何を押さえ何を落としているか、弱い答えは何をしていないか。「良い」「とても良い」「優れている」といった漠然とした刻みは、評価者を自分だけの判断へ押し戻し、マトリクスの意味を失わせます。

隣り合う水準は、本当に見分けがつくようにしてください。試すのは、際どい回答です。あなたの手がかりを読んだ評価者が、隣り合う二つの水準のどちらも同じくらい主張できてしまうなら、違いを鋭くしてください。たいていは、その二つを分ける行いを一つ名指しすれば足ります。基準ごとに三つから五つの水準で、ふつうは十分です。それ以上は、たいていの証拠が支えられるより細かい区別になります。

Step 5: 職務が報いるものに合わせて基準に重みを置く

すべての基準が同じ発言権を持つべきとは限りません。SkillCort では基準ごとに重みを倍率で置け、その重みはそのまま課題のスコアに、そして職務適合度へと流れ込みます。その職務が最も頼りにしている基準 — 判断そのもの、書かれた返信の質 — を、体裁や網羅性といった支えの基準より重くしてください。

ここは意図をもって決めてください。重みは、あなたの採用の考え方が評価ルーブリックに静かに書き込まれる場所だからです。仕上げの磨きを判断より重くした評価ルーブリックは、磨かれた候補者を浮かび上がらせます。その職務に近い人と一緒に確かめてください。「基準 A は見事だったが基準 B は外した候補者に、私たちはまだ関心があるだろうか」。重みは、その答えと一致しているべきです。

Step 6: 候補者に評価ルーブリックを見せるかどうかを決める

SkillCort では、評価ルーブリックを候補者に見えるようにできます。見せることは、良い答えとは何かを候補者に伝えることであり、誠実であり、あなたが本当に大切にしていることに応えた回答につながる傾向があります。試しているのはスキルであって、基準を当てる力ではありません。基準を知ると答えがそのまま台本になってしまう場合 — 一部の判断の場面のように — は、隠すのが筋の通ったやり方です。

どちらを選ぶにせよ、評価ルーブリックごとに、意図をもって選んでください。見える評価ルーブリックは、候補者も読むぶん、手がかりの書き方に高い水準を求めます。具体的で行いに即した言葉が大切な理由が、もう一つ増えるわけです。それは公平さのしるしにもなります。基準を知っている候補者は、そのアセスメントを、あなたの好みを当てる遊びではなく、自分の仕事への評価として受け取ります。

Step 7: 結び付ける前に、見本の回答で評価ルーブリックを試す

二つか三つの見本の回答を、下書きの評価ルーブリックに照らして採点してください。できればもう一人が別に採点するとよいでしょう。試しているのは回答ではなく評価ルーブリックです。手がかりは、それぞれの回答をすっきりとある水準に置けますか。それとも二人とも同じマスでためらいましたか。ためらいは、書き直しが要る手がかりの印です。

計算も確かめてください。重みを効かせたとき、強い回答は弱い回答をゆとりをもって上回りますか。その差は、しっくり来る幅ですか。中くらいの回答が優れた回答とほとんど同じ点になるなら、手がかりが質を分けられていないか、重みの置き場所が違っています。

Step 8: 評価ルーブリックを結び付け、固定される意味を理解する

評価ルーブリックをアセスメントに結び付けると、その内容は固定されます。あとでバンクの評価ルーブリックを直しても、動いているアセスメントが変わることはありません。そのアセスメントのすべての候補者が、まったく同じ基準で採点されます。それこそが、スコアを比べられ、説明できるものにしています。

つまり、結び付ける直前が、このアセスメントについて言葉づかい、水準、重みを安く直せる最後の機会です。実際の回答から学んだことは、バンクの版を良くし続けるのに使ってください。その改善は、次にそれを結び付けるアセスメントに効きますし、進行中のものを乱すことはありません。