評価者の目線合わせの場を開く

What you'll need

• アセスメントに結び付いた、出来上がった評価ルーブリック（固定されたもの）
• 質の水準の異なる 2〜3 通の参照の回答
• 候補者を採点するすべての評価者と、45〜60 分の共有の時間
• 合意した解釈を書き残し、一団と共有できる場所

Step 1: 参照の回答を二つか三つ選ぶ

食い違いが目に見えるようになる回答を選んでください。はっきり強いもの、はっきり弱いもの、そして — 最も大切なことに — 本当に際どいもの。試行で同僚が書いた回答はよく働きますし、確認の期間の都合が許して目線合わせのあとに採点を始められるなら、早く届いた候補者の回答も使えます。

目線合わせが値打ちを示すのは、際どい回答においてです。優れたものと落第したものについては、誰の意見も一致します。一団が割れるのは、ある基準では強く、別の基準では危うい回答です。用意した参照のどれもその緊張を生まないなら、生むものを一つ書き起こしてください。

Step 2: 誰かが採点する前に、評価ルーブリックを一団に説明する

評価ルーブリックを一団で一緒に歩いてください。それぞれの基準、手がかりのある水準の記述、そしてその重みです。ねらいは基準についての共通の理解であって、どれかの回答についての理解ではありません。参照の話はまだしないでください。曖昧な手がかりの言い回しについての問いは、スコアが懸かっていない今のうちに出してもらいましょう。

SkillCort のマトリクスの採点の仕方も思い出してもらってください。基準ごとに、記述が回答に合う水準のカードを選ぶと、その水準のスコアが記録されます。最も大切な指示はこれです。良い答えとは何かという自分だけの感覚ではなく、書かれた手がかりに照らして採点してください。

Step 3: 参照を別々に採点する

評価者はそれぞれ、話し合いをせず、共有の評価ルーブリックを使って、すべての参照の回答を一人で採点します。独立していることがすべてです。この場が測るのは、一団が自然にどれだけ分かれるかであり、スコアが確定する前の相談は、その測定を壊します。全員に同じだけの静かな時間を与え、すべてのスコアがそろうまで突き合わせは待ってください。

基準ごとのスコアには、その水準を選んだ根拠となる回答の中の証拠を挙げた短いメモを添えてもらってください。SkillCort では、メモは証拠としてスコアに添えられます。この場では、それが「意見が違う」を「この手がかりを違うように読んでいる」に変えるもの — 実りのある食い違い — になります。

Step 4: 合計ではなく、基準ごとにスコアを突き合わせる

スコアを持ち寄り、基準ごとに比べてください。合計は話の筋を隠します。二人の評価者が、二つの基準を正反対に読みながら、似た全体のスコアに行き着くことがあります。それは目線が合っているのではなく、偶然です。基準ごとの差が、解釈の分かれ目を正確に示します。

開きのある基準では、食い違った評価者に自分の証拠のメモを読み上げてもらってください。メモは、その人が水準を選んだときに実際に何を見ていたのかを示します。数を議論するよりはるかに役に立ちます。ほとんどの開きは、いくつかの型のどれかに収まりますし、型を名指しすれば、何を直せばよいかが分かります。

• 二通りに読める曖昧な手がかり — 言葉の解釈を締める
• 隣の基準の証拠で採点している評価者 — 境目を述べ直す
• 過去の経験から持ち込まれた自分だけの基準 — 書かれた手がかりに戻る
• 際どい仕事についての本当の判断の違い — 取り決めを合意する

Step 5: 手がかりを合意し、すべての解釈を書き残す

それぞれの食い違いを、はっきりした合意に落としてください。この種の回答はどの水準に値するのか、そしてそれはなぜか。合意は共有の目線合わせのメモに書き残します。手がかりの明確化、基準どうしの境目の決まり、繰り返し現れる際どい場合の取り決めです。書き残されない合意は 1 週間で消えますし、あとから加わる評価者には決して届きません。

結び付いた評価ルーブリックは固定されたものなので、アセスメントの途中で行っているのは、手がかりの解釈を書き残すことであって、書き換えることではありません。それが、すでに評価された候補者にとっての採点の一貫性を保ちます。言葉づかいの本当の直しは、バンクの評価ルーブリックへ戻してください。次のアセスメントは、より鋭い版を結び付けられます。

Step 6: 参照をもう一度採点して、そろったことを確かめる

場を締めくくるとき、全員でもう 1 通を別々に採点してください。新しい参照があればそれを、なければ際どい回答をもう一度、書き残した合意を当てはめながら採点します。基準ごとの開きが目に見えて狭まっていれば、その一団は候補者の採点を始められるだけ目線が合っています。

ある基準でまだ一団が割れるなら、その問題を平均でならさないでください。割れが続くのは、手がかりか合意がまだ曖昧だということです。決着していない食い違いをすべての候補者のスコアへ送り込むより、その一つの基準にあと 10 分かけてください。

Step 7: 確認の期間のあいだ、ぶれの確認を予定する

目線合わせは薄れていきます。長い確認の期間のあいだに評価者はぶれます。強い回答が期待を書き換えて基準がじりじり上がることもあれば、疲れでゆるむこともあります。短いぶれの確認を計画してください。最近採点された回答を折々に選び、二人目の評価者が伏せた状態で採点し、この場と同じように基準ごとの差を突き合わせます。

AI の支援が自分の持ち場にとどまる場所でもあります。SkillCort の AI は要約と基準ごとのスコアの案を下書きでき、確認を速めます。しかしすべてのスコアは記名された人が確かめるか上書きしますし、ぶれの確認が確かめるのは人のほうです。決定が寄りかかるのは、その人たちの判断だからです。ぶれの確認で新しい食い違いが見つかったら、短くもう一度集まってください。