評価はどう進むか
どの回答も、アセスメントに割り当てられた評価ルーブリックに照らして採点されます。評価ルーブリックには 2 つの種類があります。水準に基づく matrix と、スコアを直接入力する classic です。評価ルーブリックは共通なので、すべての評価者が同じ基準と同じ定義から作業します。割り当てられた評価ルーブリックは固定されたスナップショットです。あとから元の評価ルーブリックを編集しても、すでにそれを使っているアセスメントで評価者が見るものが変わることはありません。
matrix の評価ルーブリックで採点する
matrix の評価ルーブリックは、それぞれに名称とスコアを持つ水準と、基準ごと・水準ごとの行動の記述を定めます。採点するには回答を読み、候補者が実際に行ったことにいちばんよく合う記述の水準のカードを選びます。その水準のスコアが、その基準に対して記録されます。これによって採点は、勘ではなく観察できる行動に結び付けられ、評価者どうしの意見の相違も具体的で、話し合えるものになります。
classic の評価ルーブリックで採点する
classic の評価ルーブリックでは、基準ごとにスコアを直接入力します。基準の定義に照らして、その回答を表すスコアを入力してください。スコアを合わせるときには基準の重みが効くので、重みの大きい基準は、小さい基準よりも課題のスコアを大きく動かします。なお、課題に評価ルーブリックのスコアと自動採点のスコアの両方がある場合は、評価ルーブリックのスコアが優先されます。
証拠としてのメモ
評価者のメモは、スコアと並んで課題ごとの評価に付くので、理由が数字とともに移動します。ある回答がなぜその水準になったのかを説明する短いメモは、裸の数字を、根拠を示せる判断に変えます。これはのちに候補者の証拠レポートと監査パックに現れます。記録に残るすべてのスコアには記名された評価者とタイムスタンプが付くので、決定の記録は常に、誰が何を、いつ判断したのかを示します。
同じ回答を複数の評価者が見るとき
複数の評価者が、同じ回答をそれぞれ独立に採点できます。それぞれの基準の中でスコアが平均され、基準は評価ルーブリックの重みによって課題のスコアへ合わさり、それがスキルとセクションの重みを通って職務適合度のパーセントへ積み上がります。独立した採点と平均は、一人の評価者の偏りを和らげる一方で、個別の判断はすべて記録の中に見える形で残します。
At a glance
- 評価者は共通の評価ルーブリックに照らして採点するので、どの候補者も同じ基準で判断されます。
- matrix の評価ルーブリック: 記述が回答に合う水準のカードを選びます。その水準のスコアが記録されます。
- classic の評価ルーブリック: 基準ごとに数値のスコアを入力します。
- 評価者のメモは課題ごとの評価に証拠として付き、すべてのスコアには記名された評価者とタイムスタンプが付きます。
- 同じ回答を複数の評価者が採点したときは、それぞれの基準の中でスコアが平均されます。