公開の前にアセスメントを下見して確かめる

What you'll need

• ビルダーで組み立てた下書きのアセスメント（セクション、ページ、ブロック）
• 採点するすべての課題に結び付いた評価ルーブリックか答えの基準
• 携帯電話、または幅の狭いブラウザーの窓（画面の小さい場合を見るため）
• 短い試行に付き合ってくれる同僚が 1〜2 人

Step 1: ビルダーの見出しから候補者の下見を開く

確認はいつも、ビルダーの見出しにある候補者と同じ画面の下見から始めてください。下見は、候補者が見るのとまったく同じようにアセスメントを描き出します。同じページ、同じブロック、同じ案内、同じ時計です。ですからここで捕まえたものは、回答を失う前に直せる、本当の問題です。

自分の書いたものを流し読みしたくなる気持ちは抑えてください。この課題を書いたのはあなたなので、候補者には埋められない隙間を、あなたの頭は勝手に埋めてしまいます。その職務を知らないつもりですべての案内を読み、押し進めるのではなく、すべての設問に本気で答えてください。ねらいは見て回ることではなく、体験することです。

Step 2: 画面の大きい端末で、実際に答えながらすべてのページを歩く

ページを順に進み、それぞれの課題を実際にやり遂げてください。文章の回答を打ち、表の入力を埋め、ファイルを提出し、求められているなら音声や映像も録ります。操作を伴う設問の種類は、目で追うだけでは決して見えない形で壊れます。当たり前の形式のファイルを受け付けない提出、始まりの状態が分かりにくいコードの課題、候補者が見落としかねない録音のブロック。

左右に並べた画面にはとくに気を配ってください。題材と設問が一緒に見えること、長い文書がそれぞれ独立してスクロールすること、答える前に題材を覚えなければならなくなっていないことを確かめます。ここでの配置の問題は、その課題が測るものを静かに変えてしまいます。設計したはずのスキルから、短期記憶と忍耐へと。

• どの案内も、チームの外の人にとって曖昧でないこと
• 提出、録音、コードのブロックが、現実味のある回答を受け付けること
• 題材と設問が、一つの画面で一緒に読めること
• 必須の欄と画面の移動が、どのページでも思ったとおりに動くこと

Step 3: 携帯電話でも同じように歩く

同じ下見を、携帯電話か幅の狭いブラウザーの窓でも走らせてください。候補者がいつも机に向かっているとは限りませんし、広い画面では問題のない配置が、小さな画面では題材を押しやり、表を切り落とし、提出のボタンを果てしないスクロールの下に沈めることがあります。

その課題が本当に画面の大きい端末を要するなら — コードを書く環境、左右に並べた長い文書の読み込み — 候補者が受験の途中で気づくのではなく、アセスメントの案内にはっきりそう書いてください。先に一文で期待を伝えるほうが、いらだった中途半端な回答よりはるかに安く済みます。

Step 4: 現実味のある速さで解き、制限と突き合わせる

現実味のある働く速さでアセスメントをやり遂げ、かかった時間を、ビルダーで設定した全体とページごとの制限と比べてください。そのうえで余裕を足します。あなたはすでに中身を知っていますし、すべてを初めて読む候補者は、あなたよりはっきり遅くなります。

全体だけでなく、ページごとの制限も一つずつ確かめてください。見積もりの足りないページが一つ — たいていは最も中身の濃いワークサンプルのページです — あるだけで、うまく時間を整えたはずのアセスメントが台無しになります。一つの課題への時間の圧は、注意深い候補者を最も強く罰するからです。あなたにさえ急かされて感じられたページは、他の誰かが見る前に伸ばしてください。

Step 5: 評価ルーブリックと答えの基準を、課題と突き合わせて確かめる

採点するそれぞれの課題を開き、採点の設定が、いま実際に書かれている課題と合っているかを確かめてください。三度の修正の前に下書きした課題ではありません。自動で採点する設問では、答えの基準が正しい選択肢に印を付けているか、点の値が意図どおりかを確かめます。答えの基準のない課題の自動採点は空になり、手作業の確認を待つことを覚えておいてください。黙って 0 点になるわけではありませんが、誰かが扱うまで採点されないままそこにあります。

評価ルーブリックで採点する課題では、それぞれの基準を設問文と読み比べ、この設問文への強い回答が、本当にすべての基準を示せるかを確かめてください。評価ルーブリックは結び付けた時点で固定されるので、言い回しを直せるのは今です。あとでバンクを直しても、公開されたアセスメントには届きません。

Step 6: 公開のチェックリストを片づける

公開のチェックリストは、プラットフォームの最後の門です。必要な設定が済むまで公開を止め、採点の設定の抜けやセクションの設定の不足などを指摘します。緑の印への最短の道を探すのではなく、挙げられた項目を一つずつ片づけてください。

チェックリストは天井ではなく、床として扱ってください。それが確かめるのは構造としての完全さであり、案内が明快かどうか、時間が人にやさしいかどうかは判断できません。それが前の段のためにあった仕事です。チェックリストが片づき、手作業の確認も終えたら、試行の準備ができています。

Step 7: 社内の 1〜2 人に試してもらう

候補者が目にする前に、同僚 1〜2 人に、実際の条件のもとで端から端まで受けてもらってください。本物の配信のリンク、本物の制限時間、そして使うつもりの守りの設定です。そうすれば同意と事前確認の体験も試されます。組み立てを手伝っていない人を選んでください。新しい目は、あなたの目には見つけられないものを見つけます。

体験が新しいうちに、すぐ振り返ってください。そのうえで、その回答をあなたの評価ルーブリックで採点し、評価ルーブリックの言葉が理屈の上だけでなく本物の成果物に対しても働くかを、最後に確かめます。試行で出たものを直し、変えたところは下見をやり直し、そのうえで初めて招待を送ってください。

• 案内が曖昧、あるいは意外に感じられたのはどこか
• 最も時間に追われたページはどれか
• 事前確認と守りの案内は、重要度に見合って感じられたか
• 試行の回答を、評価ルーブリックですっきり採点できたか