記述と構造化された回答の設問

自由記述

自由記述は、1 行の定義や顧客への返信から、ケースの分析の全体や構造化された提言まで、自由な形の記述の回答のためのものです。短い設問は確認を速く保ちます。評価者が長い文章から要点を探すのではなく、回答ごとに数行を読めばすむからです。

ケースに基づく設問では、自由記述をサイドバーの配置と組み合わせて、候補者が書くあいだ説明資料を表示し続けてください。受け入れられる答えの範囲が狭いとき — 用語、正確な値、文の補完 — は、自由記述を完全一致、部分一致、正規表現の規則で自動採点できます。論理や表現を測るときは、評価ルーブリックに基づく確認に回せます。

数値と表の入力

数値入力は 1 つの数値をとらえるので、計算、見積もり、そして過程よりも結果が問われる定量的な思考に向いています。正解は許容の幅を伴う正しい値を取るので、丸めの違いで候補者がその設問を落とすことはなく、結果は候補者どうしでひと目で比べられます。

表の穴埋めは、格子の中に構造化されたデータをとらえます。答えが自然に表の形になるとき — 予定表、予算の内訳、分類された一覧 — に、そして候補者に文章でデータを説明させるのではなくセルを埋めさせたいときに使ってください。表の設問はあなたの正解に照らしてセルごとに自動採点されるので、正解を設定した表には手動での確認がまったく要りません。個々のセルを given として指定することもできます。その文字列は候補者にあらかじめ埋められた読み取り専用の状態で示されるので、部分的に完成した表 — 例示の行、既知の値 — を渡して、空欄だけを求められます。行と列の見出しも問えます。見出しを候補者が埋める空欄に変え、あなたの文字列を正解にします。また、隣り合うセルをより大きな領域に結合して、現実的な表の形にできます。

組み合わせと並べ替え

組み合わせは、2 つの列にまたがって項目を対にすることを候補者に求めます — 用語と定義、問題と解決策、道具と使いどころです。既定では、すべての行が対にされたときに回答が完了しますが、組み合わせの上限と下限を設定できます。下限は候補者が早めに終えることを許し、上限は達した時点で残りの行をロックします。その規則は設問の下に表示されます。並べ替えは、手順を正しい順に並べることを求めるので、手続きの知識に向いています。エスカレーションの経路、障害切り分けの流れ、手続きの段階などです。どちらの種類もそれぞれの正解に照らして自動採点されるので、記憶の水準の難しさと、確認の手間ゼロを両立します。

これらの設問はどう採点されるか

自動採点は正解によって動きます。数値の設問は許容の幅を伴う正しい値を、表の設問はセルごとの正解を、組み合わせと並べ替えはそれぞれの正しい並びを、そして自由記述は任意の完全一致、部分一致、正規表現の規則を取ります。正解のない設問は自動採点が null になります。null は「手動での確認が必要」という意味であって、0 点ではありません。自動採点が空であることが候補者に不利を与えることはなく、その回答を人のために示すだけです。

それに合わせて確認の余力を見込んでおいてください。規則のない記述の回答は、たいてい評価者が、多くは評価ルーブリックに照らして採点します。そして記録されたすべてのスコアには、記名された評価者とタイムスタンプが付きます。課題に評価ルーブリックのスコアと自動採点のスコアの両方が付いた場合は、評価ルーブリックのスコアが優先されます。