資格認定の試験を作る

What you'll need

• 文書化された認定の基準: 何の能力を、どの水準で証すのか
• 最初の候補者が受ける前に合意された合格の条件
• 受験ごとの変化を支えられるだけの大きさの設問の集まり
• この重みならどの監督の手立てが見合うかについての、プログラムの担当者の承認

Step 1: まず基準と合格の条件を定める

何かを組み立てる前に、その証明書が何を証すのかを書き出してください。扱う能力、求める到達の水準、そして合格の条件です。合格が全体の閾値を意味するのか、各セクションでの最低点を意味するのか、その両方なのかを、いま決めてください。結果を見てから引いた合格ラインは説明できません。前もって文書にしてあるものが基準です。

それぞれの能力を、採点の重みを明示したセクションに対応づけてください。重みは最終のスコアに流れ込むので、それ自体が基準の一部です。「安全手順」がスコアの 10 パーセントを占める証明書と、40 パーセントを占める証明書は、証しているものが違います。重みの根拠も一緒に記録してください。

Step 2: 問題バンクに設問の集まりを作る

資格認定のための専用のフォルダを作り、能力ごと、難しさの段ごとに、そのフォルダに閉じたタグを用意します。細かな判断が要るものは手で書き、すでに持っている多肢選択の設問は貼り付けで取り込み、幅を広げる下書きには AI での生成を使ってください。シラバスや講座の資料を根拠の文書として読み込ませれば、1 回につき最大 100 問まで作れます。

AI が生成した設問は、完成した設問ではなく下書きとして扱ってください。集まりに入れる前に、正確さ、説明できる正解が一つに定まること、そして基準との対応を一つひとつ確かめます。資格認定では、悪い設問はただの雑音ではありません。誰かが正当に異議を申し立てられる結果になります。

Step 3: 種を用いた並べ替えで、同等版として組み立てる

能力の対応づけに合わせて、試験をセクション、ページ、ブロックとして組み立て、フォルダ、タグ、種類の絞り込みが使える選択画面から集まりの設問を取り込みます。そのうえで、設計が許す範囲でセクション、ページ、ブロックの各段の並べ替えを有効にしてください。受験ごとに種から決まる順序になるので、同じ並びの試験を二人が受けることはありません。

別々の試験の文書を管理せずに同等版を得るやり方が、これです。中身と難しさは一定で、順序が受験ごとに変わり、種によってそれぞれの候補者の体験は最後まで一貫します。位置が設問を指し示さなくなれば、候補者のあいだで受け渡される答えの一覧は、その価値の多くを失います。

Step 4: 厳密で、事前に伝えられた制限時間を設ける

全体の制限時間は、当て推量ではなく時間を計った試行から導いてください。候補者と同じ画面の下見で自分が最後まで解き、測ったうえで余裕を足します。資格認定では、同じ集団のすべての候補者に対して制限は同一でなければなりません。比べられることも、結果に意味を持たせているものの一部です。

あとの内容が前の答えを明かしてしまう場合や、時間内にこなせること自体が基準の一部である場合は、ページごとの制限時間も足してください。仕組みを覚えておいてください。ページの時間が尽きると候補者は次へ送られ、そのページは閉じます。全体の制限、ページごとの制限、そして閉じる挙動は、候補者への案内にはっきりと書いてください。

Step 5: 重要度に見合った監督を設定する

配信の設定では、その証明書の重みに合わせて守りを強めます。本物の資格であれば、たいていは違反の上限を伴う全画面の Lockdown、複写と貼り付けの遮断、二つ目の画面の検知 — 追加のディスプレイがあれば開始を止め、試験中の接続には印を付けます — 、カメラの録画、画面の録画、そして身分証の確認を意味します。端末をこちらで管理できる場合は Safe Exam Browser も使えます。

Lockdown の違反の上限は、意図をもって設定してください。違反の最大回数、1 回の離脱で許される秒数、全画面の外にいられる合計の秒数です。上限を超えると受験は強制的に提出され、監査のイベントが残ります。これは候補者に伝えてあった設定上の上限であって、判定ではありません。結果についてどうするかを決める前に、人がその受験と証拠を確認します。

• 違反の上限（回数、1 回あたりの秒数、合計の秒数）を明示した全画面の Lockdown
• 複写と貼り付けの遮断、そして二つ目の画面の検知
• 確認のためのカメラと画面の録画。自動の判定のためではありません
• 受験をその人に結び付けるための身分証の確認
• 端末を完全に管理している環境のための Safe Exam Browser

Step 6: 同意の画面で包み隠さず伝える

どの候補者も始める前に同意と事前確認の画面を通り、そこには何が見られているのかが正確に書かれます。録画、Lockdown の決まり、違反の上限、そして本人の確認です。ここをやわらげたり、奥に隠したりしないでください。決まりを知っている候補者は意味のある同意ができ、環境をきちんと整えられ、あとから、ひそかに監視されていたと言うこともありません。

事前確認はデータの質も守ります。カメラ、マイク、ディスプレイの確認は時計が動き出す前に行われるので、技術的な不具合は試験の途中の不正防止の印ではなく、直せる準備の問題として現れます。包み隠さない画面は、説明できる試験に付け足された気配りではありません。試験を説明できるものにしているものの一部です。

Step 7: すべての受験を同じ基準に照らして採点する

自由記述の設問には、配信の前に評価ルーブリックを結び付けてください。結び付けた時点でその内容が固定されるので、次の周期に向けて評価ルーブリックを直しても、その集団のすべての候補者は文字どおり同じ基準で測られます。同じ出来ばえに対して違う評価者が同じスコアに行き着くよう、水準の記述には行いの手がかりを添えてください。

AI は要約と基準ごとのスコアの案を下書きでき、モデルと版は記録されますが、一つひとつのスコアは記名された人が確かめます。第一段で文書にした合格の条件は、すべての受験に対して機械的に、同一に適用してください。配信で付いた不正防止の印は、実際の取り組みと並べて人が確認します。印は決定のための文脈であって、決定そのものではありません。

Step 8: 記録として監査パックを書き出す

認定した候補者にも、認めなかった候補者にも、監査パックの書き出しが説明できる記録をまとめます。何を問われ、何を提出し、固定された評価ルーブリックと確定したスコア、評価者が誰か、設定された閾値に照らした不正防止のイベント、そして使われた提案についての AI のモデルと版の記録です。結果に異議が出たときや、その証明書がどう得られたのかを規制当局に問われたときに差し出すのが、これです。

候補者に向けては、印刷でき、PDF にでき、white-label の候補者の証拠レポートを添えてください。監査パックは、問われたときだけでなく、集団ごとに決まりごととして保管してください。決定のときにまとめた記録は、一年後に組み立て直した記録よりはるかに価値があります。