What you'll need
- Belgelenmiş bir sertifikasyon ölçütü: hangi yetkinlikleri, hangi düzeyde belgelediği
- Hiçbir aday sınava girmeden önce mutabık kalınmış bir geçme ölçütü
- Denemeler arasında çeşitliliği destekleyecek kadar büyük bir madde havuzu
- Riskin hangi gözetim önlemlerini gerekçelendirdiğine dair program sahibinden onay
Step 1: Önce ölçütü ve geçme koşullarını tanımlayın
Bir şey kurmadan önce sertifikanın neyi belgelediğini yazın: kapsanan yetkinlikler, gereken performans düzeyi ve geçme ölçütü. Geçmenin genel bir eşik mi, her bölümde bir asgari mi yoksa ikisi birden mi olduğuna şimdi karar verin. Sonuçlar görüldükten sonra çizilen bir geçme çizgisi savunulamaz; önceden belgelenmiş olan bir ölçüttür.
Her yetkinliği açık bir puanlama ağırlığı olan bir bölüme haritalayın. Ağırlıklar nihai puana akar; yani ölçütün kendisinin parçasıdır — "güvenlik prosedürleri"nin puanın %10'unu taşıdığı bir sertifika, %40'ını taşıdığından farklı bir şey belgeler. Gerekçeyi ağırlıkların yanına kaydedin.
Step 2: Bankada bir madde havuzu kurun
Sertifikasyon için, yetkinlik ve zorluk katmanı başına klasöre özgü etiketleri olan ayrı bir klasör oluşturun. İnce ayrım gerektiren her şeyi elle yazın, elinizde zaten olan çoktan seçmeli soruları hızla yapıştırın ve yapay zekâ üretimini — müfredatınızı ya da eğitim materyalinizi dayanak belgesi olarak yükleyerek — genişlik taslamak için kullanın; koşu başına 100 maddeye kadar.
Yapay zekâyla üretilmiş maddeleri bitmiş sorular değil taslak sayın. Havuza girmeden önce her birini doğruluk, savunulabilir tek bir doğru cevap ve ölçütle hizalanma açısından inceleyin. Bir sertifikasyonda kötü bir madde yalnızca gürültü değildir — birinin haklı olarak itiraz edebileceği bir sonuçtur.
Step 4: Katı ve bildirilmiş süre sınırları koyun
Toplam süre sınırını tahminle değil, süre tutulmuş pilot koşulardan çıkarın — "Aday olarak önizle"yi kullanıp tam bir denemenin süresini kendiniz ölçün ve ölçülmüş bir pay ekleyin. Bir sertifikasyonda sınır, bir kohorttaki her aday için birebir aynı olmalıdır; karşılaştırılabilirlik, sonucu anlamlı kılan şeyin parçasıdır.
Sonraki malzemenin önceki cevapları ele verebileceği ya da süreli performansın ölçütün parçası olduğu yerlere sayfa başına süre sınırları ekleyin. Mekaniği unutmayın: bir sayfanın süresi dolduğunda aday ilerletilir ve sayfa kilitlenir. Toplam sınırı, sayfa sınırlarını ve kilitlenme davranışını aday talimatlarında açıkça belirtin.
Step 5: Gözetimi riskle orantılı yapılandırın
Teslimat ayarlarında güvenliği sertifikanın değerine göre yükseltin. Gerçek bir yeterlilik belgesi için bu genellikle ihlal sınırları olan tam ekran kilidi, kopyala/yapıştır engeli, ikinci ekran tespiti — fazladan bir ekran algılanırsa başlamayı engeller ve sınav ortasındaki bağlantıları işaretler — kamera kaydı, ekran kaydı ve bir kimlik kontrolü demektir. Makineleri sizin yönettiğiniz yerlerde Safe Exam Browser da kullanılabilir.
Kilitli mod ihlal sınırlarını bilinçli yapılandırın: azami ihlal sayısı, ayrılma başına izin verilen saniye ve tam ekran dışında toplam saniye. Bir üst sınırı aşmak, bir denetim olayıyla birlikte denemeyi zorunlu teslim eder — bu, adaya söylenmiş yapılandırılmış bir sınırdır, bir hüküm değil. Sonuç hakkında herhangi bir karar verilmeden önce yine bir insan denemeyi ve kanıtını inceler.
- Açık ihlal üst sınırları (sayı, ayrılma başına saniye, toplam saniye) olan tam ekran kilidi
- Kopyala/yapıştır engeli ve ikinci ekran tespiti
- İnceleme için kamera ve ekran kaydı; otomatik yargı için değil
- Denemeyi kişiye bağlamak için kimlik kontrolü
- Tam yönetilen ortamlar için Safe Exam Browser
Step 6: Rıza kapısında şeffaf olun
Her aday başlamadan önce bir rıza ve ön kontrol kapısından geçer ve bu kapı tam olarak neyin izlendiğini belirtir: kayıtlar, kilitli mod kuralları, ihlal sınırları ve kimlik doğrulaması. Bunu yumuşatmayın ya da gömmeyin. Kuralları bilen adaylar anlamlı biçimde rıza verebilir, ortamlarını düzgün hazırlayabilir ve sonradan gizlice izlendiklerini iddia edemez.
Ön kontrol veri kalitenizi de korur — kamera, mikrofon ve ekran kontrolleri saat başlamadan yapılır; böylece teknik arızalar sınav ortası güvenlik bayrakları olarak değil, düzeltilebilir kurulum sorunları olarak ortaya çıkar. Şeffaf bir kapı, savunulabilir bir sınavın üstüne eklenen bir nezaket değildir; sınavı savunulabilir kılan şeyin parçasıdır.
Step 7: Her denemeyi aynı ölçüte göre puanlayın
Açık uçlu maddeler için rubrikleri teslimattan önce iliştirin — her rubrik iliştirildiğinde bir anlık görüntüye donar; böylece bir sonraki döngü için rubriği iyileştirseniz bile kohorttaki her aday tam anlamıyla aynı ölçütlere göre ölçülür. Farklı değerlendiricilerin aynı performansta aynı puana varması için çıpalanmış düzey tarifleri kullanın.
Yapay zekâ özet ve ölçüt düzeyinde puan önerileri taslayabilir — model ve sürüm kayda geçer — ama her puanı adı belli bir insan onaylar. Birinci adımda belgelediğiniz geçme ölçütünü her denemeye mekanik ve aynı biçimde uygulayın. Teslimattan gelen güvenlik bayrakları esas işle birlikte bir insan tarafından incelenir — bayrak, bir karar için bağlamdır; asla kararın kendisi değil.
Step 8: Kayıt olarak denetim paketini dışa aktarın
Sertifikalandırılan — ya da reddedilen — her aday için denetim paketi dışa aktarımı savunulabilir kaydı toplar: kendisine ne soruldu, ne gönderdi, rubrik anlık görüntüleri ve onaylanmış puanlar, değerlendirici kimlikleri, yapılandırılmış eşikleriyle birlikte güvenlik olayları ve kullanılan öneriler için yapay zekâ model ile sürüm kayıtları. Bir sonuca itiraz edildiğinde ya da bir düzenleyici sertifikanın nasıl kazanıldığını sorduğunda sunduğunuz şey budur.
Adaya dönük taraf için bunu aday kanıt raporuyla eşleştirin — yazdırılabilir, PDF'e hazır ve white-label. Denetim paketini yalnızca itiraz geldiğinde değil, rutin olarak kohort başına arşivleyin; karar anında toplanmış bir kayıt, bir yıl sonra yeniden kurulmuş olandan çok daha değerlidir.
Pro tips
- İlk kohorttan önce tüm sınavı gerçek teslimat ayarlarıyla iç ekiple pilot yapın — gözetim yanlış yapılandırmaları yalnızca gözetim altında görünür.
- İhlal sınırlarını ideallere değil insanlara göre boyutlandırın: bir bildirim afişi ya da kazara bir kaydırma bütçe tüketmeli, denemeyi bitirmemeli.
- Madde havuzunu kohortlar arasında büyütmeyi sürdürün ve sızan ya da düşük performans gösteren maddeleri emekliye ayırın; durağan bir havuz çürür.
- Geçme ölçütünü ve bölüm ağırlıklarını yalnızca platformda değil program kayıtlarınızda da belgeleyin — itirazlar belgelerden yanıtlanır.
- Zorunlu teslimin tek başına bir eleme sayılmasına asla izin vermeyin; herhangi bir sonuç kesinleşmeden önce bir insan denemeyi, kayıtları ve denetim olaylarını inceler.