What you'll need
- Tamamlanmış ve onaylanmış değerlendirmeleri olan bir değerlendirme
- Yapılandırdığınız rubrik ve bölüm ağırlıklarına aşinalık
- Karara katılacak paydaşlar
- İncelenmiş ya da incelenmeye hazır güvenlik olayları
Step 1: Rol uyumunu hüküm değil, ağırlıklı bir başlangıç noktası sayın
Decision Board'daki başlık sayısı rol uyumudur: her adayın değerlendirme genelindeki ağırlıklı performansını yansıtan bir yüzde. Okumaya başlamak için doğru yerdir — alanı sıralar ve önce kimin dikkatinizi hak ettiğini gösterir — ve durmak için yanlış yerdir. Rol uyumu kanıtı özetler; karar değildir.
Birkaç puanla ayrılmış iki aday anlamlı biçimde sıralanmış değildir; daha yakından bakmak için bir davettir. Pano, yalnızca çubukların yüksekliğini değil performansın biçimlerini karşılaştırabilesiniz diye vardır ve aşağıdaki adımlar bunu nasıl yapacağınızı anlatır.
Step 2: Sayının nereden geldiğini bilin
Rol uyumu bir kara kutu değildir ve onu iyi okumak aritmetiğini bilmek demektir. Rubrikle puanlanan her görevde değerlendiriciler önce ölçüt başına ortalanır, sonra ölçütler rubrik ağırlıklarına göre birleşir. Görev puanları becerilere ve bölümlere, beceri ağırlığı × bölüm ağırlığıyla toplanır ve rol uyumu bu ağırlıkları yansıtır.
Otomatik puanlanan görevler puan üzerinden katkı verir; bir görevde hem cevap anahtarı hem rubrik varsa rubrik kazanır. Ve boş bir otomatik puan, görevin cevap anahtarı olmadığı ve elle inceleme gerektirdiği anlamına gelir — sıfır değil. Bir adayın rol uyumu tuhaf biçimde düşük görünüyorsa, sonuca varmadan önce çözülmemiş elle inceleme maddelerini kontrol edin.
Step 3: Herhangi bir puandan altındaki kanıta inin
Panodaki her puan bir kapıdır. İçine tıklayın ve altındaki kanıda varın: adayın gerçek görev çıktıları, değerlendiricilerin puanlarına iliştirdiği rubrik notları ve oturumun güvenlik zaman çizelgesi. Bu iniş, panoyu iyi okumanın temel alışkanlığıdır — sayı size nereye bakacağınızı, kanıt neye baktığınızı söyler.
Bir puan sizi hangi yönde olursa olsun şaşırttığında kullanın. Güçlü bir adaydaki düşük puan, bir değerlendiricinin belirli bir eksik hakkındaki notuna kadar inebilir; yüksek bir puan da kararınıza demir atmadan önce aynı incelemeyi hak eder. Yapay zekânın tasladığı bir özet ya da öneri katkı verdiyse kökeni kayda geçmiştir — ve puanı adı belli bir kişi onaylamış ya da geçersiz kılmıştır.
Step 4: Adayları yalnızca genel değil, yetkinlik bazında karşılaştırın
Genel sıralama önemli olan ödünleşimleri gizler. Adayları yetkinlik yetkinlik karşılaştırın: biri teknik uygulamada önde olabilirken bir diğeri yazılı muhakemede öndedir ve hangi boşluğun önemli olduğu katılacakları ekibe bağlıdır — panonun bilemeyeceği bir bağlam.
Ağırlıklandırma tercihlerinizin karşınıza çıktığı yer de burasıdır. Bölüm ağırlıkları (×N) ve beceri ağırlıkları rol uyumunu biçimlendirdi; yani genelde kazanan aday, en önemli ilan ettiğiniz yetkinliklerde kazandı. Yetkinlik bazlı görünüm sezgilerinizle sürekli çelişiyorsa buna bakmaya değer — ya sezgileriniz kanıtla düzeltiliyordur ya da ağırlıklarınız bir sonraki değerlendirme için yeniden düşünülmelidir.
- Her finalist en ağır ağırlıklı yetkinlikte nerede duruyor?
- Birinin genel puanını tek bir güçlü bölüm mü taşıyor?
- Yakın genel puanlar zıt yetkinlik profillerini mi gizliyor?
- Belirleyici yetkinliğin arkasındaki kanıt inişte ayakta kalıyor mu?
Step 5: Risk bayraklarını insan incelemesi için bağlam olarak okuyun
Güvenlik sinyalleri — bir kilitli mod ihlali, ikinci ekran tespiti, bir kopyala/yapıştır olayı — panoda risk bayrakları olarak görünür. Bunlar insan incelemesi için bağlamdır, asla otomatik eleme değil. Bir bayrak "bu oturuma daha dikkatli bakın" demektir ve güvenlik zaman çizelgesi tam olarak ne olduğunu ve ne zaman olduğunu gösterir; böylece olayı adayın gerçek işine karşı yargılayabilirsiniz.
Her bayrağı kendi değeri üzerinden inceleyin: uzun bir görev sırasındaki kısa bir odak kaybı, her zor sorunun etrafında toplanan bir olay örüntüsünden çok farklı okunur. Sonuçlandırmanızı her hâlükârda kaydedin — belgelenmiş sonuçlandırmaları olan bayraklar karar kaydının parçası olur ve bu hem adayı hem süreci korur.
Step 6: Panonun dışındaki kişiler için aday kanıt raporunu kullanın
Bir işe alım yöneticisinin ya da müşterinin, Decision Board'ı gezmeden bir adayın sonuçlarını görmesi gerektiğinde aday kanıt raporunu üretin — kendi markanızla white-label yapılabilen, yazdırmaya hazır bir PDF. Adayın performansını ve arkasındaki kanıtı, bir paydaşın kendi başına okuyabileceği bir biçimde paketler.
Aday başına konuşmalar için buna uzanın: işe alım yöneticisiyle bir değerlendirme toplantısı, bir müşteri sunumu, tek bir finalist hakkında bir panel tartışması. Denetim paketinden bilinçli olarak daha dardır — tek aday, insan okuması için sunulmuş; savunulabilirlik kaydının tamamı değil.
Step 7: Karar kaydedildiğinde denetim paketini dışa aktarın
Denetim paketi, farklı bir soru için kurulmuş diğer dışa aktarımdır: "bu aday nasıl yaptı?" değil, "bu kararın nasıl verildiğini savunabilir miyiz?" Değerlendirme yapısını ve ağırlıklarını, kullanılan rubrik sürümlerini, adı belli değerlendiricisi ve zaman damgasıyla her puanı, sade dille puanlama yöntemini, yapay zekâ kökenini, sonuçlandırmalarıyla güvenlik olaylarını ve karar kaydını içeren, kendi kendine yeten tek bir karar dosyasıdır.
Karar kesinleştiğinde dışa aktarın — uyum için, değerlendirmeyi ısmarlayan bir müşteri için ya da yalnızca gelecekteki hâlinizin teşekkür edeceği kalıcı kayıt için. Kendi kendine yettiği için, aylar sonra kimse değerlendirmenin o zaman neye benzediğini yeniden kurmadan soruları yanıtlar.
Step 8: Kararı gerekçesiyle birlikte kaydedin
Döngüyü kararın kendisini kaydederek kapatın: kim seçildi ya da ilerletildi ve gerekçe kanıt terimleriyle — hangi yetkinlikler belirledi, bayraklar nasıl sonuçlandırıldı, daha düşük rol uyumlu bir aday ilerlediyse neden. Her puandaki adı belli kişiler kayda hesap verebilirliğini zaten verir; karar kaydı onu tamamlar.
Bu son adım, bir değerlendirmeyi bir puanlama alıştırmasından bir karar dosyasına çeviren şeydir. Önceki her adım — ağırlıklar, rubrikler, kalibrasyon, inişler — bu kaydın adaylar arasında tutarlı ve sonradan açıklanabilir olması için vardır. Gerekçeyi bir gün bir aday ya da bir denetçi okuyacakmış gibi yazın; çünkü denetim paketi dışa aktarıldığında gerçekten okuyabilirler.
Pro tips
- Adayları karşılaştırmadan önce elle inceleme bekleyen her maddeyi sonuçlandırın — boş otomatik puanlar sıfır değil, puanlanmamış iştir ve siz izin vermedikçe hiçbir şeyi çarpıtmaz.
- Panoyu açmadan önce paydaşlarla hangi rol uyumu farkının anlamlı sayıldığında anlaşın; böylece sayı sessizce kararın yerine geçmez.
- Hiçbir şey şaşırtıcı görünmese bile her finalistte en az bir puana inin; alışkanlık, istisnalardan daha fazlasını yakalar.
- Risk bayraklarını karar toplantısından önce sonuçlandırın ve belgeleyin — odadaki sonuçlandırılmamış bir bayrak veri noktası değil söylenti olur.
- Konuşmalar için kanıt raporunu, kayıt için denetim paketini kullanın; bir işe alım yöneticisine denetim paketi göndermek hikâyeyi evrakın altına gömer.