Çok değerlendiricili bir paneli kalibre edin

Adım 1: İki ya da üç referans yanıt seçin

Kalibrasyonun ham maddeye ihtiyacı var: panelin birlikte puanlayabileceği gerçek yanıtlar. Görmeyi beklediğiniz aralığı kapsayan iki ya da üç tamamlanmış iş örneği seçin — açıkça güçlü biri, ortada biri, açıkça zayıf biri. Takım arkadaşlarından gelen pilot yanıtlar işe yarar; önceki bir işe alım turundan anonimleştirilmiş yanıtlar daha da iyi çalışır, çünkü gerçek adayların dağınıklığını taşırlar.

Bir müşteri destek rolünde güçlü bir referans, müşteriye anlayış gösteren, bir fatura hatasını doğru düzelten ve net bir sonraki adım koyan bir yanıt olabilir. Kalibrasyonun hakkını verdiği yer ortadakidir: belki sorunu çözen ama soğuk açan bir yanıt ya da sıcak olan ama iade tarihi konusunda fazla söz veren bir yanıt. Paneller uçlarda nadiren anlaşmazlığa düşer — ortada düşerler.

Dağıtmadan önce özgün yazarı belli eden her şeyi çıkarın ve her referansı, canlı yanıtların geleceği biçimde sunun. Panel bir isme ya da bir takım arkadaşının itibarına değil, işe tepki vermelidir; referanslar gerçek aday gönderimlerine ne kadar yakın hissettirirse kalibrasyon asıl incelemeye o kadar iyi aktarılır.

• Bir güçlü, bir orta, bir zayıf yanıt — en çok ortadaki önemlidir.
• Pilot ya da anonimleştirilmiş geçmiş yanıtlar kullanın; asla canlı bir adayınkini değil.
• Gerçek adayların tamamlayacağı aynı görevi kapsayın.
• Paylaşmadan önce isimleri ve tanımlayıcı ayrıntıları çıkarın.

Adım 2: Rubriğe göre bağımsız puanlayın

Referans yanıtları ve rubriği her değerlendiriciye tek bir kuralla gönderin: yalnız puanlayın, ölçüt ölçüt gidin ve her puan için tek satırlık bir gerekçe yazın. Tartışma yok, ortak belge yok, göz atma yok. Bağımsızlık işin bütün noktasıdır — bir değerlendirici bir başkasının sayılarını gördüğü anda, uyumu ölçmeye başlarsınız, mutabakatı değil.

Her değerlendiriciden önce genel bir izlenim oluşturmak yerine her ölçütü ayrı puanlamasını isteyin. Bir iç satış keşif görüşmesi yanıtı, sıcak ilişkide yüksek ama yeterlilik sorularında düşük olabilir; tek bir içgüdüsel puan bu ayrımı bulanıklaştırır. Gerekçe satırı değerlendiricileri kanıtı göstermeye zorlar — "bütçeyi sordu ama zamanlamayı hiç sormadı" — tartışma adımının üzerinde yürüyeceği şey de budur.

Bir ya da iki günlük bir süre koyun ve alıştırmayı herkesin takvimine saygı gösterecek kadar kısa tutun — her biri on ila on beş dakikalık üç referans makul bir istektir. Kalibrasyon hızla ivme kaybeder; her puanın, yanıtlar her değerlendiricinin aklında hâlâ tazeyken gelmesini istersiniz.

Adım 3: Ölçüt bazlı farkları karşılaştırın

Puanları tek bir görünümde toplayın: satırlar ölçütler, sütunlar değerlendiriciler, referans yanıt başına bir ızgara. Kimin "doğru" puanladığını aramıyorsunuz — henüz bir cevap anahtarı yok. Farkları arıyorsunuz: panelin bir düzeyden fazla ayrıştığı ölçütler ya da iki değerlendiricinin sürekli diğerlerinin üstünde veya altında durduğu yerler.

Örüntüler size tek tek boşluklardan çoğunu anlatır. Bir değerlendirici üç referansın hepsinde her üslup ölçütünü bir düzey daha düşük puanlıyorsa, "profesyonel"i "resmî" diye okuyor, diğerleri ise "sıcak" diye okuyordur. Panelin tamamı bir muhakeme ölçütünde ayrışıyorsa — diyelim ki bir iade talebini üst kademeye taşımak iyi politika sezgisi mi yoksa sahiplenmeme mi — rubrik tarifi muğlaktır ve tartışmanın insanları değil sözcükleri düzeltmesi gerekir.

• Puanların bir rubrik düzeyinden fazla yayıldığı her ölçütü işaretleyin.
• Bir değerlendiricide tüm referanslar boyunca sistematik cömertlik ya da sertlik arayın.
• Rubrik muğlaklığını (herkes ayrışıyor) yorum kaymasından (tek kişi ayrışıyor) ayırın.

Adım 4: Panel çıpalarda anlaşana kadar tartışın

Paneli bir çalışma oturumunda bir araya getirin — üç referans için genellikle bir saat yeter. İşaretlenmiş farkları teker teker gezin. Her değerlendirici puanını hangi kanıtın sürüklediğini açıklar, sonra panel hangi okumanın rubriğin niyetine uyduğuna karar verir. Her tartışmanın çıktısı bir çıpadır: "yazılı açıklıkta 3 böyle görünür ve nedeni şudur."

Konuşmayı kıdem üzerinden değil kanıt üzerinden yürütün. İşe alım yöneticisinin okuması kendiliğinden kazanmaz; kazansaydı zaten panele ihtiyacınız olmazdı. İki okuma da savunulabilir olduğunda — destek ve satış senaryolarındaki muhakeme ölçütlerinde bu sık olur — panel birini seçip bağlanır; çünkü her adaya uygulanan tutarlı tek bir ölçüt, rastgele uygulanan iki "doğru" ölçütten iyidir.

Ne kadar tartışırsanız tartışın bir ölçüt çıpalanamıyorsa, bu bir panel başarısızlığı değil bir rubrik kusurudur. Tarifi orada, panelin kendi sözcükleriyle yeniden yazın, devam etmeden önce referansları yeni ifadeye göre yeniden puanlayın ve değerlendirme sahibinin ana rubriği güncelleyebilmesi için değişikliği not edin.

Adım 5: Anlaşılan yorumları belgeleyin

Yalnızca hafızada yaşayan bir kalibrasyon bir hafta içinde çürür. Oturumun kararlarını, değerlendirmeye iliştirilmiş kısa bir kalibrasyon notunda toplayın: her referans yanıt için çıpalanmış puanlar, panelin üzerinde anlaştığı gerekçe ve değişen her rubrik ifadesi. Bir değerlendirici inceleme ortasında gerçek bir aday karşısında duraksadığında, tahmin etmek ya da grup sohbetine yazmak yerine bu nota uzanır.

Somut tutun. "İtiraz karşılamada 4, adayın itirazı adıyla anması, yeniden çerçevelemesi ve bir takip sorusu sorması demektir — bkz. referans B" inceleme anında kullanılabilir; "itiraz karşılamada hizalandık" değildir. Not aynı zamanda karar dosyanızın parçası olur: bir puanlama kararı sorgulanırsa, ölçütün herhangi bir aday incelenmeden önce var olduğunu gösterebilirsiniz.

• Her referans yanıt için çıpalanmış puanları ve gerekçeleri kaydedin.
• Oturumda yeniden yazılan rubrik tariflerini kayda geçirin.
• Notu değerlendirmeyle birlikte saklayın; böylece karar dosyasıyla birlikte yolculuk etsin.
• Panele sonradan katılan her değerlendiriciyle paylaşın.

Adım 6: İnceleme penceresi boyunca kaymayı yeniden kontrol edin

Kalibrasyon tek seferlik bir tören değildir. Uzun bir inceleme penceresinde değerlendiriciler kayar: onuncu vasat destek yanıtı, ilkinden daha kötü görünür ve ölçütler sessizce sıkılaşır ya da gevşer. İncelemeniz bir haftadan uzun sürüyorsa ya da birkaç düzineden fazla adayı kapsıyorsa, ortasına bir kayma kontrolü koyun.

En hafif sürümü: zaten puanlanmış bir yanıt seçin, iki değerlendirici bunu kör yeniden puanlasın ve özgün puanlarla karşılaştırın. Farklar bir düzeyi aşmışsa, belgelenmiş çıpalara karşı kısa bir tazeleme yapın. Yapısal sinyalleri de izleyin — bir değerlendiricinin ortalamasının panelden uzaklaşması ya da geçersiz kılmaların ve ikinci incelemelerin kümelendiği bir ölçüt. Bunlar kaymanın size nereye bakmanız gerektiğini söylemesidir.

Son olarak, gerçek incelemelerde ortaya çıkan her anlaşmazlığı bedava kalibrasyon verisi sayın. Bugün paneli ikiye bölen sınırdaki bir destek yanıtı, yarının orta referans yanıtıdır; sürekli geçersiz kılma üreten bir ölçüt ise bir sonraki işe alım turundan önce yeniden çıpalanacak ilk şeydir. Bu anları yakalayan bir panelin resmî bir yeniden kalibrasyona neredeyse hiç ihtiyacı olmaz.