İçeriğe geç
SkillCort

8 min · 8 stepsDeğerlendirme eğitimi

Puanlama rubriği nasıl tasarlanır

Rubrik, "cevabını beğendim" ile bir adaya, bir meslektaşa ya da bir denetçiye açıklayabileceğiniz bir puan arasındaki farktır. Bu eğitim SkillCort'ta bir rubriğin tasarlanmasını anlatıyor — ölçütleri rolden çıkarmaktan düzeyleri gözlemlenebilir davranışlara çıpalamaya ve sonucu yayına almadan önce gerçek yanıtlarda test etmeye kadar.

What you'll need

  • Rolün yetkinliklerine dair net bir tablo (bir rol şablonu yardımcı olur)
  • Rubriğin puanlayacağı iş örneği görevi, sona yakın hâliyle
  • Farklı kalite düzeylerinde 2–3 örnek yanıt, gerçek ya da yazılmış
  • Asıl işi yapan ya da yöneten birinin katkısı

Step 1: Ölçütleri görevden değil rolden çıkarın

Değerlendirmenin yanıtlamak için var olduğu soruyla başlayın: bu rol gerçekte hangi yetkinliklere dayanıyor? Her rubrik ölçütü bunlardan birine geri gitmelidir. Bunun yerine görevden başlarsanız, görevin ortaya çıkarmak için kurulduğu beceriyi değil teslimatın ikincil özelliklerini — biçim, uzunluk, araç seçimi — puanlarsınız.

Listeyi kısa tutun. Rubrik başına üç ila altı ölçüt genellikle doğrudur: ayrı becerileri ayırmaya yetecek kadar çok, değerlendiricilerin tek bir yanıtı okurken hepsini akılda tutabileceği kadar az. İki ölçüt hep birlikte iniyor çıkıyorsa birleştirin; bir ölçüt iki bağımsız muhakemeyi gizliyorsa bölün.

Step 2: Özellikleri değil, gözlemlenebilir davranışları yazın

"Güçlü iletişimci" bir özelliktir; "çözüm önermeden önce müşterinin sorununu kabul eder ve somut bir sonraki adımla bitirir" ise bir değerlendiricinin yanıtta gösterebileceği bir davranıştır. Her ölçüt, aynı yanıtı okuyan iki kişinin puanlamak için aynı kanıda bakacağı biçimde ifade edilmelidir.

İşe yarar bir sınav: her ölçüt için "bu puanı gerekçelendirmek için bir yanıtta neyin altını çizerdim?" diye sorun. Cevap bir cümle, bir karar ya da adayın çıktısındaki bir eser değil de bir his ise, ölçütü gözlemlenebilir şeyi adlandırana kadar yeniden yazın.

  • Kişi hakkındaki sıfatları iş hakkındaki fiillerle değiştirin
  • Eseri adlandırın: yanıtta bunu ne gösteriyor?
  • Niyet ya da kişilik tahmini gerektiren ölçütlerden kaçının
  • Tek ölçüt, tek muhakeme — "netlik ve doğruluk" melezleri olmasın

Step 3: Klasik puan girişi ile düzey temelli matris arasında seçim yapın

SkillCort iki rubrik stilini destekler. Klasik puan girişi değerlendiricilere ölçüt başına sayısal bir ölçek verir — hızlı ve tanıdık, ama her değerlendiricinin 7'nin ne demek olduğuna dair özel hissine yaslanır. Düzey temelli matris ise ölçüt başına açık düzeyler tanımlar; her biri onu hak eden davranışın çıpalanmış tarifiyle gelir ve değerlendiriciler yanıtla eşleşen düzey kartına tıklayarak puanlar.

Birden fazla değerlendiricinin ya da gerçek riskin olduğu her şeyde matrisi tercih edin. Çıpalanmış tarifler kalibrasyon işini önden yapar: her inceleyicinin kendi ölçeğini icat etmesi yerine hepsi yanıtları aynı yazılı ölçüte karşı eşleştirir. Klasik giriş, düşük riskli ve tek değerlendiricili puanlama için makul kalır.

Step 4: Her düzeyi somut ve ayırt edilebilir tariflere çıpalayın

Matris editöründe her hücre için bir tarif yazın — her düzeydeki her ölçüt. İyi çıpalar o düzeydeki bir yanıtın gerçekte ne yaptığını tarif eder: en iyi cevap neyi içerir, kabul edilebilir olan neyi doğru yapar ve neyi kaçırır, zayıf olan neyi yapamaz. "İyi", "çok iyi", "mükemmel" gibi muğlak dereceler değerlendiricileri özel muhakemeye geri iter ve bu da matrisin amacını boşa çıkarır.

Komşu düzeyleri gerçekten ayırt edilebilir kılın. Sınav sınırdaki bir yanıttır: çıpalarınızı okuyan bir değerlendirici iki komşu düzey için de eşit derecede iyi savunma yapabiliyorsa farkı keskinleştirin — genellikle onları ayıran tek davranışı adlandırarak. Ölçüt başına üç ila beş düzey çoğunlukla yeter; daha fazlası, çoğu kanıtın destekleyebileceğinden daha ince ayrımlar demektir.

Step 5: Ölçütleri rolün ödüllendirdiğine göre ağırlıklandırın

Her ölçüt eşit söz hakkını hak etmez. SkillCort her ölçütü ağırlıklandırmanıza (×N) izin verir ve bu ağırlıklar doğrudan görev puanına, oradan da rol uyumuna akar. Rolün en çok dayandığı ölçütleri — muhakeme kararı, yazılı yanıtın kalitesi — biçim ya da eksiksizlik gibi destekleyici olanların üstünde ağırlıklandırın.

Burada bilinçli olun; çünkü ağırlıklar bir rubriğin işe alım felsefenizi sessizce kodladığı yerdir. Cilayı muhakemenin üstünde ağırlıklandıran bir rubrik cilalı adayları yüzeye çıkarır. Ağırlıkları role yakın biriyle kontrol edin: "bir aday A ölçütünü mükemmel yapıp B'yi berbat etseydi yine ilgilenir miydik?" Ağırlıklar yanıtla uyuşmalıdır.

Step 6: Adayların rubriği görüp görmeyeceğine karar verin

SkillCort bir rubriği adaya görünür kılabilir. Göstermek adaylara iyinin neye benzediğini söyler; bu dürüsttür ve genellikle asıl önemsediğiniz şeye yönelen yanıtlar üretir — beceriyi sınıyorsunuz, ölçütlerinizi tahmin etme yeteneğini değil. Ölçütleri bilmek cevabı basitçe yazdıracaksa — bazı muhakeme senaryolarında olduğu gibi — gizlemek anlamlıdır.

Ne seçerseniz seçin, rubrik başına ve bilinçli seçin. Görünür bir rubrik çıpa yazımınızın çıtasını yükseltir; çünkü adaylar da okuyacaktır — somut, davranışsal dilin önemli olmasının bir nedeni daha. Ayrıca adalet sinyali verir: ölçütü bilen adaylar değerlendirmeyi, tercihlerinizle ilgili bir tahmin oyunu olarak değil, işlerinin bir değerlendirmesi olarak yaşar.

Step 7: Rubriği iliştirmeden önce örnek yanıtlarda test edin

İki üç örnek yanıtınızı alın ve taslak rubriğe göre puanlayın — ideal olarak ikinci bir kişi bağımsız puanlarken. Yanıtları değil rubriği test ediyorsunuz: çıpalar her yanıtı temizce bir düzeye yerleştiriyor mu, yoksa ikiniz de aynı hücrede mi duraksadınız? Duraksama, yeniden yazılması gereken çıpayı işaretler.

Aritmetiği de kontrol edin. Ağırlıklar uygulandığında güçlü yanıt zayıf olanı rahatça geçiyor mu ve doğru hissettiren bir farkla mı? Vasat bir yanıt mükemmel olana neredeyse eşit puan alıyorsa ya çıpalar kaliteyi ayırmıyordur ya da bir ağırlık yanlış yerdedir.

Step 8: Rubriği iliştirin ve anlık görüntüyü anlayın

Bir rubriği bir değerlendirmeye iliştirdiğinizde bir anlık görüntüye donar. Bankanızdaki sonraki düzenlemeler canlı bir değerlendirmeyi asla değiştirmez — o değerlendirmedeki her aday tam olarak aynı ölçüte göre puanlanır ve puanları karşılaştırılabilir ile savunulabilir kılan da tam olarak budur.

Bu, iliştirmeden hemen önceki anın bu değerlendirme için ifadeyi, düzeyleri ya da ağırlıkları düzeltmenin son ucuz şansı olduğu anlamına gelir. Gerçek yanıtlardan öğrendikçe banka sürümünü iyileştirmeyi sürdürün; bu iyileştirmeler, devam edeni bozmadan onu iliştiren bir sonraki değerlendirmeye yarar.

Pro tips

  • Rubriği gerçek aday yanıtlarını görmeden önce yazın — sonradan yazılan ölçütler, ihtiyacınız olan beceriyi değil aldığınız yanıtları tarif etme eğilimindedir.
  • Çıpaları gördüğünüz gerçek işi tarif ederek taslayın: bir ekip üyesinin yazdığı en iyi yanıt ve yeniden yazılması gereken tür.
  • Çıpalarınızı projenin dışından birine yüksek sesle okuyun; yanıtı gözünde canlandıramıyorsa, adaya görünür bir rubrik adaylara da yardım etmez.
  • ×N ağırlıklarını tutumlu kullanın — iki üç ayrı ağırlık kademesi, her ölçütte farklı bir sayıdan daha iyi öncelik iletir.
  • Her ölçütün neden var olduğuna dair kısa bir not tutun; kalibrasyon oturumlarını ve ileriki rubrik incelemelerini hızlandırır.

Sık sorulan sorular

Bir rubrikte kaç ölçüt ve kaç düzey olmalı?
Üç ila altı ölçüt ve ölçüt başına üç ila beş düzey çoğu iş örneğini karşılar. Bundan az ölçüt genellikle paketlenmiş muhakemeler demektir; daha fazlası genellikle rubriğin rolün yetkinliklerini değil teslimatın özelliklerini puanladığı anlamına gelir.
Klasik puan girişi ile düzey temelli matris arasındaki fark nedir?
Klasik giriş değerlendiricilerden ölçüt başına bir sayı ister ve onların iç ölçeğine yaslanır. Matris ölçüt başına çıpalanmış düzeyler tanımlar ve değerlendiriciler tarifi yanıtla eşleşen düzey kartına tıklar. Matris kalibrasyonu öne çeker; böylece çok değerlendiricili puanlama tutarlı kalır.
Bir rubriği iliştirdikten sonra düzenlersem canlı değerlendirmeler güncellenir mi?
Hayır. Bir rubriği iliştirmek onu bir anlık görüntüye dondurur ve sonraki banka düzenlemeleri canlı bir değerlendirmeyi asla değiştirmez. Bu, bir değerlendirmedeki her adayın birebir aynı ölçüte göre puanlanmasını garanti eder. Yaptığınız iyileştirmeler rubriği iliştiren gelecekteki değerlendirmelere uygulanır.
Ölçüt ağırlıkları puanlamanın geri kalanıyla nasıl etkileşiyor?
Bir görev içinde değerlendiriciler önce ölçüt başına ortalanır, sonra ölçütler ağırlıklarıyla görev puanında birleşir. Görev puanları da beceri ve bölüm ağırlıkları üzerinden rol uyumuna toplanır. Yani bir ölçüt ağırlığı, kozmetik bir etiket değil, nihai karşılaştırma üzerinde gerçek bir kaldıraçtır.
Adaylar rubriği görmeli mi?
Çoğu zaman evet — görünür bir rubrik adaylara iyinin neye benzediğini söyler ve önemsediğiniz beceriye yönelen yanıtlar üretir. Ölçütlerin cevabı yazdıracağı yerlerde gizli tutun; örneğin doğru hamleyi tanımanın becerinin kendisi olduğu muhakeme senaryolarında.

For hiring teams

Puanlamayı kanıta çevirin

SkillCort'un düzey temelli matris editörünü, ölçüt ağırlıklarını ve rubrik anlık görüntülerini iş başında görün — ve her değerlendiriciyi aynı ölçüte göre puanlarken nasıl tuttuklarını. Demo planlayın.

Puanlama Rubriği Nasıl Tasarlanır | SkillCort