Yetkinlik ağırlıklandırma: puanlarınızı daha isabetli değil, daha savunulabilir yapar

Adayın kaç barajı geçtiğini saymak, hangilerini geçtiğini gizler

Bir adayı role göre özetlemenin en basit yolu saymaktır: rolün gerektirdiği yedi yetkinlikten dördünü karşıladı. Temiz okunur ve açıklaması kolaydır; pek çok değerlendirme kartının burada durmasının nedeni de tam olarak budur. Sorun, saymanın attığı şeydedir — her yetkinliği birbirinin yerine geçebilir sayar; dolayısıyla geçtiği dördün, önemli olan dört olup olmadığını size söyleyemez.

İşin ezici çoğunlukla yazılı olduğu bir destek rolünü düşünün: gün boyu müşterileri yazıyla, empatiyle karşılamak. Rol ayrıca ürün bilgisi, önceliklendirme ve dokümantasyon da listeliyor; bunlar gerçek ama ikincil. Bir aday yazılı iletişim ile empatiyi geçiyor, diğer üçünü kaçırıyor. Bir başkası üç ikincil olanı geçiyor, işi tanımlayan ikisini kaçırıyor. Saymaya göre ikinci aday daha güçlü görünür — üç, ikiyi yener. İşe göre ise işi gerçekten yapabilecek tek kişi birincidir.

Bu sonucun hiçbir yanı aritmetikteki bir hata değil; aritmetik kendisine söyleneni yaptı. Bu bir modelleme hatasıdır: modele, bu rolün bazı parçalarının işi taşıdığı, bazılarının ise ona destek olduğu bilgisi hiç verilmedi. Ağırlıklandırma, bu bilgiyi verme biçiminizdir.

Araştırma ağırlıklar hakkında gerçekte ne diyor

Çoğu satıcı metninin rahatsız olduğu yer burası; çünkü dürüst bulgu, gurur okşayan bulgu değil. Uzun bir araştırma çizgisi, birim ağırlıkların — her bileşeni eşit saymanın — insanları çok daha fazla emekle türetilmiş ağırlıklar kadar iyi sıraladığını gösteriyor. Wainer, 1976'da doğrusal modellerde katsayı tahmini üzerine yazdığı makalesine, o günden beri bulgunun peşini bırakmayan ifadeyi başlık yaptı: hiç fark etmez. Dawes 1979'da, "uygunsuz doğrusal modeller" dediği şey üzerine tamamlayıcı savı ortaya koydu ve basit eşit ağırlıklı bileşkelerin dikkat çekici biçimde sağlam olduğunu, yeni veride çoğu zaman daha ayrıntılı şemaları geçtiğini gösterdi.

Bobko, Roth ve Buster 2007'de soruya, özellikle seçmede kurduğumuz bileşkeler için geri döndüler; alanyazını taradılar ve birim ağırlıkların çok çeşitli koşullar altında son derece uygun bir yaklaşım olduğu sonucuna vardılar. Nedeni gizemli değil. İyi kurulmuş bir değerlendirmenin bileşenleri birbiriyle ilişkili olma eğilimindedir; ilişkili olduklarında da aralarında ağırlık kaydırmak, ortaya çıkan sıralamayı sezginin öngördüğünden çok daha az oynatır. Farklılaştırılmış ağırlıklar kendi tahmin hatalarını da taşır; bu hata, eklemeleri beklenen hassasiyeti sessizce götürebilir.

Yani bir platform size yetkinliklerinizi ağırlıklandırmanın puanlarını daha isabetli ya da daha yordayıcı yapacağını söylüyorsa, bu iddiaya temkinli yaklaşın. Kanıta göre ağırlıklandırmanın güvenilir biçimde satın aldığı şey bu değildir. Bunu açıkça söylemek bir satıcıya kulağa hoş gelen bir cümleye mal olur; ama alanyazınla temasa dayanan tek sürüm de budur.

Peki neden ağırlıklandırmalı? Çünkü puanın işe uyması gerekir

Ağırlıklandırmanın gerekçesi yordama değildir. İçerik geçerliliğidir — bir değerlendirmenin ve ürettiği puanın, ölçtüğünü iddia ettiği işi temsil etmesi gerekliliği. Yazı ağırlıklı bir rol için bir adayın güçlü bir uyum olduğunu söylerken yazmayı sessizce sonucun altıda biri sayan bir sayı, o rolü tarif etmiyordur. Adayları yine de kabul edilebilir biçimde sıralayabilir; sadece utanmadan açıklanamaz.

Pratik kazanç bu açıklanabilirliktir. Seçme kararları sorgulanır — katılmayan bir işe alım yöneticisi tarafından, nedenini soran bir aday tarafından, bazen bir avukat tarafından. O anlarda işe yarayan şey belgelenmiş bir zincirdir: iş analizi budur, ürettiği yetkinlikler bunlar, her biri şu kadar sayıyor ve nedeni bu, bu adayın bunlara karşı kanıtı da şu. Ağırlıklı bir bileşke bu zinciri tamamlar. Ağırlıksız olanı, göreli önem üzerine akıl yürütmenin bulunması gereken yerde bir boşluk bırakır ve iş açıkça öyle işlemiyorken "varsayılan buydu, hepsini aynı saydık" zayıf bir yanıttır.

İkinci ve daha sessiz bir fayda daha var. Ağırlık belirlemek, ekiplerin genellikle atladığı bir konuşmayı zorunlu kılar. Yazılı iletişimin dokümantasyonun üç katı saydığına karar vermek, işe alım yöneticisi ile işe alım uzmanının rolün ne olduğunda anlaşmasını gerektirir — adaylar gelmeden önce, biri hakkında tartışırken değil. Bir ağırlıklandırma çalışmasının değerinin çoğu, tek bir puan hesaplanmadan önce elde edilir.

Ağırlıklar, olmazsa olmazlardan farklı bir soruyu yanıtlar

Ağırlıklandırma sıkça bir şeyi zorunlu işaretlemekle karıştırılır; oysa ikisi gerçekten farklı araçlardır. Ağırlık, bir alandaki gücün bir başkasındaki zayıflığı telafi edebildiği bir toplamda bir yetkinliğin ne kadar saydığını söyler — telafi edici bir model. Olmazsa olmaz ise, başka yerdeki hiçbir gücün buradaki eksiği kapatmadığını söyler — bir baraj. Seçme modelleri üzerine alanyazın bunları rakipler değil, birbirini tamamlayan tasarımlar olarak ele alır; telafi edici ve çoklu-baraj yaklaşımlarının karşılaştırmaları biri doğru olduğu için değil, maliyet, sıralama ve fayda üzerinden döner.

Hata biçimi, birine ihtiyaç varken diğerini kullanmaktır. Gerçek bir olmazsa olmazı ağır bir ağırlık olarak ifade ederseniz, bir aday işin pazarlık konusu olmayan kısmını yapamıyorken genel barajı yine de geçebilir. Yalnızca bir önceliği olmazsa olmaz olarak ifade ederseniz, rolün soğurabileceği eksikler yüzünden insanları elemeye başlarsınız — ve birkaç yetkinlik zorunlu işaretlendiğinde neredeyse herkes birinde kalır, işaret de bilgi taşımayı bırakır.

Pratik bir kural: "burada zayıf birini işe alabilir miydik?" sorusunun dürüst yanıtı hayırsa olmazsa olmaza uzanın; yanıt "evet, ama bize pahalıya patlardı" ise ağırlığa uzanın. Olmazsa olmazları az tutun. Güçleri nadir olmalarından gelir.

• Ağırlık — güçlerin zayıflıkları telafi edebildiği bir puanda bunun ne kadar saydığı.
• Olmazsa olmaz — kendi başına raporlanan, başka yerdeki güçle asla ortalanıp yok edilmeyen bir eksik.
• İkisini de kullanın: genel tablo için ağırlıklı bir bileşke, pazarlık konusu olmayanlar için barajlar.

Eksik bir ölçüm asla ne anlama gelmemeli

Ağırlıklı modeller, adı konmaya değer bir hata biçimi getirir; çünkü adayları yapmadıkları bir şey için cezalandırır. Bir rol, değerlendirmenin aslında hiç ölçmediği, ağır ağırlıklı bir yetkinlik listeliyorsa, saf bir bileşke bu yokluğu sıfır sayar — ve aday, kimsenin sormadığı bir soru yüzünden puan kaybeder.

Doğru davranış, değerlendirilmemiş olanı hem paydan hem paydadan çıkarmaktır; böylece puan gerçekten kapsanan zemini tarif eder. Bir aday var olan kanıta göre ölçülmeli ve rapor, bu kanıtın rolün ne kadarını kapsadığı konusunda açık olmalıdır. Bu şeffaflık işveren için de işe yarar bir şey yapar: sürekli ölçülmemiş olarak görünen bir yetkinlik, değerlendirmedeki bir boşluktur ve bunun yazılı görülmesi, birini o boşluğu kapatacak görevi eklemeye iter.

Bu, savunulabilir bir puanlama modelinin geri kalanını yöneten ilkeyle aynıdır. Kanıtın yokluğu, yokluğun kanıtı değildir; birini sessizce diğerine çeviren bir puanlama sistemi eninde sonunda kimsenin gerekçelendiremeyeceği bir karar üretir.

Gerçekten savunabileceğiniz ağırlıklar belirlemek

Eşitten başlayın. Araştırmanın birim ağırlıklar hakkında söyledikleri göz önüne alındığında, eşit ağırlıklandırma tembel değil savunulabilir bir varsayılandır ve biri bir yetkinliğin neden daha fazlasını hak ettiğini söyleyene kadar şablonunuzun yaptığı şey bu olmalıdır. Gerekçe isteyen karar sapmaktır, yerinde kalmak değil.

Farkları değerlendirmeden değil, işten türetin. Soru, bir yetkinliğin rolü yerine getirmede ne kadar merkezî olduğudur — işin ne kadarı ona dokunuyor, zayıf olduğunda sonuçları ne kadar görünür — ve bu soruyu işi bilen insanlar yanıtlar; ideal olarak yetkinlik listesini üreten aynı iş analizi girdisiyle. Gözde bir adayı daha iyi göstermek için icat edilen ağırlıklar ağırlık değildir; tersten çalışan bir sonuçtur.

Ölçeği kaba, gerekçeyi yazılı tutun. İnce ayrımlı ağırlıklar, altındaki muhakemelerin sahip olmadığı bir hassasiyeti ima eder ve 1,7 ile 1,8 arasındaki fark sorgulamaya dayanmaz — küçük bir basamak kümesi bir ekibin gerçekte inandığını ifade etmeye yeter. Varsayılan dışındaki her ağırlığın neden var olduğunu kayda geçirin; böylece model, aylar sonra o odada bulunmamış biri tarafından açıklanabilsin.

• Eşit ağırlıkları varsayılan alın; her sapmayı gerekçe isteyen bir karar sayın.
• Ağırlıkları, adayları görmeden önce iş analizinden türetin.
• Kaba bir ölçek kullanın — sahte hassasiyet ima eden ondalıklar değil, birkaç basamak.
• Varsayılan dışı her ağırlığın gerekçesini yazın.
• Rol değiştiğinde ağırlıkları gözden geçirin; bayat bir şablon artık sahip olmadığınız bir işi ölçer.

SkillCort bunu nasıl uyguluyor

SkillCort'ta bir rol şablonu, rolün gerektirdiği yetkinlikleri her biri bir hedef düzey, bir ağırlık ve isteğe bağlı bir kritik işaretiyle listeler. Aday kanıtı, tamamladığı görevlerden bu yetkinliklere toplanır ve rapor iki sayıyı yan yana gösterir: değerlendirilen yetkinliklerin kaçının hedefini geçtiği ve — yalnızca şablon gerçekten varsayılan dışı ağırlıklar taşıyorsa — rolün değerlendirilen ağırlığının ne kadarının karşılandığı. Eşit ağırlıklarda ikisi kuruluş gereği aynıdır; bu yüzden gereksiz hiçbir şey gösterilmez ve özellik geldiğinde mevcut hiçbir sayı sessizce kaymaz.

Kritik yetkinlikler bileşkenin dışında kalır. Oradaki bir eksik bir ortalamaya karıştırılmak yerine kendi başına bir boşluk olarak raporlanır; bu da telafi edici özeti ve pazarlık konusu olmayanları ait oldukları ayrı sütunlarda tutar. Kanıtı olmayan yetkinlikler her iki sayıdan da çıkarılır; böylece ölçülmemiş bir gereksinim bir adayı asla aşağı çekemez.

Bütün buna iliştirilen iddia bilinçli olarak dardır. SkillCort size ağırlıklı sayının iş performansını ağırlıksız olandan daha iyi yordadığını söylemez, çünkü kanıt bunu desteklemez. Size, sayının tanımladığınız rolü yansıttığını söyler — ve biri sorduğunda akıl yürütmenizi gösterebilmeniz için onu şablonla, kanıtla ve denetim iziyle birlikte sunar.

Kaynaklar ve ileri okuma

• Wainer (1976), Estimating coefficients in linear models: It don't make no nevermind — Psychological Bulletin
• Dawes (1979), The robust beauty of improper linear models in decision making — American Psychologist
• Bobko, Roth & Buster (2007), The Usefulness of Unit Weights in Creating Composite Scores — Organizational Research Methods
• Ock (2018), The Utility of Personnel Selection Decisions: Comparing Compensatory and Multiple-Hurdle Selection Models — Journal of Personnel Psychology