Att vikta kompetenser: det gör poängen möjlig att stå för, inte mer träffsäker

Att räkna hur många ribbor en kandidat klarar döljer vilka de är

Det enklaste sättet att sammanfatta en kandidat mot en roll är att räkna: kandidaten uppfyllde fyra av de sju kompetenser rollen kräver. Det läses rent och är lätt att förklara, vilket är precis därför så många scorecards stannar där. Problemet är vad räkningen kastar bort — den behandlar varje kompetens som utbytbar, så den kan inte tala om ifall de fyra kandidaten klarade var de fyra som betyder något.

Föreställ dig en supportroll där arbetet till överväldigande del är skriftligt: att hantera kunder i skrift, med empati, hela dagen. Rollen listar också produktkunskap, prioritering och dokumentation, som är verkliga men sekundära. En kandidat klarar skriftlig kommunikation och empati och missar de tre andra. En annan klarar de tre sekundära och missar de två som definierar jobbet. Enligt räkningen ser den andra kandidaten starkare ut — tre slår två. Enligt jobbet är den första kandidaten den enda som faktiskt kan utföra arbetet.

Ingenting i det utfallet är ett fel i aritmetiken; aritmetiken gjorde precis vad den blev tillsagd. Det är ett modelleringsfel: modellen fick aldrig informationen att vissa delar av den här rollen bär jobbet och andra stöttar det. Viktning är hur du levererar den informationen.

Vad forskningen faktiskt säger om vikter

Här blir det mesta av leverantörsmaterialet obekvämt, eftersom det ärliga resultatet inte är det smickrande. En lång rad forskning visar att enhetsvikter — att behandla varje komponent lika — rangordnar människor ungefär lika bra som vikter framtagna med långt mer möda. Wainer gav sin uppsats från 1976 om att skatta koefficienter i linjära modeller den fras som har följt resultatet sedan dess: it don't make no nevermind. Dawes förde det parallella resonemanget 1979 om det han kallade improper linear models, och visade att enkla sammanvägningar med lika vikter är anmärkningsvärt robusta och ofta slår mer utstuderade upplägg på nya data.

Bobko, Roth och Buster återvände till frågan 2007, specifikt för de sammanvägningar vi bygger i urval, gick igenom litteraturen och drog slutsatsen att enhetsvikter är ett i hög grad lämpligt tillvägagångssätt under ett brett spektrum av förhållanden. Skälet är inget mysterium. Komponenterna i en välbyggd bedömning tenderar att korrelera med varandra, och när de gör det flyttar en förskjutning av vikt mellan dem den resulterande rangordningen långt mindre än intuitionen antyder. Differentierade vikter bär dessutom sitt eget skattningsfel, som i tysthet kan äta upp den precision de var tänkta att tillföra.

Så om en plattform säger dig att en viktning av dina kompetenser kommer att göra dess poäng mer träffsäkra eller mer förutsägande, hantera det påståendet varsamt. Utifrån underlaget är det inte vad viktning tillförlitligt köper dig. Att säga det rakt ut kostar en leverantör en fint klingande mening, och det är den enda version av meningen som överlever kontakt med litteraturen.

Så varför vikta över huvud taget? För att poängen måste stämma med jobbet

Skälet att vikta är inte förutsägelse. Det är innehållsvaliditet — kravet att en bedömning, och den poäng den ger, representerar det jobb den utger sig för att mäta. En siffra som säger att en kandidat passar väl för en skrivtung roll medan den i tysthet räknar skrivandet som en sjättedel av resultatet beskriver inte den rollen. Den kan fortfarande rangordna kandidater acceptabelt; den går bara inte att förklara utan att skämmas.

Den förklarbarheten är den praktiska vinsten. Urvalsbeslut blir ifrågasatta — av en rekryterande chef som inte håller med, av en kandidat som frågar varför, ibland av en jurist. I de stunderna är det användbara materialet en dokumenterad kedja: här är arbetsanalysen, här är kompetenserna den gav, så här mycket räknas var och en och varför, och här är underlaget för den här kandidaten mot dem. En viktad sammanvägning gör den kedjan komplett. En oviktad lämnar en lucka där resonemanget om relativ betydelse borde finnas, och ”vi räknade alla lika för att det var standardinställningen” är ett svagt svar när jobbet uppenbart inte fungerar så.

Det finns en andra, tystare fördel. Att sätta vikter framtvingar ett samtal som team vanligtvis hoppar över. Att bestämma att skriftlig kommunikation räknas tre gånger så mycket som dokumentation kräver att den rekryterande chefen och rekryteraren enas om vad rollen är — innan kandidaterna kommer, inte mitt i ett gräl om en av dem. Det mesta av värdet i en viktningsövning fångas innan en enda poäng har beräknats.

Vikter svarar på en annan fråga än obligatoriska krav

Viktning förväxlas ofta med att märka något som nödvändigt, och de två är verkligt olika instrument. En vikt säger hur mycket en kompetens räknas i en total där styrka på ett område kan uppväga svaghet på ett annat — en kompensatorisk modell. Ett obligatoriskt krav säger att ingen mängd styrka någon annanstans kompenserar för en brist här — en tröskel. Litteraturen om urvalsmodeller behandlar dessa som kompletterande upplägg snarare än rivaler, och jämförelser mellan kompensatoriska modeller och modeller med flera trösklar handlar om kostnad, ordningsföljd och nytta snarare än om att den ena skulle vara den rätta.

Felläget är att använda det ena där du behöver det andra. Om du uttrycker ett genuint obligatoriskt krav som en tung vikt kan en kandidat ändå klara ribban totalt sett samtidigt som kandidaten inte kan utföra den icke förhandlingsbara delen av jobbet. Om du uttrycker en ren prioritering som ett obligatoriskt krav börjar du tacka nej till människor för brister rollen kan absorbera — och när flera kompetenser väl är flaggade som nödvändiga faller nästan alla på någon av dem, och flaggan slutar bära information.

En praktisk regel: ta till ett obligatoriskt krav när det ärliga svaret på ”skulle vi kunna anställa någon som är svag här?” är nej, och ta till vikt när svaret är ”ja, men det skulle kosta oss”. Håll de obligatoriska kraven få. Deras kraft kommer av att de är sällsynta.

• Vikt — hur mycket detta räknas i en poäng där styrkor kan uppväga svagheter.
• Obligatoriskt krav — en brist som rapporteras för sig, aldrig utjämnad av styrka någon annanstans.
• Använd båda: en viktad sammanvägning för helhetsbilden, trösklar för det som inte är förhandlingsbart.

Vad en saknad mätning aldrig får betyda

Viktade modeller introducerar ett felläge värt att namnge, eftersom det straffar kandidater för något de inte har gjort. Om en roll listar en tungt viktad kompetens som bedömningen aldrig faktiskt mätte behandlar en naiv sammanvägning frånvaron som en nolla — och kandidaten dras ner för en fråga ingen ställde.

Den korrekta hanteringen är att utesluta det som inte bedömdes ur både täljare och nämnare, så att poängen beskriver den mark som faktiskt täcktes. En kandidat ska mätas mot det underlag som finns, och rapporten ska vara tydlig med hur stor del av rollen det underlaget spänner över. Den transparensen gör också något nyttigt för arbetsgivaren: en kompetens som gång på gång dyker upp som omätt är en lucka i bedömningen, och att se det uttalat är vad som får någon att lägga till uppgiften som täpper till den.

Det här är samma princip som styr resten av en poängmodell du kan stå för. Frånvaro av underlag är inte underlag för frånvaro, och ett poängsystem som i tysthet gör det ena till det andra kommer till slut att producera ett beslut ingen kan motivera.

Att sätta vikter du faktiskt kan stå för

Börja vid lika. Med tanke på vad forskningen säger om enhetsvikter är lika viktning en utgångspunkt som går att stå för snarare än en lat lösning, och det bör vara vad din blueprint gör tills någon kan säga varför en kompetens förtjänar mer. Att avvika är beslutet som behöver ett skäl, inte att stå kvar.

Härled skillnaderna ur jobbet, inte ur bedömningen. Frågan är hur central en kompetens är för att utföra rollen — hur mycket av arbetet som berör den, hur synliga konsekvenserna är när den är svag — och den frågan besvaras av de som kan jobbet, helst med samma arbetsanalysunderlag som gav kompetenslistan. Vikter som uppfunnits för att få en favoriserad kandidat att se bättre ut är inte vikter; de är ett resultat som arbetar baklänges.

Håll skalan grov och resonemanget nedskrivet. Finkorniga vikter antyder en precision de underliggande bedömningarna inte har, och skillnaden mellan 1,7 och 1,8 överlever ingen granskning — ett litet antal steg räcker för att uttrycka vad ett team faktiskt tror. Dokumentera varför varje vikt som avviker från standard finns, så att modellen kan förklaras månader senare av någon som inte var i rummet.

• Utgå från lika vikter; behandla varje avvikelse som ett beslut som behöver en motivering.
• Härled vikterna ur arbetsanalysen, innan du ser kandidaterna.
• Använd en grov skala — några få steg, inte decimaler som antyder falsk precision.
• Skriv ner skälet för varje vikt som avviker från standard.
• Se över vikterna när rollen förändras; en inaktuell blueprint mäter ett jobb du inte längre har.

Så genomför SkillCort detta

En rollprofil i SkillCort listar de kompetenser en roll kräver, var och en med en målnivå, en vikt och en valfri kritisk flagga. Kandidatens underlag räknas upp från de uppgifter kandidaten genomförde till de kompetenserna, och rapporten visar två tal sida vid sida: hur många av de bedömda kompetenserna som nådde sin målnivå och — bara när blueprinten faktiskt bär vikter som avviker från standard — hur stor andel av rollens bedömda vikt som uppfylldes. Med lika vikter är de två identiska av konstruktion, så ingenting överflödigt visas och inget befintligt tal förskjuts i tysthet när funktionen kommer.

Kritiska kompetenser står utanför sammanvägningen. En brist där rapporteras som sin egen lucka i stället för att jämnas ut i ett medelvärde, vilket håller den kompensatoriska sammanfattningen och det icke förhandlingsbara i skilda kolumner där de hör hemma. Kompetenser utan underlag utesluts ur båda talen, så ett omätt krav kan aldrig dra ner en kandidat.

Påståendet som hör till allt detta är medvetet snävt. SkillCort säger dig inte att den viktade siffran förutsäger arbetsprestationen bättre än den oviktade, eftersom underlaget inte stödjer det. SkillCort säger dig att siffran speglar den roll du definierade — och parar den med blueprinten, underlaget och granskningsspåret som låter dig visa ditt resonemang när någon frågar.

Källor och vidare läsning

• Wainer (1976), Estimating coefficients in linear models: It don't make no nevermind — Psychological Bulletin
• Dawes (1979), The robust beauty of improper linear models in decision making — American Psychologist
• Bobko, Roth & Buster (2007), The Usefulness of Unit Weights in Creating Composite Scores — Organizational Research Methods
• Ock (2018), The Utility of Personnel Selection Decisions: Comparing Compensatory and Multiple-Hurdle Selection Models — Journal of Personnel Psychology