Vægtning af kompetencer: det gør jeres scorer forsvarlige, ikke mere præcise

At tælle, hvor mange barrer en kandidat klarer, skjuler hvilke

Den enkleste måde at opsummere en kandidat op mod en rolle er at tælle: vedkommende levede op til fire af de syv kompetencer, rollen kræver. Det læses rent, og det er let at forklare, hvilket er præcis derfor, så mange scorecards stopper der. Problemet er det, tællingen smider væk — den behandler hver kompetence som udskiftelig og kan derfor ikke fortælle jer, om de fire, kandidaten klarede, var de fire, der betyder noget.

Forestil jer en supportrolle, hvor arbejdet overvældende er skriftligt: at håndtere kunder på skrift, med empati, hele dagen. Rollen nævner også produktkendskab, prioritering og dokumentationsarbejde, som er reelle, men sekundære. Én kandidat klarer skriftlig kommunikation og empati og misser de tre andre. En anden klarer de tre sekundære og misser de to, der definerer jobbet. Efter tællingen ser kandidat nummer to stærkest ud — tre slår to. Efter jobbet er den første den eneste, der faktisk kan udføre arbejdet.

Intet ved det udfald er en fejl i regnestykket; regnestykket gjorde præcis, som det fik besked på. Det er en modelfejl: modellen fik aldrig at vide, at nogle dele af denne rolle bærer jobbet, og andre understøtter det. Vægtning er måden, I giver den den information på.

Hvad forskningen faktisk siger om vægte

Det er her, de fleste leverandørmaterialer bliver utilpasse, for det ærlige resultat er ikke det smigrende. En lang forskningstradition viser, at enhedsvægte — at behandle hver komponent lige — rangerer mennesker omtrent lige så godt som vægte udledt med langt større anstrengelse. Wainer gav sit arbejde fra 1976 om at estimere koefficienter i lineære modeller den vending, der har fulgt resultatet lige siden: it don't make no nevermind. Dawes fremførte det tilsvarende argument i 1979 om det, han kaldte improper linear models, og viste, at simple sammenlægninger med lige vægte er bemærkelsesværdigt robuste og ofte slår mere avancerede opsætninger på nye data.

Bobko, Roth og Buster vendte tilbage til spørgsmålet i 2007 specifikt for de sammenlægninger, vi bygger i udvælgelse, gennemgik litteraturen og konkluderede, at enhedsvægte er en yderst passende tilgang under en bred vifte af betingelser. Grunden er ikke mystisk. Komponenterne i et velbygget assessment har en tendens til at korrelere indbyrdes, og når de gør det, flytter en forskydning af vægt mellem dem den resulterende rangorden langt mindre, end intuitionen siger. Differentierede vægte bærer også deres egen estimeringsusikkerhed, som stilfærdigt kan udligne den præcision, de skulle tilføje.

Så hvis en platform fortæller jer, at vægtning af jeres kompetencer vil gøre dens scorer mere præcise eller mere forudsigende, så håndtér den påstand med omtanke. På den foreliggende evidens er det ikke det, vægtning pålideligt køber. At sige det ligeud koster en leverandør en velklingende sætning, og det er den eneste udgave af sætningen, der overlever mødet med litteraturen.

Hvorfor så overhovedet vægte? Fordi scoren skal svare til jobbet

Argumentet for vægtning er ikke forudsigelse. Det er indholdsvaliditet — kravet om, at et assessment, og den score det frembringer, repræsenterer det job, det påstår at måle. Et tal, der siger, at en kandidat matcher en skrivetung rolle godt, mens det stilfærdigt tæller skrivning som en sjettedel af resultatet, beskriver ikke den rolle. Det rangerer måske stadig kandidater acceptabelt; det kan bare ikke forklares uden forlegenhed.

Den forklarlighed er den praktiske gevinst. Udvælgelsesbeslutninger bliver anfægtet — af en ansættende leder, der er uenig, af en kandidat, der spørger hvorfor, undertiden af en advokat. I de øjeblikke er det nyttige materiale en dokumenteret kæde: her er jobanalysen, her er de kompetencer, den frembragte, her er hvor meget hver enkelt tæller og hvorfor, og her er dokumentationen for denne kandidat op mod dem. En vægtet sammenlægning gør den kæde komplet. En uvægtet efterlader et hul, hvor ræsonnementet om indbyrdes vigtighed burde stå, og »vi talte dem alle ens, fordi det var standardindstillingen« er et svagt svar, når jobbet åbenlyst ikke fungerer sådan.

Der er en anden og mere stilfærdig gevinst. At sætte vægte fremtvinger en samtale, teams normalt springer over. At beslutte, at skriftlig kommunikation tæller tre gange så meget som dokumentationsarbejde, kræver, at den ansættende leder og rekrutteringskonsulenten bliver enige om, hvad rollen er — før kandidaterne kommer, ikke midt i en diskussion om én af dem. Det meste af værdien i en vægtningsøvelse er høstet, før en eneste score er beregnet.

Vægte besvarer et andet spørgsmål end ufravigelige krav

Vægtning forveksles ofte med at markere noget som uomgængeligt, og de to ting er reelt forskellige instrumenter. En vægt siger, hvor meget en kompetence tæller i en total, hvor styrke på ét område kan opveje svaghed på et andet — en kompensatorisk model. Et ufravigeligt krav siger, at ingen mængde styrke andetsteds gør op for en mangel her — en barriere. Litteraturen om udvælgelsesmodeller behandler dem som komplementære designs frem for rivaler, og sammenligninger af kompensatoriske modeller og modeller med flere barrierer handler om omkostning, rækkefølge og nytte snarere end om, at den ene skulle være rigtig.

Fejlmåden er at bruge det ene, hvor man har brug for det andet. Udtrykker I et ægte ufravigeligt krav som en tung vægt, kan en kandidat stadig klare barren samlet set og alligevel være ude af stand til at udføre den del af jobbet, der ikke er til forhandling. Udtrykker I en ren prioritering som et ufravigeligt krav, begynder I at afvise mennesker for mangler, rollen sagtens kan bære — og når først flere kompetencer er markeret som uomgængelige, dumper næsten alle på én af dem, og markeringen holder op med at bære information.

En praktisk regel: grib til et ufravigeligt krav, når det ærlige svar på »kunne vi ansætte en, der er svag her?« er nej, og grib til vægt, når svaret er »ja, men det ville koste os«. Hold de ufravigelige krav få. Deres styrke kommer af, at de er sjældne.

• Vægt — hvor meget dette tæller i en score, hvor styrker kan opveje svagheder.
• Ufravigeligt krav — en mangel rapporteret for sig, aldrig udjævnet af styrke andetsteds.
• Brug begge dele: en vægtet sammenlægning til det samlede billede, barrierer til det, der ikke er til forhandling.

Hvad en manglende måling aldrig må betyde

Vægtede modeller introducerer en fejlmåde, det er værd at give et navn, fordi den straffer kandidater for noget, de ikke har gjort. Hvis en rolle nævner en tungt vægtet kompetence, som assessmentet aldrig faktisk målte, behandler en naiv sammenlægning fraværet som et nul — og kandidaten trækkes ned for et spørgsmål, ingen stillede vedkommende.

Den korrekte håndtering er at holde det, der ikke blev vurderet, uden for både tæller og nævner, så scoren beskriver den grund, der faktisk blev dækket. En kandidat bør måles op mod den dokumentation, der findes, og rapporten bør sige tydeligt, hvor stor en del af rollen den dokumentation spænder over. Den gennemsigtighed gør også noget nyttigt for arbejdsgiveren: en kompetence, der bliver ved med at dukke op som umålt, er et hul i assessmentet, og det er synet af det skrevet frem, der får nogen til at tilføje den opgave, som lukker det.

Det er det samme princip, der gælder for resten af en forsvarlig scoringsmodel. Fravær af dokumentation er ikke dokumentation for fravær, og et scoringssystem, der stilfærdigt gør det ene til det andet, vil før eller siden frembringe en beslutning, ingen kan begrunde.

Sådan sætter I vægte, I faktisk kan forsvare

Start ved lige vægte. I lyset af, hvad forskningen siger om enhedsvægte, er lige vægtning en forsvarlig standard snarere end en doven en, og det bør være det, jeres blueprint gør, indtil nogen kan sige, hvorfor en kompetence fortjener mere. Det er afvigelsen, der kræver en begrundelse, ikke det at blive stående.

Udled forskellene af jobbet, ikke af assessmentet. Spørgsmålet er, hvor central en kompetence er for at udføre rollen — hvor meget af arbejdet, den rører ved, hvor synlige konsekvenserne er, når den er svag — og det spørgsmål besvares af de mennesker, der kender jobbet, helst med det samme jobanalytiske input, der frembragte kompetencelisten. Vægte, der er opfundet for at få en foretrukken kandidat til at se bedre ud, er ikke vægte; de er et resultat, der arbejder baglæns.

Hold skalaen grovkornet og ræsonnementet nedskrevet. Finkornede vægte antyder en præcision, de underliggende vurderinger ikke har, og forskellen mellem 1,7 og 1,8 overlever ikke en nærmere granskning — et lille sæt trin er nok til at udtrykke, hvad et team faktisk mener. Registrér, hvorfor hver vægt, der afviger fra standarden, findes, så modellen kan forklares måneder senere af en, der ikke var i lokalet.

• Sæt lige vægte som standard; behandl enhver afvigelse som en beslutning, der kræver en begrundelse.
• Udled vægtene af jobanalysen, før I ser kandidaterne.
• Brug en grovkornet skala — nogle få trin, ikke decimaler, der antyder falsk præcision.
• Skriv begrundelsen ned for hver vægt, der afviger fra standarden.
• Se vægtene efter, når rollen ændrer sig; et forældet blueprint måler et job, I ikke længere har.

Sådan implementerer SkillCort det

Et rolleblueprint i SkillCort lister de kompetencer, en rolle kræver, hver med et målniveau, en vægt og en valgfri kritisk markering. Kandidatens dokumentation ruller op fra de opgaver, vedkommende gennemførte, ind i de kompetencer, og rapporten viser to tal side om side: hvor mange af de vurderede kompetencer der levede op til deres målniveau, og — kun når blueprintet faktisk bærer vægte, der afviger fra standarden — hvor stor en andel af rollens vurderede vægt der blev indfriet. Med lige vægte er de to identiske af konstruktion, så intet overflødigt vises, og intet eksisterende tal skifter stilfærdigt, når funktionen ankommer.

Kritiske kompetencer holdes uden for sammenlægningen. En mangel dér rapporteres som sit eget hul frem for at blive glattet ud i et gennemsnit, hvilket holder den kompensatoriske opsummering og det, der ikke er til forhandling, i hver sin kolonne, hvor de hører hjemme. Kompetencer uden dokumentation holdes uden for begge tal, så et umålt krav aldrig kan trække en kandidat ned.

Den påstand, der knytter sig til alt dette, er bevidst snæver. SkillCort fortæller jer ikke, at det vægtede tal forudsiger jobpræstation bedre end det uvægtede, for det understøtter evidensen ikke. Det fortæller jer, at tallet afspejler den rolle, I definerede — og parrer det med blueprintet, dokumentationen og auditsporet, der lader jer vise jeres ræsonnement, når nogen spørger.

Kilder og videre læsning

• Wainer (1976), Estimating coefficients in linear models: It don't make no nevermind — Psychological Bulletin
• Dawes (1979), The robust beauty of improper linear models in decision making — American Psychologist
• Bobko, Roth & Buster (2007), The Usefulness of Unit Weights in Creating Composite Scores — Organizational Research Methods
• Ock (2018), The Utility of Personnel Selection Decisions: Comparing Compensatory and Multiple-Hurdle Selection Models — Journal of Personnel Psychology