Vekting av kompetanser: det gjør poengsummen mulig å stå inne for, ikke mer treffsikker

Å telle hvor mange krav en kandidat klarer, skjuler hvilke

Den enkleste måten å oppsummere en kandidat mot en rolle på, er å telle: de oppfylte fire av de sju kompetansene rollen krever. Det leses greit og er lett å forklare, og nettopp derfor stopper så mange scorekort der. Problemet er hva tellingen kaster bort — den behandler hver kompetanse som utbyttbar, og kan derfor ikke fortelle deg om de fire de klarte, var de fire som betydde noe.

Se for deg en kundeservicerolle der arbeidet er overveldende skriftlig: håndtere kunder skriftlig, med empati, hele dagen. Rollen lister også opp produktkunnskap, prioritering og dokumentasjon, som er reelle, men sekundære. Én kandidat klarer skriftlig kommunikasjon og empati og bommer på de tre andre. En annen klarer de tre sekundære og bommer på de to som definerer jobben. Etter tellingen ser den andre kandidaten sterkest ut — tre slår to. Etter jobben er den første kandidaten den eneste som faktisk kan gjøre arbeidet.

Ingenting ved det utfallet er en feil i regnestykket; regnestykket gjorde nøyaktig som det ble bedt om. Det er en modelleringssvikt: modellen fikk aldri opplysningen om at noen deler av denne rollen bærer jobben og andre støtter den. Vekting er måten du gir den opplysningen på.

Hva forskningen faktisk sier om vekter

Her blir det meste av leverandørmateriell ubekvemt, for det ærlige funnet er ikke det smigrende. En lang forskningslinje viser at enhetsvekter — å behandle hver komponent likt — rangerer folk omtrent like godt som vekter utledet med langt mer arbeid. Wainer ga sin artikkel fra 1976 om å estimere koeffisienter i lineære modeller tittelen som har fulgt funnet siden: it don't make no nevermind. Dawes leverte det tilhørende argumentet i 1979 om det han kalte improper linear models, og viste at enkle sammensetninger med like vekter er bemerkelsesverdig robuste og ofte slår mer forseggjorte oppsett på nye data.

Bobko, Roth og Buster kom tilbake til spørsmålet i 2007, spesifikt for de sammensetningene vi bygger i seleksjon, gjennomgikk litteraturen og konkluderte med at enhetsvekter er en svært hensiktsmessig tilnærming under et bredt spekter av betingelser. Grunnen er ikke mystisk. Komponentene i en godt bygget vurdering har en tendens til å korrelere med hverandre, og når de først gjør det, flytter forskyvning av vekt mellom dem den resulterende rangeringen langt mindre enn intuisjonen tilsier. Differensierte vekter bærer også sin egen estimeringsfeil, som stille kan utligne den presisjonen de var ment å tilføre.

Så hvis en plattform forteller deg at vekting av kompetansene dine vil gjøre poengsummene mer treffsikre eller mer forutsigende, behandle den påstanden varsomt. Etter dokumentasjonen er det ikke det vekting pålitelig gir deg. Å si det rett ut koster en leverandør en velklingende setning, og det er den eneste versjonen av setningen som overlever møtet med litteraturen.

Hvorfor vekte i det hele tatt? Fordi poengsummen må stemme med jobben

Argumentet for vekting er ikke prediksjon. Det er innholdsvaliditet — kravet om at en vurdering, og poengsummen den produserer, skal representere jobben den hevder å måle. Et tall som sier at en kandidat passer godt til en skrivetung rolle mens det stille teller skriving som en sjettedel av resultatet, beskriver ikke den rollen. Det kan fortsatt rangere kandidater akseptabelt; det lar seg bare ikke forklare uten flauhet.

Den forklarbarheten er den praktiske gevinsten. Seleksjonsbeslutninger blir stilt spørsmål ved — av en ansettende leder som er uenig, av en kandidat som spør hvorfor, iblant av en advokat. I de øyeblikkene er det nyttige artefaktet en dokumentert kjede: dette er jobbanalysen, dette er kompetansene den ga, slik teller hver av dem og derfor, og her er dokumentasjonen for denne kandidaten mot dem. En vektet sammensetning gjør den kjeden komplett. En uvektet etterlater et hull der resonnementet om relativ viktighet skulle stått, og «vi telte alle likt fordi det var standarden» er et svakt svar når jobben åpenbart ikke fungerer slik.

Det finnes en annen, stillere gevinst. Å sette vekter tvinger fram en samtale team vanligvis hopper over. Å bestemme at skriftlig kommunikasjon teller tre ganger så mye som dokumentasjon, krever at den ansettende lederen og rekruttereren blir enige om hva rollen er — før kandidatene kommer, ikke mens de krangler om én av dem. Mesteparten av verdien i en vektingsøvelse er hentet inn før en eneste poengsum er regnet ut.

Vekter svarer på et annet spørsmål enn skal-krav

Vekting forveksles ofte med å merke noe som helt nødvendig, og de to er reelt forskjellige instrumenter. En vekt sier hvor mye en kompetanse teller i en sum der styrke på ett område kan veie opp for svakhet på et annet — en kompensatorisk modell. Et skal-krav sier at ingen mengde styrke andre steder veier opp for et avvik her — en sperre. Litteraturen om seleksjonsmodeller behandler disse som utfyllende design snarere enn rivaler, og sammenligninger av kompensatoriske og flersperre-tilnærminger dreier seg om kostnad, rekkefølge og nytte, ikke om at den ene er riktig.

Feilmodusen er å bruke den ene der du trenger den andre. Uttrykker du et reelt skal-krav som en tung vekt, kan en kandidat fortsatt klare terskelen samlet sett samtidig som de ikke kan gjøre den delen av jobben som ikke er forhandlingsbar. Uttrykker du en ren prioritering som et skal-krav, begynner du å avvise folk for avvik rollen kan absorbere — og når først flere kompetanser er merket som helt nødvendige, stryker nesten alle på én, og merkingen slutter å bære informasjon.

En praktisk regel: grip til et skal-krav når det ærlige svaret på «kunne vi ansatt noen som er svak her?» er nei, og grip til vekt når svaret er «ja, men det ville kostet oss». Hold skal-kravene få. Kraften deres kommer av at de er sjeldne.

• Vekt — hvor mye dette teller i en poengsum der styrker kan veie opp for svakheter.
• Skal-krav — et avvik rapporteres for seg, aldri utjevnet av styrke andre steder.
• Bruk begge: en vektet sammensetning for helhetsbildet, sperrer for det som ikke er forhandlingsbart.

Hva en manglende måling aldri må bety

Vektede modeller innfører en feilmodus verdt å navngi, fordi den straffer kandidater for noe de ikke gjorde. Hvis en rolle lister opp en tungt vektet kompetanse som vurderingen aldri faktisk målte, behandler en naiv sammensetning fraværet som en null — og kandidaten trekkes for et spørsmål ingen stilte dem.

Riktig håndtering er å holde det som ikke ble vurdert, utenfor både teller og nevner, slik at poengsummen beskriver terrenget som faktisk ble dekket. En kandidat bør måles mot dokumentasjonen som finnes, og rapporten bør si klart hvor mye av rollen den dokumentasjonen spenner over. Den åpenheten gjør også noe nyttig for arbeidsgiveren: en kompetanse som stadig dukker opp som umålt, er et hull i vurderingen, og det er å se det uttalt som får noen til å legge til oppgaven som tetter det.

Dette er det samme prinsippet som styrer resten av en poengmodell du kan stå inne for. Fravær av dokumentasjon er ikke dokumentasjon på fravær, og et poengsystem som stille gjør det ene om til det andre, vil før eller siden produsere en beslutning ingen kan begrunne.

Å sette vekter du faktisk kan stå inne for

Start på likt. Gitt hva forskningen sier om enhetsvekter, er lik vekting et standardvalg du kan stå inne for framfor et latmannsvalg, og det bør være det blueprintet ditt gjør inntil noen kan si hvorfor en kompetanse fortjener mer. Det er avviket som trenger en begrunnelse, ikke det å bli stående.

Utled forskjellene fra jobben, ikke fra vurderingen. Spørsmålet er hvor sentral en kompetanse er for å utføre rollen — hvor mye av arbeidet som berører den, hvor synlige konsekvensene er når den er svak — og det spørsmålet besvares av folkene som kjenner jobben, helst med den samme jobbanalysen som ga kompetanselisten. Vekter oppfunnet for å få en favorisert kandidat til å se bedre ut, er ikke vekter; de er et resultat som arbeider baklengs.

Hold skalaen grov og begrunnelsen nedskrevet. Finmaskede vekter antyder en presisjon de underliggende vurderingene ikke har, og forskjellen mellom 1,7 og 1,8 overlever ikke gransking — et lite sett trinn er nok til å uttrykke det et team faktisk mener. Noter hvorfor hver vekt som avviker fra standarden, finnes, slik at modellen kan forklares måneder senere av noen som ikke var i rommet.

• Sett like vekter som standard; behandle ethvert avvik som en beslutning som trenger en begrunnelse.
• Utled vektene fra jobbanalysen, før du ser kandidater.
• Bruk en grov skala — noen få trinn, ikke desimaler som antyder falsk presisjon.
• Skriv ned grunnen til hver vekt som avviker fra standarden.
• Se på vektene på nytt når rollen endrer seg; et utdatert blueprint måler en jobb du ikke lenger har.

Slik gjør SkillCort dette

Et rolleblueprint i SkillCort lister opp kompetansene en rolle krever, hver med et målnivå, en vekt og en valgfri kritisk-markering. Kandidatdokumentasjon rulles opp fra oppgavene de fullførte, inn i disse kompetansene, og rapporten viser to tall side om side: hvor mange av de vurderte kompetansene som nådde målet sitt, og — bare når blueprintet faktisk bærer vekter som avviker fra standarden — hvor stor andel av rollens vurderte vekt som ble oppfylt. Med like vekter er de to identiske av konstruksjon, så ingenting overflødig vises, og ingen eksisterende tall flytter seg stille når funksjonen kommer.

Kritiske kompetanser holdes utenfor sammensetningen. Et avvik der rapporteres som sitt eget hull framfor å bli glattet inn i et gjennomsnitt, noe som holder den kompensatoriske oppsummeringen og det som ikke er forhandlingsbart, i hver sin kolonne, der de hører hjemme. Kompetanser uten dokumentasjon holdes utenfor begge tallene, slik at et krav som ikke er målt, aldri kan trekke en kandidat ned.

Påstanden som følger med alt dette, er bevisst smal. SkillCort forteller deg ikke at det vektede tallet forutsier jobbprestasjon bedre enn det uvektede, fordi dokumentasjonen ikke støtter det. Den forteller deg at tallet gjenspeiler rollen du definerte — og setter det sammen med blueprintet, dokumentasjonen og auditsporet som lar deg vise resonnementet ditt når noen spør.

Kilder og videre lesning

• Wainer (1976), Estimating coefficients in linear models: It don't make no nevermind — Psychological Bulletin
• Dawes (1979), The robust beauty of improper linear models in decision making — American Psychologist
• Bobko, Roth & Buster (2007), The Usefulness of Unit Weights in Creating Composite Scores — Organizational Research Methods
• Ock (2018), The Utility of Personnel Selection Decisions: Comparing Compensatory and Multiple-Hurdle Selection Models — Journal of Personnel Psychology