Competenties wegen: het maakt uw scores verdedigbaar, niet nauwkeuriger

Tellen hoeveel latten een kandidaat haalt, verbergt welke dat zijn

De eenvoudigste manier om een kandidaat tegenover een rol samen te vatten is tellen: hij voldeed aan vier van de zeven competenties die de rol vraagt. Het leest helder en het is makkelijk uit te leggen, en precies daarom houden zoveel scorekaarten het daarbij. Het probleem is wat de telling weggooit — ze behandelt elke competentie als uitwisselbaar en kan u dus niet vertellen of de vier die hij haalde de vier waren die ertoe doen.

Stelt u zich een supportrol voor waarin het werk overweldigend schriftelijk is: de hele dag klanten schriftelijk te woord staan, met empathie. De rol noemt daarnaast productkennis, prioriteren en documenteren, die reëel maar secundair zijn. De ene kandidaat haalt schriftelijke communicatie en empathie en mist de andere drie. De andere haalt de drie secundaire en mist de twee die de functie bepalen. Volgens de telling lijkt de tweede kandidaat sterker — drie verslaat twee. Volgens de functie is de eerste kandidaat de enige die het werk daadwerkelijk kan doen.

Aan die uitkomst is niets een fout in het rekenwerk; het rekenwerk deed precies wat het was opgedragen. Het is een modelleringsfout: het model kreeg nooit de informatie dat sommige delen van deze rol de functie dragen en andere haar ondersteunen. Wegen is hoe u die informatie aanlevert.

Wat het onderzoek werkelijk zegt over gewichten

Hier wordt het ongemakkelijk voor de meeste leveranciersteksten, want de eerlijke bevinding is niet de vleiende. Een lange onderzoekslijn laat zien dat unit-gewichten — elk onderdeel even zwaar behandelen — mensen ongeveer even goed rangschikken als gewichten die met veel meer moeite zijn afgeleid. Wainer gaf zijn paper uit 1976 over het schatten van coëfficiënten in lineaire modellen de zinsnede mee die de bevinding sindsdien achtervolgt: it don’t make no nevermind. Dawes voerde het bijbehorende argument in 1979 over wat hij improper linear models noemde, en liet zien dat eenvoudige samenstellingen met gelijke gewichten opmerkelijk robuust zijn en op nieuwe data vaak beter presteren dan uitgebreidere schema’s.

Bobko, Roth en Buster kwamen in 2007 op de vraag terug, specifiek voor de samengestelde scores die wij in selectie bouwen; zij namen de literatuur door en concludeerden dat unit-gewichten onder een breed scala aan omstandigheden een zeer geschikte aanpak zijn. De reden is niet mysterieus. Onderdelen van een goed gebouwd assessment correleren doorgaans met elkaar, en zodra dat zo is, verschuift gewicht tussen die onderdelen de resulterende rangorde veel minder dan de intuïtie suggereert. Differentiële gewichten dragen bovendien hun eigen schattingsfout, die in stilte kan wegstrepen wat ze aan precisie hadden moeten toevoegen.

Als een platform u dus vertelt dat het wegen van uw competenties de scores nauwkeuriger of voorspellender maakt, ga dan zorgvuldig met die bewering om. Op grond van het bewijs is dat niet wat wegen betrouwbaar oplevert. Dat ronduit zeggen kost een leverancier een mooi klinkende zin, en het is de enige versie van die zin die het contact met de literatuur overleeft.

Waarom dan überhaupt wegen? Omdat de score bij de functie moet passen

Het argument voor wegen is niet voorspelling. Het is inhoudsvaliditeit — de eis dat een assessment, en de score die het oplevert, de functie vertegenwoordigen die het zegt te meten. Een getal dat zegt dat een kandidaat goed past bij een schrijfintensieve rol terwijl het schrijven stilzwijgend als een zesde van het resultaat meetelt, beschrijft die rol niet. Het rangschikt kandidaten misschien nog acceptabel; het valt alleen niet uit te leggen zonder gêne.

Die uitlegbaarheid is de praktische opbrengst. Selectiebeslissingen worden bevraagd — door een hiring manager die het er niet mee eens is, door een kandidaat die vraagt waarom, soms door een advocaat. Op zulke momenten is het bruikbare artefact een gedocumenteerde keten: dit is de functieanalyse, dit zijn de competenties die eruit voortkwamen, zo zwaar telt elk daarvan en dit is waarom, en hier is het bewijs voor deze kandidaat op elk ervan. Een gewogen samenstelling maakt die keten compleet. Een ongewogen laat een gat waar de redenering over relatief belang hoort te staan, en „we lieten ze allemaal even zwaar tellen omdat dat de standaard was” is een zwak antwoord wanneer de functie duidelijk niet zo werkt.

Er is een tweede, stiller voordeel. Gewichten instellen dwingt een gesprek af dat teams meestal overslaan. Besluiten dat schriftelijke communicatie drie keer zo zwaar telt als documenteren vereist dat de hiring manager en de recruiter het eens worden over wat de rol is — voordat er kandidaten zijn, niet terwijl er over één kandidaat wordt gediscussieerd. Het grootste deel van de waarde van een weegoefening is al binnen voordat er één score is berekend.

Gewichten beantwoorden een andere vraag dan must-haves

Wegen wordt vaak verward met iets als essentieel markeren, en het zijn werkelijk twee verschillende instrumenten. Een gewicht zegt hoe zwaar een competentie meetelt in een totaal waarin kracht op het ene vlak zwakte op het andere kan compenseren — een compensatoir model. Een must-have zegt dat geen enkele kracht elders een tekort hier goedmaakt — een drempel. De literatuur over selectiemodellen behandelt deze twee als aanvullende ontwerpen in plaats van als concurrenten, en vergelijkingen tussen compensatoire en multiple-hurdle-benaderingen draaien om kosten, volgorde en nut, niet om de vraag welke van de twee juist is.

De faalmodus is de een gebruiken waar u de ander nodig hebt. Drukt u een echte must-have uit als een zwaar gewicht, dan kan een kandidaat de lat in totaal alsnog halen terwijl hij het niet-onderhandelbare deel van de functie niet kan uitvoeren. Drukt u een simpele prioriteit uit als een must-have, dan gaat u mensen afwijzen op tekorten die de rol kan opvangen — en zodra meerdere competenties als essentieel zijn gemarkeerd, zakt vrijwel iedereen op één ervan en draagt de markering geen informatie meer.

Een praktische regel: grijp naar een must-have wanneer het eerlijke antwoord op „zouden we iemand kunnen aannemen die hier zwak in is?” nee luidt, en grijp naar gewicht wanneer het antwoord luidt „ja, maar het zou ons wat kosten”. Houd must-haves schaars. Hun kracht komt voort uit hun zeldzaamheid.

• Gewicht — hoe zwaar dit meetelt in een score waarin sterke punten zwakke kunnen compenseren.
• Must-have — een tekort dat op zichzelf wordt gerapporteerd, nooit weggemiddeld door kracht elders.
• Gebruik beide: een gewogen samenstelling voor het totaalbeeld, drempels voor wat niet onderhandelbaar is.

Wat een ontbrekende meting nooit mag betekenen

Gewogen modellen introduceren een faalmodus die het benoemen waard is, want die straft kandidaten voor iets wat ze niet hebben gedaan. Als een rol een zwaar gewogen competentie noemt die het assessment nooit werkelijk heeft gemeten, behandelt een naïeve samenstelling de afwezigheid als een nul — en wordt de kandidaat afgerekend op een vraag die niemand hem heeft gesteld.

De juiste afhandeling is om wat niet is beoordeeld zowel uit de teller als uit de noemer te laten, zodat de score het terrein beschrijft dat werkelijk is afgelegd. Een kandidaat hoort te worden gemeten tegen het bewijs dat er is, en het rapport hoort expliciet te zijn over hoeveel van de rol dat bewijs bestrijkt. Die transparantie doet ook iets nuttigs voor de werkgever: een competentie die steeds als niet-gemeten opduikt, is een gat in het assessment, en dat gat zwart op wit zien is wat iemand ertoe brengt de opdracht toe te voegen die het dicht.

Dit is hetzelfde principe dat de rest van een verdedigbaar scoringsmodel bestuurt. Afwezigheid van bewijs is geen bewijs van afwezigheid, en een scoringssysteem dat het een stilzwijgend in het ander omzet, produceert uiteindelijk een beslissing die niemand kan verantwoorden.

Gewichten instellen die u ook echt kunt verdedigen

Begin bij gelijk. Gezien wat het onderzoek over unit-gewichten zegt, is gelijk wegen een verdedigbare standaard en geen luie, en het hoort te zijn wat uw rolprofiel doet totdat iemand kan zeggen waarom een competentie meer verdient. Afwijken is de beslissing die een reden nodig heeft, niet blijven staan.

Leid de verschillen af uit de functie, niet uit het assessment. De vraag is hoe centraal een competentie is voor het uitvoeren van de rol — hoeveel van het werk haar raakt, hoe zichtbaar de gevolgen zijn wanneer ze zwak is — en die vraag wordt beantwoord door de mensen die de functie kennen, bij voorkeur met dezelfde functieanalyse-input die de competentielijst opleverde. Gewichten die zijn verzonnen om een favoriete kandidaat er beter uit te laten zien, zijn geen gewichten; ze zijn een uitkomst die achterwaarts wordt beredeneerd.

Houd de schaal grof en de redenering opgeschreven. Fijnmazige gewichten suggereren een precisie die de onderliggende oordelen niet hebben, en het verschil tussen 1,7 en 1,8 doorstaat geen toetsing — een kleine reeks stappen is genoeg om uit te drukken wat een team werkelijk gelooft. Leg vast waarom elk niet-standaard gewicht bestaat, zodat het model maanden later kan worden uitgelegd door iemand die er niet bij was.

• Kies standaard voor gelijke gewichten; behandel elke afwijking als een beslissing die een onderbouwing nodig heeft.
• Leid gewichten af uit de functieanalyse, voordat u kandidaten ziet.
• Gebruik een grove schaal — een paar stappen, geen decimalen die valse precisie suggereren.
• Schrijf de reden op voor elk niet-standaard gewicht.
• Herzie de gewichten wanneer de rol verandert; een verouderd rolprofiel meet een functie die u niet meer hebt.

Hoe SkillCort dit heeft ingericht

Een rolprofiel in SkillCort somt de competenties op die een rol vereist, elk met een streefniveau, een gewicht en een optionele markering „kritiek”. Het bewijs van een kandidaat rolt vanuit de afgeronde opdrachten op naar die competenties, en het rapport toont twee getallen naast elkaar: hoeveel van de beoordeelde competenties hun streefniveau haalden, en — alleen wanneer het rolprofiel daadwerkelijk niet-standaard gewichten draagt — welk aandeel van het beoordeelde gewicht van de rol is behaald. Bij gelijke gewichten zijn die twee per constructie identiek, dus er wordt niets overbodigs getoond en er verschuift stilzwijgend geen enkel bestaand getal wanneer de functionaliteit verschijnt.

Kritieke competenties blijven buiten de samenstelling. Een tekort daar wordt als een eigen gat gerapporteerd in plaats van in een gemiddelde te worden weggevlakt, waardoor de compensatoire samenvatting en het niet-onderhandelbare in aparte kolommen blijven staan, waar ze thuishoren. Competenties zonder bewijs blijven uit beide cijfers, zodat een niet-gemeten vereiste een kandidaat nooit omlaag kan trekken.

De bewering die aan dit alles hangt is bewust smal. SkillCort vertelt u niet dat het gewogen cijfer werkprestaties beter voorspelt dan het ongewogen cijfer, want het bewijs ondersteunt dat niet. Het vertelt u dat het getal de rol weerspiegelt die u hebt gedefinieerd — en zet daar het rolprofiel, het bewijs en de audittrail naast waarmee u uw redenering kunt laten zien wanneer iemand ernaar vraagt.

Bronnen en verder lezen

• Wainer (1976), Estimating coefficients in linear models: It don't make no nevermind — Psychological Bulletin
• Dawes (1979), The robust beauty of improper linear models in decision making — American Psychologist
• Bobko, Roth & Buster (2007), The Usefulness of Unit Weights in Creating Composite Scores — Organizational Research Methods
• Ock (2018), The Utility of Personnel Selection Decisions: Comparing Compensatory and Multiple-Hurdle Selection Models — Journal of Personnel Psychology