Kompetenssien painottaminen: se tekee pistemääristä puolustettavia, ei tarkempia

Ylitettyjen rimojen laskeminen piilottaa sen mitkä ne olivat

Yksinkertaisin tapa tiivistää hakija roolia vasten on laskea: hän täytti neljä roolin vaatimasta seitsemästä kompetenssista. Se lukee siististi ja on helppo selittää, ja juuri siksi niin moni pisteytyskortti pysähtyy siihen. Ongelma on siinä mitä laskenta heittää menemään — se kohtelee jokaista kompetenssia vaihtokelpoisena, joten se ei voi kertoa olivatko ne neljä ylitettyä ne neljä joilla on merkitystä.

Kuvittele asiakaspalvelun rooli, jossa työ on ylivoimaisesti kirjallista: asiakkaiden hoitamista kirjoittaen, empaattisesti, koko päivän. Rooli listaa myös tuotetuntemuksen, priorisoinnin ja dokumentoinnin, jotka ovat todellisia mutta toissijaisia. Yksi hakija ylittää kirjallisen viestinnän ja empatian ja jää alle kolmessa muussa. Toinen ylittää kolme toissijaista ja jää alle niissä kahdessa jotka määrittävät työn. Laskennan mukaan toinen hakija näyttää vahvemmalta — kolme voittaa kaksi. Työn mukaan ensimmäinen hakija on ainoa joka oikeasti pystyy tekemään sen.

Mikään tuossa lopputuloksessa ei ole vika laskutoimituksessa; laskutoimitus teki täsmälleen sen mitä käskettiin. Kyse on mallinnusvirheestä: mallille ei koskaan annettu tietoa siitä, että jotkin tämän roolin osat kantavat työn ja toiset tukevat sitä. Painottaminen on tapa toimittaa tuo tieto.

Mitä tutkimus oikeasti sanoo painoista

Tässä kohtaa useimmat toimittajien materiaalit muuttuvat kiusallisiksi, koska rehellinen löydös ei ole imarteleva. Pitkä tutkimusperinne osoittaa, että yksikköpainot — jokaisen osan kohtelu tasavertaisesti — järjestävät ihmiset suunnilleen yhtä hyvin kuin paljon suuremmalla vaivalla johdetut painot. Wainer otsikoi vuoden 1976 artikkelinsa lineaaristen mallien kertoimien estimoinnista lauseella, joka on seurannut löydöstä siitä lähtien: it don't make no nevermind. Dawes esitti rinnakkaisen argumentin vuonna 1979 siitä mitä hän kutsui epäkelvoiksi lineaarisiksi malleiksi ja osoitti, että yksinkertaiset tasapainoiset yhdistelmät ovat huomattavan kestäviä ja usein voittavat monimutkaisemmat mallit uudella aineistolla.

Bobko, Roth ja Buster palasivat kysymykseen vuonna 2007 nimenomaan niiden yhdistelmien osalta joita valinnassa rakennamme, kävivät kirjallisuuden läpi ja päättelivät että yksikköpainot ovat erittäin asianmukainen lähestymistapa laajassa joukossa olosuhteita. Syy ei ole mystinen. Hyvin rakennetun arvioinnin osat korreloivat yleensä keskenään, ja kun ne korreloivat, painon siirtäminen niiden välillä liikuttaa syntyvää järjestystä paljon vähemmän kuin intuitio antaa ymmärtää. Eriytetyt painot kantavat myös omaa estimointivirhettään, joka voi hiljaisesti kumota sen tarkkuuden jota niiden piti lisätä.

Jos siis alusta kertoo, että kompetenssiesi painottaminen tekee sen pistemääristä tarkempia tai ennakoivampia, suhtaudu väitteeseen huolellisesti. Näytön valossa se ei ole se mitä painottaminen luotettavasti tuo. Tämän sanominen suoraan maksaa toimittajalle yhden hyvältä kuulostavan lauseen, ja se on ainoa version tuosta lauseesta joka kestää kosketuksen kirjallisuuteen.

Miksi siis painottaa lainkaan? Koska pistemäärän on vastattava työtä

Perustelu painottamiselle ei ole ennakointi. Se on sisältövaliditeetti — vaatimus siitä, että arviointi ja sen tuottama pistemäärä edustavat sitä työtä jota ne väittävät mittaavansa. Luku joka sanoo hakijan sopivan vahvasti kirjoituspainotteiseen rooliin samalla kun se hiljaa laskee kirjoittamisen kuudesosaksi tuloksesta ei kuvaa tuota roolia. Se voi silti järjestää hakijat hyväksyttävästi; sitä ei vain voi selittää nolostumatta.

Tuo selitettävyys on käytännön hyöty. Valintapäätökset joutuvat kyseenalaistetuiksi — rekrytoivan esihenkilön toimesta joka on eri mieltä, hakijan toimesta joka kysyy miksi, joskus lakimiehen toimesta. Noina hetkinä hyödyllinen tuotos on dokumentoitu ketju: tämä on työn analyysi, nämä ovat kompetenssit jotka se tuotti, näin paljon kukin painaa ja miksi, ja tässä on näyttö tästä hakijasta niitä vasten. Painotettu yhdistelmä tekee tuosta ketjusta täydellisen. Painottamaton jättää aukon siihen kohtaan johon suhteellista tärkeyttä koskeva päättely kuuluisi, ja ”laskimme ne kaikki samoin koska se oli oletus” on heikko vastaus kun työ selvästi ei toimi niin.

On myös toinen, hiljaisempi hyöty. Painojen asettaminen pakottaa keskusteluun, jonka tiimit yleensä ohittavat. Sen päättäminen että kirjallinen viestintä painaa kolme kertaa dokumentoinnin verran vaatii rekrytoivaa esihenkilöä ja rekrytoijaa sopimaan siitä mikä rooli on — ennen hakijoiden saapumista eikä yhdestä hakijasta väiteltäessä. Suurin osa painotusharjoituksen arvosta kerätään ennen kuin yhtäkään pistemäärää on laskettu.

Painot vastaavat eri kysymykseen kuin ehdottomat vaatimukset

Painottaminen sekoitetaan usein jonkin merkitsemiseen välttämättömäksi, ja nämä kaksi ovat aidosti eri välineitä. Paino kertoo, kuinka paljon kompetenssi painaa kokonaisuudessa jossa vahvuus yhdellä alueella voi kompensoida heikkoutta toisella — kompensatorinen malli. Ehdoton vaatimus sanoo, ettei mikään määrä vahvuutta muualla korvaa vajetta tässä — kynnys. Valintamalleja käsittelevä kirjallisuus kohtelee näitä toisiaan täydentävinä suunnitelmina eikä kilpailijoina, ja kompensatoristen ja monikynnysmallien vertailut kääntyvät kustannuksen, järjestyksen ja hyödyn ympärillä eivätkä sen että toinen olisi oikea.

Vikatila on toisen käyttäminen siellä missä tarvitaan toista. Jos ilmaiset aidon ehdottoman vaatimuksen raskaana painona, hakija voi silti ylittää riman kokonaisuutena vaikkei pysty tekemään työn sitä osaa josta ei jousteta. Jos ilmaiset pelkän painopisteen ehdottomana vaatimuksena, alat hylätä ihmisiä vajeista jotka rooli kestää — ja kun useampi kompetenssi on merkitty välttämättömäksi, lähes kaikki epäonnistuvat yhdessä, ja merkintä lakkaa kantamasta tietoa.

Käytännön sääntö: tartu ehdottomaan vaatimukseen kun rehellinen vastaus kysymykseen ”voisimmeko palkata jonkun joka on tässä heikko?” on ei, ja tartu painoon kun vastaus on ”kyllä, mutta se maksaisi meille”. Pidä ehdottomat vaatimukset harvinaisina. Niiden voima tulee harvinaisuudesta.

• Paino — kuinka paljon tämä painaa pistemäärässä jossa vahvuudet voivat kompensoida heikkouksia.
• Ehdoton vaatimus — vaje raportoidaan omanaan, eikä sitä koskaan keskiarvoisteta pois muualla olevalla vahvuudella.
• Käytä molempia: painotettua yhdistelmää kokonaiskuvaan, kynnyksiä niihin joista ei jousteta.

Mitä puuttuva mittaus ei saa koskaan tarkoittaa

Painotetut mallit tuovat mukanaan vikatilan, joka kannattaa nimetä, koska se rankaisee hakijoita jostain mitä he eivät tehneet. Jos rooli listaa raskaasti painotetun kompetenssin, jota arviointi ei koskaan tosiasiassa mitannut, naiivi yhdistelmä kohtelee puuttumista nollana — ja hakijaa lasketaan alas kysymyksestä jota kukaan ei hänelle esittänyt.

Oikea käsittely on jättää arvioimatta jäänyt pois sekä osoittajasta että nimittäjästä, jotta pistemäärä kuvaa sitä maastoa joka todella kuljettiin. Hakijaa tulisi mitata olemassa olevaa näyttöä vasten, ja raportin tulisi kertoa nimenomaisesti kuinka suuren osan roolista tuo näyttö kattaa. Tuo läpinäkyvyys tekee myös työnantajalle jotain hyödyllistä: kompetenssi joka toistuvasti näkyy mittaamattomana on aukko arvioinnissa, ja sen näkeminen kirjattuna on se mikä saa jonkun lisäämään tehtävän joka sen sulkee.

Tämä on sama periaate joka hallitsee muutakin puolustettavaa pisteytysmallia. Näytön puuttuminen ei ole näyttöä puuttumisesta, ja pisteytysjärjestelmä joka muuntaa hiljaisesti toisen toiseksi tuottaa ennen pitkää päätöksen jota kukaan ei voi perustella.

Painojen asettaminen niin että voit puolustaa niitä

Aloita tasan. Kun otetaan huomioon mitä tutkimus sanoo yksikköpainoista, tasapainotus on puolustettava oletus eikä laiska sellainen, ja sen tulisi olla se mitä blueprintisi tekee kunnes joku osaa sanoa miksi jokin kompetenssi ansaitsee enemmän. Poikkeaminen on se päätös joka kaipaa perustelun, ei paikallaan pysyminen.

Johda erot työstä äläkä arvioinnista. Kysymys on siitä kuinka keskeinen kompetenssi on roolin suorittamiselle — kuinka suuri osa työstä koskettaa sitä, kuinka näkyviä seuraukset ovat kun se on heikko — ja siihen kysymykseen vastaavat ne jotka tuntevat työn, mieluiten samalla työn analyysin aineistolla joka tuotti kompetenssilistan. Painot, jotka on keksitty saamaan suosikkihakija näyttämään paremmalta, eivät ole painoja; ne ovat takaperin työskentelevä tulos.

Pidä asteikko karkeana ja päättely kirjattuna. Hienojakoiset painot vihjaavat tarkkuudesta jota taustalla olevilla arvioilla ei ole, eikä ero 1,7:n ja 1,8:n välillä kestä tarkastelua — pieni joukko askelia riittää ilmaisemaan sen mitä tiimi todella uskoo. Kirjaa miksi kukin oletuksesta poikkeava paino on olemassa, jotta mallin voi selittää kuukausia myöhemmin joku joka ei ollut huoneessa.

• Käytä oletuksena tasapainoja; kohtele jokaista poikkeamaa päätöksenä joka kaipaa perustelun.
• Johda painot työn analyysistä ennen kuin näet hakijoita.
• Käytä karkeaa asteikkoa — muutama askel, ei desimaaleja jotka vihjaavat väärästä tarkkuudesta.
• Kirjaa perustelu jokaiselle oletuksesta poikkeavalle painolle.
• Palaa painoihin kun rooli muuttuu; vanhentunut blueprint mittaa työtä jota sinulla ei enää ole.

Miten SkillCort toteuttaa tämän

SkillCortin roolin blueprint listaa roolin vaatimat kompetenssit, kunkin tavoitetasolla, painolla ja valinnaisella kriittisyysmerkinnällä. Hakijan näyttö kokoontuu hänen tekemistään tehtävistä noihin kompetensseihin, ja raportti näyttää kaksi lukua rinnakkain: kuinka moni arvioiduista kompetensseista ylitti tavoitteensa, ja — vain silloin kun blueprint tosiasiassa kantaa oletuksesta poikkeavia painoja — kuinka suuri osuus roolin arvioidusta painosta täyttyi. Tasapainoilla nuo kaksi ovat rakenteellisesti identtiset, joten mitään päällekkäistä ei näytetä eikä yksikään olemassa oleva luku siirry hiljaisesti kun ominaisuus saapuu.

Kriittiset kompetenssit pysyvät yhdistelmän ulkopuolella. Vaje niissä raportoidaan omana aukkonaan sen sijaan että se tasoitettaisiin keskiarvoon, mikä pitää kompensatorisen tiivistelmän ja ne joista ei jousteta erillisissä sarakkeissa joihin ne kuuluvat. Kompetenssit joista ei ole näyttöä jätetään pois molemmista luvuista, joten mittaamaton vaatimus ei voi koskaan vetää hakijaa alaspäin.

Kaikkeen tähän liitetty väite on tarkoituksella kapea. SkillCort ei kerro sinulle, että painotettu luku ennakoisi työssä suoriutumista paremmin kuin painottamaton, koska näyttö ei tue sitä. Se kertoo, että luku heijastaa sitä roolia jonka määrittelit — ja liittää siihen blueprintin, näytön ja auditointijäljen, joiden avulla voit näyttää päättelysi kun joku kysyy.

Lähteet ja lisälukemista

• Wainer (1976), Estimating coefficients in linear models: It don't make no nevermind — Psychological Bulletin
• Dawes (1979), The robust beauty of improper linear models in decision making — American Psychologist
• Bobko, Roth & Buster (2007), The Usefulness of Unit Weights in Creating Composite Scores — Organizational Research Methods
• Ock (2018), The Utility of Personnel Selection Decisions: Comparing Compensatory and Multiple-Hurdle Selection Models — Journal of Personnel Psychology