By Daniel Whitmore, MSc in Industrial and Organizational Psychology
Lyhyesti
Arvioijien kalibrointi on lyhyt työsessio, jossa pisteyttäjät arvioivat itsenäisesti samat mallivastaukset yhteistä arviointimatriisia vasten, vertaavat pistemääriään kriteeri kerrallaan ja sopivat kunkin tason merkityksestä ennen kuin yhtäkään todellista hakijaa tarkastellaan. Se on tehokkain tapa saada arviointimatriisin pistemäärät johdonmukaisiksi arvioijien kesken — ja se vaatii ajoittaisia uusintatarkistuksia, koska pisteyttäjien ajautuminen hiipii ajan myötä takaisin.
Miksi arviointimatriisin pistemäärät ajautuvat
Pisteyttäjien ajautuminen ei ole luonteenvika; se on jokaisen moniarvioijaprosessin oletustila. Jokainen tarkastaja saapuu oman sisäisen standardinsa kanssa, jota ovat muovanneet viimeisin tiimi jolle hän rekrytoi, vahvin hakija jonka hän muistaa, ja hänen oma sietokykynsä epätäydellisille vastauksille. Arviointimatriisi kaventaa tuota hajontaa, mutta sanat kuten ”selkeä seuraava askel” tai ”asianmukainen sävy” jättävät yhä tilaa tulkinnalle — ja tulkinnassa ajautuminen asuu.
Ajautuminen myös kertautuu ajan myötä. Arvioija, joka pisteyttää kaksikymmentä sisämyynnin roolipeliä viikossa, alkaa arvostella erää eikä arviointimatriisia vasten: keskinkertainen kartoituspuhelu näyttää vahvalta kolmen heikon jälkeen. Toiset ajautuvat ankariksi tai lempeiksi määräaikapaineen alla. Mikään tästä ei näy pistemäärissä itsessään, ja juuri siksi se on vaarallista — nelonen yhdeltä tarkastajalta ja nelonen toiselta voivat kuvata kahta eri hakijaa.
Korjaus ei ole monimutkaisempi arviointimatriisi. Tietyn pisteen jälkeen lisäyksityiskohta lisää lukukuormaa lisäämättä yksimielisyyttä. Korjaus on kalibrointi: arvioijat pisteyttävät saman työn, nostavat erot esiin ja neuvottelevat yhteisen standardin, johon he kaikki voivat myöhemmin osoittaa — ennen kuin yhdenkään elävän hakijan lopputulos riippuu siitä, kenen tulkinta sattuu voittamaan.
Kalibrointisessio askel askeleelta
Ennen kuin elävä pisteytys alkaa, pidä yksi jäsennelty sessio. Valitse kaksi tai kolme aitoa vastausta todelliseen tehtävään — vaikkapa hakijan kirjallinen vastaus turhautuneelle asiakkaalle tai nauhoitettu vastaväitteiden käsittelyharjoitus myynnin rooliin. Valitse harkiten: yksi selvästi vahva, yksi selvästi heikko ja yksi aidosti rajatapaus. Rajatapaus on se, jossa kalibrointi ansaitsee paikkansa.
Sessio itse noudattaa yksinkertaista järjestystä, ja järjestyksellä on merkitystä. Itsenäisen pisteytyksen on tultava ensin; sillä hetkellä kun yksi arvioija puhuu, muut ankkuroituvat tuohon mielipiteeseen ja harjoitus mittaa mukautumista yksimielisyyden sijaan. Varaa noin tunti kolmen tai neljän arvioijan paneelille, ja kohtele sessiota osana arvioinnin käyttöönottoa eikä valinnaisena lisänä.
- Jokainen arvioija pisteyttää jokaisen näytteen itsenäisesti arviointimatriisia vasten, kirjallinen perustelu kriteeriä kohden — ei vielä keskustelua.
- Paljasta kaikki pistemäärät kerralla ja laske erot kriteereittäin, ei vain hakijoittain.
- Keskustele vain niistä kriteereistä, joissa pistemäärät eroavat enemmän kuin yhden tason verran; yksimielisyys ei tarvitse puheaikaa.
- Päätä jokaisen erimielisyyden kohdalla, mitä arviointimatriisin taso todella vaatii, ja kirjoita kuvaus uusiksi jos sanat sallivat molemmat tulkinnat.
- Tallenna keskustellut näytteet sovittuine pistemäärineen ja perusteluineen ankkuriesimerkeiksi arviointimatriisin liitteeksi.
Keskustele eroista, älä ihmisistä
Keskustelu pistemäärien paljastamisen jälkeen on koko pointti, ja se menee pieleen ennakoitavalla tavalla: siitä tulee väittely siitä kuka on oikeassa. Kehystä se uudelleen. Kysymys ei ole koskaan ”miksi annoit siitä kakkosen?” vaan ”mikä vastauksessa ja mikä arviointimatriisissa vei sinut sinne?”. Molemmat arvioijat soveltavat yleensä arviointimatriisia uskollisesti — vain eri tulkintoihin siitä.
Useimmat erot jäljittyvät yhteen kolmesta syystä: arviointimatriisin kuvaus on monitulkintainen, arvioijat painottavat alakriteerejä eri tavoin, tai yksi tarkastaja pisteyttää jotain mitä arviointimatriisi ei kata lainkaan, kuten kirjoitusvirheitä tehtävässä jonka on tarkoitus mitata harkintaa. Sen nimeäminen, mitä syytä katsotaan, muuttaa väittelyn muokkaukseksi. Monitulkintaisuus saa uudelleenkirjoitetun kuvauksen; piilotettu painotus tehdään näkyväksi; soveltamisalan ulkopuoliset kriteerit rajataan nimenomaisesti pois.
Päätä jokainen keskustelu tuotokseen. Kalibrointisessio, joka tuottaa vain miellyttävän keskustelun, joudutaan toistamaan kuukauden päästä. Sellainen, joka tuottaa terävämpiä kuvauksia ja tallennettuja ankkuriesimerkkejä, maksaa itsensä takaisin joka kerta kun uusi arvioija liittyy paneeliin ja joka kerta kun rajatapaushakija pakottaa ryhmän takaisin tason täsmällisen sanamuodon ääreen.
Ankkuroi arviointimatriisi aidoilla vastauksilla
Abstraktit kuvaukset kutsuvat ajautumista; konkreettiset esimerkit vastustavat sitä. Kiinnitä jokaiseen merkitykselliseen pistetasoon — yleensä rajaan ”hyväksyttävän” ja ”vahvan” välillä, jossa useimmat rekrytointipäätökset todella kääntyvät — aito, anonymisoitu vastaus kalibroinnista ja lause, joka selittää miksi se on tuolla tasolla. ”Kolmonen huomioi asiakkaan turhautumisen ennen korjauksen ehdottamista; tämä vastaus tekee niin mutta hautaa seuraavan askeleen” on adjektiivikappaleen arvoinen.
Ankkurit muuttavat arvioijien työtapaa. Kysymyksen ”kuinka hyvä tämä vastaus on?” sijaan — kysymys joka kutsuu esiin henkilökohtaisia standardeja — he kysyvät ”onko tämä lähempänä kolmosen vai nelosen ankkuria?”. Vertailu on paljon luotettavampi arvio kuin absoluuttinen pisteytys, ja se on sama arvio kaikille paneelin jäsenille, myös sille arvioijalle joka liittyy puolen vuoden päästä eikä osallistunut alkuperäiseen sessioon.
Jatkuvat pistokokeet: kalibrointi ei ole kertatapahtuma
Yksittäinen kalibrointisessio asettaa standardin; se ei ylläpidä sitä. Ajautuminen hiipii takaisin volyymin, ajan ja paneelin vaihtuvuuden myötä. Ylläpitorituaali on kevyt: ohjaa säännöllisin väliajoin pieni määrä jo pisteytettyjä vastauksia toiselle arvioijalle sokkona ja vertaa. Et pisteytä putkea uudelleen — otat siitä otoksen erimielisyyden varalta.
Katso kuviota, älä yksittäistä osumaa ohi. Yksi kahden pisteen ero rajatapausvastauksessa on normaalia; johdonmukainen yhden tason kuilu saman arvioijaparin välillä on ajautumista, ja kriteeri joka tuottaa erimielisyyksiä pari toisensa jälkeen on arviointimatriisiongelma eikä ihmisongelma. Kun kuvio ilmestyy, aja lyhyt uudelleenkalibrointi pelkästään sille kriteerille — pisteytä yksi näyte, keskustele, tiukenna kuvausta. Kaksikymmentä minuuttia, ei työpajaa.
Tässä myös arviointialusta ansaitsee paikkansa: kun jokainen pistemäärä kirjataan arviointimatriisia vasten perusteluineen, arvioijakohtaiset kuviot ovat näkyviä eivätkä anekdoottisia, ja pistokokeesta tulee raportti jonka luet eikä taulukko jonka rakennat pitkän pisteytyskierroksen lopuksi. Mitä kevyempi rituaali, sitä todennäköisemmin se selviää kosketuksesta kiireiseen rekrytointikauteen.
Kun kaksi pisteyttäjää on eri mieltä elävästä hakijasta
Erimielisyys todellisesta hakijasta ei ole prosessin epäonnistuminen — se on prosessi nostamassa esiin aidosti tiukan tapauksen. Väärät vastaukset ovat laiskat: pistemäärien hiljainen keskiarvoistaminen tai sen antaminen, että kokenein arvioija voittaa oletusarvoisesti. Keskiarvoistaminen piilottaa erimielisyyden; senioriteetti ratkaisee sen hierarkialla eikä näytöllä. Molemmat jättävät sinut kykenemättömäksi selittämään pistemäärää myöhemmin.
Kohtele sen sijaan olennaista erimielisyyttä laukaisimena. Kaksi arvioijaa vertaa perustelujaan arviointimatriisia ja sen ankkureita vasten; useimmat kuilut ratkeavat minuuteissa, kun molemmat osoittavat samaan kuvaukseen. Jos he ovat edelleen eri mieltä, ota mukaan kolmas arvioija, joka pisteyttää vastauksen sokkona näkemättä kahta ensimmäistä pistemäärää, ja anna keskustelun jatkua kolmesta itsenäisestä luennasta.
Oli ratkaisu mikä tahansa, kirjaa se: alkuperäiset pistemäärät, perustelut ja se miksi lopullinen pistemäärä asettui siihen mihin asettui. Tuo kirjaus tekee tiukasta päätöksestä selitettävän rekrytoivalle esihenkilölle — tai hakijan tulevalle puolustajalle — ja jokaisesta ratkaistusta erimielisyydestä tulee ehdokas ankkurikirjastoon, jotta samaa väittelyä ei tarvitse käydä kahdesti.
Pääkohdat
- Pisteyttäjien ajautuminen on oletustila jokaisessa moniarvioijaprosessissa; arviointimatriisit kaventavat sitä, mutta vain kalibrointi sulkee sen.
- Pidä kalibrointisessio ennen elävää pisteytystä: ensin itsenäiset pistemäärät, sitten keskustelu vain eroista, sitten arviointimatriisin korjaus siellä missä sanat sallivat kaksi tulkintaa.
- Ankkuriesimerkit — aidot vastaukset kiinnitettyinä pistetasoihin — muuttavat absoluuttiset arviot vertailuiksi, jotka ovat paljon johdonmukaisempia.
- Ylläpidä yhtenäisyyttä kevyin ja säännöllisin sokkopistokokein, ja kalibroi yksittäinen kriteeri uudelleen kun kuvio ilmestyy.
- Älä koskaan keskiarvoista elävää erimielisyyttä pois: vertaa perusteluja, lisää tarvittaessa sokko kolmas luku ja kirjaa miten se ratkesi.