Kalibroi usean arvioijan paneeli

Vaihe 1: Valitse kaksi tai kolme referenssivastausta

Kalibrointi tarvitsee raaka-ainetta: oikeita vastauksia, joita paneeli voi pisteyttää yhdessä. Valitse kaksi tai kolme valmista työnäytettä, jotka kattavat sen vaihteluvälin jonka odotat näkeväsi — yksi selvästi vahva, yksi keskitasoinen, yksi selvästi heikko. Pilottivastaukset tiimikavereilta käyvät; anonymisoidut vastaukset aiemmalta rekrytointikierrokselta käyvät vielä paremmin, koska niissä on todellisten hakijoiden sotkuisuus.

Asiakaspalveluroolissa vahva referenssi voisi olla vastaus, joka huomioi asiakkaan, korjaa laskutusvirheen täsmällisesti ja asettaa selkeän seuraavan askeleen. Keskimmäinen on se, jossa kalibrointi ansaitsee paikkansa: ehkä vastaus, joka ratkaisee ongelman mutta avautuu kylmästi, tai sellainen joka on lämmin mutta lupaa liikaa hyvityksen päivämäärästä. Paneelit ovat harvoin eri mieltä ääripäistä — ne ovat eri mieltä keskikohdasta.

Poista kaikki alkuperäisen kirjoittajan tunnistava ennen kierrättämistä, ja esitä kukin referenssi samassa muodossa jossa oikeat vastaukset saapuvat. Paneelin tulisi reagoida työhön, ei nimeen tai tiimikaverin maineeseen, ja mitä lähempänä referenssit tuntuvat todellisia hakijapalautuksia, sitä paremmin kalibrointi siirtyy varsinaiseen tarkastukseen.

• Yksi vahva, yksi keskitasoinen ja yksi heikko vastaus — keskimmäisellä on eniten merkitystä.
• Käytä pilottivastauksia tai anonymisoituja menneitä vastauksia, älä koskaan elävän hakijan ensimmäistä.
• Kata sama tehtävä, jonka oikeat hakijat suorittavat.
• Poista nimet ja kaikki tunnistavat yksityiskohdat ennen jakamista.

Vaihe 2: Pisteytä itsenäisesti arviointimatriisia vasten

Lähetä referenssivastaukset ja arviointimatriisi jokaiselle arvioijalle yhdellä säännöllä: pisteytä yksin, kriteeri kriteeriltä, ja kirjoita yhden rivin perustelu kullekin pistemäärälle. Ei keskustelua, ei jaettuja asiakirjoja, ei kurkistelua. Itsenäisyys on koko pointti — sillä hetkellä kun yksi arvioija näkee toisen luvut, mittaat mukautumista etkä yksimielisyyttä.

Pyydä kutakin arvioijaa pisteyttämään jokainen kriteeri erikseen sen sijaan että muodostaisi ensin kokonaisvaikutelman. Sisämyynnin kartoituspuheluvastaus voi saada korkeat pisteet luottamuksen rakentamisesta mutta matalat karsintakysymyksistä; yksi ainoa tuntumapistemäärä sumentaisi tuon eron. Perustelurivi pakottaa arvioijat osoittamaan näyttöä — „kysyi budjetista mutta ei koskaan aikataulusta” — ja juuri sen varassa keskusteluvaihe kulkee.

Aseta määräajaksi päivä tai kaksi ja pidä harjoitus riittävän lyhyenä kunnioittaaksesi kaikkien kalenteria — kolme referenssiä kymmenestä viiteentoista minuuttiin kukin on kohtuullinen pyyntö. Kalibrointi menettää vauhtinsa nopeasti, ja haluat jokaisen pistemäärän jätetyksi silloin kun vastaukset ovat vielä tuoreina kunkin arvioijan mielessä.

Vaihe 3: Vertaa kriteerikohtaisia eroja

Kokoa pisteet yhteen näkymään: rivit kriteereille, sarakkeet arvioijille, yksi ruudukko referenssivastausta kohti. Et etsi sitä kuka pisteytti „oikein” — vastausavainta ei vielä ole. Etsit eroja: kriteerejä joissa paneeli hajoaa enemmän kuin yhden tason verran, tai joissa kaksi arvioijaa istuu johdonmukaisesti muiden ylä- tai alapuolella.

Kuviot kertovat enemmän kuin yksittäiset kuilut. Jos yksi arvioija pisteyttää jokaisen sävykriteerin tason matalammalle kaikissa kolmessa referenssissä, hän lukee sanan „ammattimainen” merkityksessä „muodollinen” siinä missä muut lukevat sen merkityksessä „lämmin”. Jos koko paneeli hajoaa harkintakriteerissä — vaikkapa siinä, osoittaako hyvityspyynnön eskalointi hyvää politiikkatajua vai omistajuuden puutetta — arviointimatriisin kuvaus on monitulkintainen, ja keskustelun täytyy korjata sanat, ei ihmisiä.

• Merkitse jokainen kriteeri, jossa pisteet ulottuvat yli yhden arviointimatriisin tason.
• Etsi järjestelmällistä lempeyttä tai ankaruutta yhdellä arvioijalla kaikkien referenssien läpi.
• Erota arviointimatriisin monitulkintaisuus (kaikki hajoavat) tulkinnan ajautumisesta (yksi hajoaa).

Vaihe 4: Keskustelkaa kunnes paneeli sopii ankkureista

Kokoa paneeli työistuntoon — tunti riittää yleensä kolmelle referenssille. Käykää merkityt erot läpi yksi kerrallaan. Kukin arvioija selittää, mikä näyttö ohjasi hänen pistemääräänsä, minkä jälkeen paneeli päättää mikä luenta vastaa arviointimatriisin tarkoitusta. Kunkin keskustelun tuotos on ankkuri: „tämä vastaus on se, miltä kolmonen kirjallisessa selkeydessä näyttää, ja tässä on miksi”.

Pidä keskustelu näytössä, ei arvojärjestyksessä. Rekrytoivan esihenkilön luenta ei voita automaattisesti; jos voittaisi, paneelia ei tarvittaisi. Kun kaksi luentaa ovat molemmat puolustettavia — mikä on tavallista harkintakriteereissä asiakaspalvelun ja myynnin skenaarioissa — paneeli valitsee yhden ja sitoutuu, koska johdonmukainen mittapuu sovellettuna jokaiseen hakijaan voittaa kaksi „oikeaa” mittapuuta sovellettuina sattumanvaraisesti.

Jos kriteeriä ei saa ankkuroitua keskustelitte kuinka kauan tahansa, kyseessä on arviointimatriisin vika, ei paneelin epäonnistuminen. Kirjoita kuvaus uudelleen siltä istumalta paneelin omin sanoin, pisteytä referenssit uudelleen uutta sanamuotoa vasten ennen eteenpäin siirtymistä, ja merkitse muutos jotta arvioinnin omistaja voi päivittää pääarviointimatriisin.

Vaihe 5: Dokumentoi sovitut tulkinnat

Kalibrointi, joka elää vain muistissa, rapistuu viikossa. Kirjaa istunnon päätökset lyhyeen kalibrointimuistiinpanoon, joka liitetään arviointiin: ankkuroidut pisteet kullekin referenssivastaukselle, perustelu josta paneeli sopi, ja kaikki arviointimatriisin sanamuodot jotka muuttuivat. Kun arvioija epäröi oikean hakijan kohdalla kesken tarkastuksen, juuri tähän muistiinpanoon hän tarttuu sen sijaan että arvaisi tai kilauttaisi ryhmächättiin.

Pidä se konkreettisena. „Nelonen vastaväitteiden käsittelyssä tarkoittaa, että hakija nimesi vastaväitteen, kehysti sen uudelleen ja esitti jatkokysymyksen — katso referenssi B” on käyttökelpoinen tarkastushetkellä; „linjasimme vastaväitteiden käsittelystä” ei ole. Muistiinpanosta tulee myös osa päätöskansiotasi: jos pisteytyspäätös joskus kyseenalaistetaan, voit näyttää että mittapuu oli olemassa ennen kuin yhtäkään hakijaa tarkastettiin.

• Kirjaa ankkuroidut pisteet ja perustelut jokaiselle referenssivastaukselle.
• Merkitse lokiin kaikki istunnon aikana uudelleen kirjoitetut arviointimatriisin kuvaukset.
• Säilytä muistiinpano arvioinnin yhteydessä, jotta se kulkee päätöskansion mukana.
• Jaa se jokaiselle arvioijalle, joka liittyy paneeliin myöhemmin.

Vaihe 6: Tarkista ajautuminen tarkastusjakson aikana

Kalibrointi ei ole kertaluonteinen seremonia. Pitkän tarkastusjakson kuluessa arvioijat ajautuvat: kymmenes keskinkertainen asiakaspalveluvastaus näyttää huonommalta kuin ensimmäinen näytti, ja mittapuut kiristyvät tai löystyvät hiljaa. Jos tarkastuksesi kestää viikkoa pidempään tai kattaa yli parikymmentä hakijaa, ajoita ajautumisen tarkistus jaksoon puoliväliin.

Kevyin versio: valitse yksi jo pisteytetty vastaus, anna kahden arvioijan pisteyttää se uudelleen sokkona ja vertaa alkuperäisiin pisteisiin. Jos erot ovat hiipineet yli tason, aja lyhyt kertaus dokumentoituja ankkureita vasten. Tarkkaile myös rakenteellisia signaaleja — yhden arvioijan keskiarvon liukumista pois paneelin keskiarvosta, tai kriteeriä jossa ohitukset ja toiset tarkastukset kasautuvat. Ne ovat ajautumista, joka kertoo mistä katsoa.

Lopuksi, käsittele jokaista oikeiden tarkastusten aikana havaittua erimielisyyttä ilmaisena kalibrointidatana. Rajatapauksena oleva asiakaspalveluvastaus, joka jakaa paneelin tänään, on huomisen keskitasoinen referenssivastaus, ja kriteeri joka tuottaa jatkuvasti ohituksia on ensimmäinen asia joka kannattaa ankkuroida uudelleen ennen seuraavaa rekrytointikierrosta. Paneeli, joka tallentaa nämä hetket, tuskin tarvitsee muodollista uudelleenkalibrointia.