Suunnittele arviointimatriiseja, jotka pisteyttävät johdonmukaisesti

Vaihe 1: Johda kriteerit blueprintistä, älä vastauksesta

Jokaisen arviointimatriisisi kriteerin tulisi jäljittyä johonkin rooliblueprintisi käyttäytymiseen. Avaa blueprintin kartoitustaulukko, etsi ne kompetenssit joita tehtävä rakennettiin havaitsemaan, ja siirrä niiden käyttäytymiset kriteereiksi. Arviointimatriisiin ei pääse mitään, mitä blueprint ei nimeä, eikä mikään mitä tehtävä suunniteltiin havaitsemaan jää pisteyttämättä. Juuri tämä jäljitettävyys tekee pistemäärästä myöhemmin merkityksellisen: nelonen „harkinnasta politiikan sisällä” osoittaa takaisin määriteltyyn käyttäytymiseen, joka osoittaa takaisin todellisiin työn tuotoksiin.

Pidä lukumäärä tiukkana — kolmesta viiteen kriteeriä tehtävää kohti. Arvioijat pisteyttävät luotettavasti silloin kun kukin kriteeri on erillinen; kymmenen päällekkäistä kriteeriä tuottaa halo-pisteytystä, jossa yksi vahva vaikutelma vuotaa jokaiselle riville. Jos kaksi kriteeriä liikkuisi lähes aina yhdessä, kuten „selkeys” ja „rakenne” kirjallisessa asiakaspalveluvastauksessa, yhdistä ne ja sano se kriteerin kuvauksessa.

Vastusta kriteerien lisäämistä kesken tarkastuksen siksi, että vastaus yllätti sinut. Jos hakijat tekevät jatkuvasti jotain mitä arviointimatriisi ei näe — hyvää tai huonoa — merkitse se odotuslistalle seuraavaa versiota varten. Välineen muuttaminen kesken mittaamisen on se tapa, jolla johdonmukaisuus kuolee: eilen pisteytetyt ja huomenna pisteytettävät hakijat kohtaisivat eri mittapuut, eikä kukaan voisi sanoa mikä pistemäärä tarkoittaa mitäkin.

Vaihe 2: Kirjoita kriteerit havaittavana käyttäytymisenä, älä piirteinä

Kriteeri on havaittava silloin, kun arvioija voi osoittaa sen rivin vastauksessa joka täyttää sen. Piirresanat — empaattinen, itsevarma, yksityiskohtiin keskittyvä — kutsuvat jokaisen arvioijan konsultoimaan yksityistä määritelmää, ja yksityiset määritelmät ovat se kohta jossa kaksi pistemäärää erkanevat. Kirjoita jokainen piirre uudelleen siksi näkyväksi teoksi, joka todistaa sen juuri tämän tehtävän tuotoksessa.

Uudelleenkirjoituksen kaava on mekaaninen: nimeä piirre, kysy mitä kirjaimellisesti näkisit vahvassa vastauksessa, ja kirjoita se ylös. Tee uudelleenkirjoitus tehtäväsuunnitteluvaiheen pilottivastauksia vasten, koska pilotti näytti sinulle täsmälleen miltä kukin käyttäytyminen näyttää tässä muodossa ja tällä pituudella. Alla olevat esimerkit on poimittu asiakaspalvelun ja sisämyynnin tehtävistä.

• „Osoittaa empatiaa” sijaan → „huomioi asiakkaan turhautumisen avausriveillä, ennen kuin ehdottaa mitään korjausta”.
• „Hyvä harkinta” sijaan → „soveltaa hyvityspolitiikkaa oikein ja selittää tekemänsä poikkeuksen perusteluineen”.
• „Vahva viestijä” sijaan → „ilmaisee seuraavan askeleen, sen omistajan ja sen milloin asiakas kuulee takaisin”.
• „Konsultoiva” sijaan → „esittää vähintään yhden kartoittavan kysymyksen prospektin nykyisestä prosessista ennen tuotteen asemointia”.
• „Järjestelmällinen” sijaan → „työstää jonoa puolustettavassa tärkeysjärjestyksessä ja ilmaisee perustelun valitulle järjestykselle”.

Vaihe 3: Ankkuroi jokainen asteikkotaso konkreettisin kuvauksin

Asteikko yhdestä neljään ilman ankkureita on vain neljä tuntuman makua. Kirjoita kullekin kriteerille lyhyt kuvaus siitä, mitä kunkin tason vastaus tosiasiassa sisältää — tämä on se tasopohjainen eli matriisimuotoinen arviointimatriisi, joka saa itsenäiset arvioijat lähentymään. Ankkurit tekevät yhdenmukaistamisen, joten kunkin täytyy kuvata näyttöä eikä astesanoja: „jokseenkin selkeä” ja „hyvin selkeä” eivät ankkuroi mitään.

Otetaan asiakaspalvelutikettitehtävän tilanteen rauhoittamisen kriteeri. Taso 4: huomioi turhautumisen täsmällisesti, pysyy puolustelemattomana, ratkaisee politiikan sisällä ja sitoutuu konkreettiseen seuraavaan askeleeseen aikatauluineen. Taso 3: huomioi ja ratkaisee oikein, mutta sitoumus on epämääräinen. Taso 2: politiikan osalta oikein mutta ohittaa asiakkaan tunnetilan, tai pahoittelee ratkaisematta mitään. Taso 1: kiristää sävyä, esittää politiikan väärin tai jättää asiakkaan ilman etenemispolkua.

Käytä parillista määrää tasoja — neljä toimii hyvin — jottei ole mukavaa keskikohtaa johon parkkeerata epävarmat pisteet. Ja ankkuroi pilottivastauksistasi: sisäpiiriläistesi tuottamat vahvat, keskitasoiset ja heikot tuotokset ovat todellisia esimerkkejä tasoista, ja niiden kuvioiden siteeraaminen ankkureihin pitää asteikon rehellisenä tehtävälle.

Vaihe 4: Painota kriteerit harkitusti

Painottamattomat arviointimatriisit julistavat hiljaa kaiken yhdenvertaiseksi, mikä ei lähes koskaan ole se mitä blueprint sanoo. Kanna blueprintin kompetenssipainot alas arviointimatriisiin: se kompetenssi jonka kohdalla rekrytoiva esihenkilö kieltäytyisi rekrytoimasta saa raskaimmat kriteerit, valmennettavat saavat vähemmän. Aseta painot ennen pisteytyksen alkua ja kirjoita yhden lauseen perustelu kunkin viereen, jotta valinta on tarkastettavissa eikä kansanperinnettä.

Ole yhtä harkittu sen suhteen mikä ei kanna painoa. Oikeinkirjoitus ajastetussa luonnoksessa, muotoilun koristeet tai hakijan aksentti äänivastauksessa tulisi nimenomaisesti luetella pisteyttämättöminä, ellei blueprint nimeä niitä — eikä useimmissa asiakaspalvelu- ja sisämyyntirooleissa nimeä. Ei-kriteerien nimeäminen on yksi vahvimmista reiluusliikkeistä joita arviointimatriisi voi tehdä, koska se riisuu aseista ne vinoumat joita arvioijat eivät tiedä itsellään olevan.

• Painot peilaavat blueprintiä: päätöksen kannalta kriittiset kompetenssit raskaimpina, valmennettavat kevyempinä.
• Yhden lauseen perustelu kirjattuna kutakin painoa kohti.
• Ei-kriteerit nimettyinä nimenomaisesti: se minkä arvioijat eivät saa antaa liikuttaa pistemäärää.
• Ei hyväksytty/hylätty-portteja harkintakriteereihin — harmaan alueen vastaukset pisteytetään suhteellisesti ankkureita vasten.

Vaihe 5: Testaa arviointimatriisi näytevastauksilla ennen julkaisua

Arviointimatriisi, joka ei ole koskaan pisteyttänyt mitään, on hypoteesi. Ota pilottivastauksesi — sekä muutama tarkoituksella epätäydellinen jonka luonnostelet itse, kuten vastaus joka on lämmin mutta politiikan osalta väärässä, tai jatkosähköposti joka on täsmällinen mutta kylmä — ja anna kahden arvioijan pisteyttää ne itsenäisesti luonnosarviointimatriisia vasten. Vertaa sitten, kriteeri kriteeriltä.

Siellä missä kaksi pistemäärää eroavat, korjaus on lähes aina ankkuritekstissä eikä arvioijissa. Kuilu kakkosen ja kolmosen välillä samassa vastauksessa tarkoittaa, että tasokuvaukset jättävät tilaa tulkinnalle: terävöitä niitä sillä täsmällisellä näytöllä, jonka kiistanalainen vastaus sisälsi. Lämmin-mutta-väärässä-vastaus on erityisen hyödyllinen — se pakottaa arviointimatriisin todistamaan, että sävy ja oikeellisuus pisteytetään erillisillä riveillä eikä sekoiteta yhdeksi vaikutelmaksi.

Toista kunnes itsenäiset pisteet osuvat yhden tason sisään toisistaan jokaisessa kriteerissä. Tekoäly voi auttaa tässä päätöksen tukena — tiivistämällä pitkiä vastauksia tai osoittamalla missä vastaus kosketti kutakin kriteeriä — mutta tämän testin pisteiden täytyy tulla ihmisarvioijiltasi, koska juuri heidän yksimielisyytensä tuottamiseksi arviointimatriisi on olemassa.

Vaihe 6: Jäädytä versio ennen kuin hakijat astuvat sisään

Sillä hetkellä kun ensimmäinen hakijan vastaus saapuu, arviointimatriisin täytyy lakata liikkumasta. Jäädytä se versioksi 1: kriteerit, ankkurit, painot ja ei-kriteerit, päivämäärän ja sen blueprint-version linkin kanssa josta se johtuu. Jokainen haun pistemäärä viittaa nyt kiinteään välineeseen, ja juuri se antaa sinun verrata ensimmäistä hakijaa neljänteenkymmenenteen ja puolustaa molempia pisteitä kuukausia myöhemmin, jos päätös kyseenalaistetaan.

Parannukset menevät odotuslistalle, eivät elävään arviointimatriisiin. Kun haku sulkeutuu — tai aidosti rikkinäinen ankkuri pakottaa aikaisen korjauksen — julkaise versio 2 muutoslokin kanssa, ja jos muutos osuu kesken haun, päätä nimenomaisesti ja kirjaa, pisteytetäänkö aiemmat vastaukset uudelleen uudella versiolla. Jäädytetty, versioitu arviointimatriisi on ero auditointivalmiin päätöskansion ja sellaisen numerokasan välillä jota kukaan ei voi rakentaa uudelleen.