By Daniel Whitmore, MSc in Industrial and Organizational Psychology
Lyhyesti
Kysymysten laatusignaalit ovat todellisista hakijavastauksista laskettuja tunnuslukuja, jotka kertovat tekeekö kysymys työnsä. Kaksi tärkeintä ovat vaikeus — se osuus hakijoista joka vastaa oikein — ja erottelukyky — se kuinka hyvin kysymys erottaa vahvat hakijat heikoista. Kysymys, jonka lähes kaikki osaavat tai jonka lähes kukaan ei osaa, kantaa vähän tietoa, ja matalan erottelukyvyn kysymys ei lajittele hakijoita lainkaan. Molemmat ovat signaaleja tarkistaa vastausavain ja korjata sanamuoto ennen kuin kysymys muovaa seuraavaa päätöstä.
Hyvältä näyttävä kysymys voi silti mitata ei mitään
Useimmat arviointikysymykset kirjoitetaan kerran, tarkastetaan sanamuodon osalta ja sitten niihin luotetaan ikuisesti. Tuo luottamus on väärässä paikassa — ei siksi että laatijat olisivat huolimattomia, vaan siksi ettei kysymyksen laatu näy sen tekstissä. Kaksi kysymystä voi lukea yhtä hyvin ja käyttäytyä täysin eri tavoin sillä hetkellä kun hakijat niihin vastaavat: toinen erottaa siististi ne jotka osaavat asian niistä jotka eivät, toinen jakaa huoneen sattumanvaraisesti.
Kysymysanalyysi on kurinalaisuutta arvioida kysymyksiä niiden käyttäytymisen eikä ulkonäön perusteella. Se on peräisin klassisesta testiteoriasta, ja työnäytepankissa tarvitset vain kahta sen mittaria napataksesi ne kysymykset jotka hiljaa vahingoittavat sinua: kuinka vaikea kysymys on ja kuinka hyvin se erottelee. Molemmat lasketaan niistä vastauksista jotka omat hakijasi ovat jo antaneet, ja juuri se tekee niistä luotettavia — ne kuvaavat sinun testiäsi sinun populaatiollasi eivätkä oppikirjan ihannetta.
Tarkoitus ei ole jahdata täydellistä lukua jokaisessa kysymyksessä. Tarkoitus on nostaa esiin se pieni joukko kysymyksiä, jotka aktiivisesti vääristävät tuloksiasi, jotta ihminen voi katsoa niitä ja päättää kunkin kohdalla korjataanko, säilytetäänkö vai poistetaanko se. Hyvä pankki ei ole sellainen jossa jokainen kysymys on virheetön; se on sellainen jossa vialliset kysymykset tunnetaan.
Vaikeus: sekä liian helppo että liian vaikea maksavat tietoa
Vaikeus, hämäävästi nimettynä, on vain se osuus hakijoista joka vastaa kysymykseen oikein — kysymyksellä johon 70 % vastaa oikein on vaikeus 0,70. Sen tehtävä ei ole olla korkea tai matala vaan olla informatiivinen, ja ääripäät kantavat lähes olematonta tietoa. Kun 95 % tai useampi hakija saa kysymyksen oikein, se ei enää erota ketään: sekä vahvat että heikot hakijat ylittävät sen, joten kysymys lisää pituutta lisäämättä signaalia. Se voi silti kuulua arvioinnin alkuun lämmittelyksi, mutta se ei tee mittaustyötä.
Vastakkainen ääripää on vaarallisempi. Kun vain 20 % tai harvempi vastaa oikein, rehellinen ensiepäily ei ole se että hakijasi olisivat heikkoja — vaan se että kysymys on rikki. Väärin avaimitettu vastaus, monitulkintainen kysymyksenasettelu, kaksi puolustettavaa vaihtoehtoa tai tehtävä joka testaa jotain mitä rooli ei koskaan tarvitse ajavat kaikki oikeiden osuuden pohjalukemiin. Aidosti vaikea kysymys, jonka viidennes vahvasta joukosta silti ratkaisee, on legitiimi ja arvokas; kysymyksessä jota lähes kukaan ei ratkaise on yleensä ongelma, jonka korjaat minuutissa kun menet katsomaan.
Vaikeus kannattaa siis lukea kaidepariksi eikä tavoitteeksi. Hyvin helpot kysymykset ovat ehdokkaita poistoon tai uudelleensijoitukseen; hyvin vaikeat ovat ehdokkaita avaimen ja sanamuodon tarkistukseen. Kaikki siltä väliltä tekee työnsä eikä kaipaa huomiotasi.
Erottelukyky: erottaako kysymys vahvan heikosta?
Erottelukyky on näistä kahdesta signaalista voimakkaampi ja se, jonka tiimit useimmin ohittavat. Se kysyy yhtä asiaa: pärjäävätkö ne hakijat jotka menestyvät tässä kysymyksessä yleensä hyvin myös koko arvioinnissa? Kun vastaus on kyllä, kysymys vetää samaan suuntaan kuin muu testi — se erottelee. Kun yhteyttä ei ole, kysymys mittaa jotain muuta tai ei mitään, riippumatta siitä kuinka järkevältä se lukee.
Konkreettisesti erottelukyky on korrelaatio yhden kysymyksen oikein saamisen ja hakijan kokonaispistemäärän välillä. Korkeat arvot tarkoittavat, että vahvat hakijat saavat sen ja heikot menevät ohi, mikä on juuri sitä mitä haluat. Nollan lähellä oleva arvo tarkoittaa, ettei kysymys lajittele hakijoita lainkaan. Negatiivinen arvo on se hälytys johon kannattaa tarttua välittömästi: se tarkoittaa, että vahvemmat hakijasi saavat kysymyksen todennäköisemmin väärin — klassinen sormenjälki väärin avaimitetusta vastauksesta tai kepposesta, joka rankaisee niitä jotka ymmärtävät asian syvimmin.
Laajasti käytetty nyrkkisääntö pitää alle noin 0,20:n erottelukykyä heikkona — kysymys tuskin erottaa vahvaa heikosta ja on ehdokas korjaukseen. Mutta erottelukyky on merkityksellinen vasta kun riittävän moni on vastannut; kolmella vastauksella se on kohinaa. Siksi vastuullinen merkintä odottaa vähimmäisotosta ennen kuin se luottaa lukuun, ja siksi tuoretta kysymystä ei koskaan tuomita sen ensimmäisten hakijoiden perusteella.
Nämä signaalit ansaitaan, niitä ei arvata
Kysymysanalyysin rehellinen rajoite on se, ettei se voi kertoa mitään sinä päivänä kun kirjoitat kysymyksen. Vaikeus ja erottelukyky ovat vastausten ominaisuuksia, joten aivan uudella kysymyksellä ei ole terveydentilaa lainkaan ennen kuin hakijat ovat vastanneet siihen riittävän monta kertaa sanoakseen jotain todellista. Tämä on ominaisuus eikä puute: se pitää signaalit kiinni näytössä eikä mielipiteessä, ja se suojaa uutta kysymystä tulemasta tuomituksi ennen kuin se on saanut reilun kierroksen.
Se tarkoittaa myös, että kysymysten laatu on ylläpitotapa eikä kertaluonteinen portti. Vuosi sitten puhdas pankki ajautuu, kun rooli muuttuu, kun hakijajoukko siirtyy ja kun kysymyksiä käytetään uudelleen eri arvioinneissa. Seuraamisen arvoisia ovat ne kysymykset, joilla on todellista käyttöä ja riittävästi vastauksia luotettaviksi — mikä käytännössä on pieni, muuttuva osajoukko pankista eikä koko pankki. Et auditoi kaikkea; luet sitä kourallista kysymyksiä, jotka data on merkinnyt.
Miten SkillCort nostaa tämän esiin: ”Needs attention” -merkintä
SkillCort laskee kysymysten terveydentilan todellisista hakijavastauksista jokaisessa arvioinnissa, jossa kysymys esiintyy, ja muuttaa nuo kaksi signaalia yhdeksi selkeäksi suodattimeksi kysymyspankissasi: Needs attention. Kysymys päätyy sinne kun data näyttää yhden kolmesta konkreettisesta ongelmasta — matala erottelukyky kun vähintään viisi ihmistä on vastannut, vaikeus 95 %:ssa tai sen yli (hyvin helppo), tai vaikeus 20 %:ssa tai sen alle (hyvin vaikea). Mitään ei merkitä aavistuksen perusteella, eikä mitään merkitä ennen kuin sillä on vastauksia jotka perustelevat sen.
Jokainen merkitty kysymys kantaa syynsä mukanaan sirunä kysymyksen vieressä: Low discrimination, Very easy tai Very hard, taustaluvut hiiren alla. Pankki ei siis vain kerro että kysymys on heikko — se kertoo miksi, ja juuri se muuttaa varoituksen seuraavaksi teoksi. Kysymyspankin analytiikkanäkymä kokoaa samat signaalit koko pankin yli ja lisää mukaan sen, millä kysymyksillä on tarpeeksi dataa arvioitavaksi ja mitä ei ole koskaan käytetty, jotta näet mittaamisesi terveyden yhdellä silmäyksellä eikä kysymys kerrallaan.
Kaiken tämän takana oleva suunnittelusääntö on sama joka hallitsee muutakin alustaa: järjestelmä nostaa esiin signaalin ja syyn, ja ihminen tekee ratkaisun. SkillCort kertoo sinulle että kysymys on hyvin vaikea ja näyttää että vain 12 % vastasi siihen oikein; se ei poista kysymystä hiljaisesti eikä kumoa harkintaasi siitä, onko tuo vaikeus ongelma vai koko pointti.
Mitä tehdä kun kysymys on merkitty
Aloita vastausavaimesta, etenkin hyvin vaikeiden ja negatiivisen erottelukyvyn kysymysten kohdalla. Yllättävän suuri osa hälyttävistä luvuista ratkeaa sillä hetkellä kun luet avaimitetun vastauksen uudelleen ja huomaat, että toinenkin vaihtoehto on oikein tai että tarkoitettu vastaus on väärä. Tämä yksi tarkistus korjaa enemmän merkittyjä kysymyksiä kuin mikään määrä uudelleenkirjoittamista.
Jos avain on oikein, lue kysymys niin kuin hämmentynyt hakija lukisi. Hyvin vaikeilla ja matalan erottelukyvyn kysymyksillä on usein yhteinen juurisyy: monitulkintainen sanamuoto, kaksi puolustettavaa vastausta tai kysymyksenasettelu joka hiljaa testaa jotain sen taidon ulkopuolelta jota tarkoitit mitata. Kielen tiukentaminen niin että vain yksi tulkinta jää jäljelle riittää yleensä siirtämään lukuja. Hyvin helpot kysymykset ovat lempeämpi tapaus — säilytä ne lämmittelyinä jos ne palvelevat sitä tarkoitusta, tai poista ne jotta arviointi käyttää aikansa siellä missä mittaaminen oikeasti tapahtuu.
Vastusta lopuksi houkutusta ylireagoida pieniin otoksiin. Kourallisen vastausten voimalla merkitty kysymys on kysymys jota kannattaa seurata eikä tuomita; anna sille lisää hakijoita ennen kuin toimit. Kysymysten laatu on hidas, kumuloituva luenta, ja tavoite on pankki jonka heikot kysymykset tunnetaan ja joita hallitaan — ei pankki josta on hangattu pois jokainen epätäydellinen luku.
Pääkohdat
- Kysymyksen laatu asuu siinä miten hakijat siihen vastaavat, ei siinä miltä se lukee — kaksi yhtä siistiä kysymystä voivat käyttäytyä täysin eri tavoin.
- Vaikeus on kaksi kaidetta: hyvin helpot kysymykset (≥95 % oikein) eivät lisää signaalia; hyvin vaikeat (≤20 % oikein) viittaavat yleensä väärin avaimitettuun tai monitulkintaiseen kysymykseen.
- Erottelukyky — saavatko vahvat hakijat kysymyksen oikein ja heikot väärin — on terävin signaali; alle noin 0,20 on heikko, ja negatiivinen arvo tarkoittaa lähes aina väärin avaimitettua vastausta.
- Nämä tunnusluvut ansaitaan todellisista vastauksista, joten uusilla kysymyksillä ei ole terveydentilaa ennen kuin riittävän moni on vastannut; vastuullinen merkintä odottaa vähimmäisotosta.
- SkillCortin ”Needs attention” -suodatin nostaa merkityt kysymykset esiin syy näkyvissä (Low discrimination / Very easy / Very hard) — järjestelmä näyttää signaalin, ihminen päättää korjauksen.