Näin esikatselet ja testaat arvioinnin ennen julkaisua

What you'll need

• Luonnosarviointi koottuna rakentimessa (osiot, sivut, lohkot)
• Arviointimatriisit tai vastausavaimet liitettyinä jokaiseen pisteytettävään tehtävään
• Puhelin tai kapea selainikkuna mobiilikierrosta varten
• 1–2 kollegaa käytettävissä lyhyeen pilottiajoon

Step 1: Avaa hakijan esikatselu rakentimen ylätunnisteesta

Aloita jokainen laadunvarmistuskierros rakentimen ylätunnisteen „Esikatsele hakijana” -toiminnosta. Esikatselu piirtää arvioinnin täsmälleen sellaisena kuin hakija sen näkee — samat sivut, lohkot, ohjeet ja ajastimet — joten kaikki mitä täällä nappaat, on todellinen ongelma korjattuna ennen kuin se maksaa sinulle vastauksen.

Vastusta houkutusta silmäillä omaa sisältöäsi. Sinä kirjoitit nämä tehtävät, joten aivosi täyttävät aukkoja joita hakija ei voi täyttää. Lue jokainen ohje kuin et olisi koskaan nähnyt roolia, ja vastaa jokaiseen kysymykseen rehellisesti sen sijaan että klikkaisit läpi. Pointti on kokea arviointi, ei kierrellä sitä.

Step 2: Käy jokainen sivu läpi työpöydällä, vastaten oikeasti

Etene sivu sivulta ja suorita kukin tehtävä oikeasti: kirjoita tekstivastaukset, täytä taulukkosyötteet, lataa tiedosto, nauhoita ääni tai video jos arviointi sitä pyytää. Vuorovaikutteiset tehtävätyypit hajoavat tavoilla joita visuaalinen silmäily ei koskaan paljasta — lataus joka hylkää ilmeisen tiedostomuodon, koodaustehtävä sekavassa aloitustilassa, nauhoituslohko jonka hakija saattaa ohittaa.

Kiinnitä erityistä huomiota rinnakkaisiin ärsykeasetteluihin. Varmista että ärsyke ja kysymys näkyvät yhdessä, että pitkät asiakirjat vierittyvät itsenäisesti ja ettei mikään pakota hakijaa muistamaan ärsykettä ulkoa ennen vastaamista. Asetteluongelma tässä kohtaa muuttaa hiljaa sitä mitä tehtävä mittaa — siitä taidosta jota varten suunnittelit työmuistiin ja kärsivällisyyteen.

• Jokainen ohje on yksiselitteinen tiimisi ulkopuoliselle
• Lataukset, nauhoitukset ja koodilohkot hyväksyvät realistisen vastauksen
• Ärsyke ja kysymys ovat luettavissa yhdessä yhdellä ruudulla
• Pakolliset kentät ja liikkuminen käyttäytyvät odotetusti jokaisella sivulla

Step 3: Toista läpikäynti puhelimella

Aja sama esikatselu puhelimella tai kapeassa selainikkunassa. Hakijat eivät aina istu työpöydän ääressä, ja asettelut jotka näyttävät hyviltä leveällä näytöllä voivat haudata ärsykkeen, katkaista taulukon tai työntää lähetyspainikkeen loputtoman vierityksen alle pienellä ruudulla.

Jos tehtävä aidosti vaatii työpöytää — koodiympäristö, pitkä rinnakkainen asiakirjan tarkastelu — sano se nimenomaisesti arvioinnin ohjeissa sen sijaan että antaisit hakijoiden löytää sen kesken suorituskerran. Yksi odotuksia asettava lause etukäteen on paljon halvempi kuin turhautunut, puolivalmis vastaus.

Step 4: Koeaja realistinen suoritus rajojasi vasten

Suorita arviointi realistisella työtahdilla ja vertaa kulunutta aikaasi niihin koko- ja sivukohtaisiin rajoihin jotka asetit rakentimessa. Lisää sitten marginaali: sinä tunnet materiaalin jo, ja hakija joka lukee kaiken ensimmäistä kertaa on merkittävästi hitaampi kuin sinä olit.

Tarkista sivukohtaiset rajat yksitellen, älä pelkkää kokonaisaikaa. Yksi aliarvioitu sivu — yleensä se jolla on rikkain työnäyte — voi pilata muuten hyvin ajoitetun arvioinnin, koska yhden tehtävän aikapaine rankaisee eniten huolellisia hakijoita. Jos sivu tuntui kiireiseltä jopa sinusta, pidennä sitä ennen kuin kukaan muu näkee sen.

Step 5: Varmista jokainen arviointimatriisi ja vastausavain tehtäväänsä vasten

Avaa kukin pisteytettävä tehtävä ja varmista että sen pisteytysasetus vastaa tehtävää sellaisena kuin se on tosiasiassa kirjoitettu — ei sellaisena kuin luonnostelit sen kolme muokkausta sitten. Automaattisesti pisteytettävissä tehtävissä tarkista että vastausavain merkitsee oikeat vaihtoehdot ja että pistearvot ovat aiotut. Muista että tehtävä ilman vastausavainta pisteytyy automaattisesti tyhjäksi ja odottaa manuaalista tarkastusta; se ei pisteydy hiljaa nollaksi, mutta se jää pisteyttämättä kunnes joku käsittelee sen.

Arviointimatriisilla pisteytettävissä tehtävissä lue kukin kriteeri uudelleen tehtävänantoa vasten ja varmista että vahva vastaus juuri tähän tehtävänantoon voisi tosiasiassa osoittaa jokaisen kriteerin. Huomaa että arviointimatriisit jäätyvät tilannekuvaksi liitettäessä, joten tämä on se hetki korjata sanamuotoja — myöhemmät muokkaukset pankissasi eivät tavoita julkaistua arviointia.

Step 6: Käy julkaisun tarkistuslista läpi

Julkaisun tarkistuslista on alustan viimeinen portti: se estää julkaisun kunnes vaadittu asetus on valmis, merkiten esimerkiksi puuttuvan pisteytysmäärityksen tai keskeneräisen osioasetuksen. Käy jokainen sen nostama kohta läpi sen sijaan että etsisit nopeinta polkua vihreään painikkeeseen.

Kohtele tarkistuslistaa lattiana, ei kattona. Se varmistaa rakenteellisen täydellisyyden; se ei voi arvioida ovatko ohjeesi selkeitä tai ajoituksesi inhimillinen. Sitä varten edelliset vaiheet olivat. Kun tarkistuslista on puhdas ja manuaaliset kierroksesi on tehty, olet valmis pilotoimaan.

Step 7: Aja pilotti yhden tai kahden talon sisäisen ihmisen kanssa

Ennen kuin yksikään hakija näkee arvioinnin, anna yhden tai kahden kollegan tehdä se alusta loppuun todellisissa olosuhteissa — oikealla toteutuslinkillä, oikeilla aikarajoilla ja niillä turvallisuusasetuksilla joita aiot käyttää, jotta myös suostumus- ja esitarkistuskokemus tulee testatuksi. Valitse ihmisiä jotka eivät auttaneet rakentamaan sitä; tuoreet silmät löytävät sen mitä sinun eivät voi.

Pura kokemus heti tuoreeltaan. Pisteytä sitten heidän vastauksensa arviointimatriisejasi vasten viimeisenä tarkistuksena siitä että arviointimatriisin kieli toimii todelliseen tuotokseen eikä vain teoriassa. Korjaa mitä pilotti nostaa esiin, aja esikatselu uudelleen kaikelle mitä muutit, ja lähetä vasta sitten kutsut.

• Missä ohjeet tuntuivat monitulkintaisilta tai yllättäviltä?
• Mikä sivu tuntui aikapaineisimmalta?
• Tuntuivatko esitarkistus ja turvallisuuskehotteet oikeasuhtaisilta panoksiin nähden?
• Voitiinko pilotin vastaukset pisteyttää siististi arviointimatriisia vasten?