Näin luot ajastetun, osioidun verkkokokeen

What you'll need

• Tehtävät valmiina pankissasi, järjestettynä kansioihin tageineen
• Sidosryhmien kanssa sovittu tavoitekokonaiskesto
• Karkea kartta aiheista tai vaikeustasoista osioiksi muutettavaksi
• Viisitoista minuuttia oman kokeesi tekemiseen esikatselussa ennen julkaisua

Step 1: Suunnittele rakenne ennen rakentimen avaamista

SkillCortin kokeet rakennetaan osioina, jotka sisältävät sivuja, jotka sisältävät lohkoja. Osiot ovat järjestelyyksikkösi — tyypillisesti yksi aihetta tai kompetenssia kohti — ja niiden pisteytyspainot virtaavat lopulliseen roolisopivuuspistemäärään. Sivut ovat se mitä hakija näkee yksi ruutu kerrallaan, ja lohkot ovat yksittäiset kysymykset tai sisältöpalat sivulla.

Luonnostele tämä hierarkia ensin paperille. Päätä montako osiota tarvitset, karkeasti montako sivua kukin sisältää ja mitkä sivut ansaitsevat oman aikarajansa. Suunnitelma „kolme osiota, neljä sivua kukin, kaksi minuuttia sivua kohti osiossa kaksi” vie viisi minuuttia kirjoittaa ja säästää tunnin uudelleenjärjestelyä myöhemmin.

Step 2: Rakenna osiot ja sivut rakentimessa

Luo arviointi ja lisää osiosi. Luo kunkin osion sisällä sivuja ja täytä ne lohkoilla — tuo olemassa olevat tehtävät valitsinikkunan kautta suodattaen kansion, tagin tai tehtävätyypin mukaan ja monivalinnalla, tai luo uusia lohkoja paikan päällä. Pidä sivut sulavina: kolmesta viiteen toisiinsa liittyvää kysymystä sivua kohti lukeutuu paremmin kuin yksi loputon vieritys.

Aseta kunkin osion pisteytyspaino nyt eikä toteutuksen jälkeen. Jos osio yksi on perustietoa ja osio kolme sovellettua ongelmanratkaisua, painottaminen 20/30/50 kertoo pisteytysmoottorille — ja myöhemmin Decision Boardille — mitä tämä koe tosiasiassa arvostaa.

Step 3: Aseta kokonaisaikaraja

Arviointikohtainen kokonaisaikaraja on yleisbudjetti: kun se loppuu, suorituskerta päättyy riippumatta siitä missä hakija on. Aseta se realistisen tahdin perusteella, ei optimismin — tee koe itse esikatselussa, merkitse aikasi ja lisää mukavasti pelivaraa, koska hakijat lukevat tuntemattomia kysymyksiä hitaammin kuin tekijä.

Vastusta houkutusta laittaa kokonaisraja tekemään kaksoistyötä luotettavuuskontrollina. Sen tehtävä on pitää koe oikeasuhtaisena ja vertailukelpoisena hakijoiden välillä. Jos olet huolissasi siitä että hakijat etsivät asioita, se on toteutusasetuksia koskeva keskustelu eikä syy näännyttää kaikkia lukuajan puutteeseen.

Step 4: Lisää sivukohtaiset aikarajat sinne missä tahdilla on merkitystä

Sivukohtaiset aikarajat ovat tiukempia ja paikallisempia: kun sivun aika umpeutuu, hakija siirretään automaattisesti seuraavalle sivulle ja umpeutunut sivu lukittuu — hän ei voi palata siihen. Tämä on täsmälleen se mitä haluat silloin kun myöhempi sivu paljastaisi vastauksen aiempaan, tai kun aikapaineen alla työskentely on itsessään osa sitä mitä mittaat.

Koska umpeutuminen ei ole hakijalle neuvoteltavissa, käytä sivukohtaisia rajoja harkitusti ja kerro niistä. Ilmaise hakijan ohjeissa mitkä sivut on ajastettu erikseen ja mitä umpeutuessa tapahtuu. Hakijalla, jonka lukittuva sivu yllättää, on oikeutettu valituksen aihe; hakijaa, jolle kerrottiin etukäteen, yksinkertaisesti testattiin.

• Käytä sivukohtaisia rajoja silloin kun vastausten vuotaminen sivujen välillä on riski
• Käytä niitä silloin kun nopeus paineen alla on aito työn vaatimus
• Ohita ne sivuilla joilla on pitkiä lukukappaleita tai monimutkainen ärsyke
• Ilmoita niistä aina hakijan ohjeissa

Step 5: Määritä sekoitus kolmella tasolla

SkillCort voi sekoittaa osio-, sivu- ja lohkotasolla, ja jokainen sekoitus on siemennetty suorituskerran mukaan — kukin hakija saa yhden johdonmukaisen järjestyksen koko suorituskerrakseen, mutta eri hakijat saavat eri järjestykset. Tämä tekee vierekkäin tapahtuvasta vastausten jakamisesta paljon hyödyttömämpää tekemättä yhdenkään yksittäisen hakijan kokemuksesta kaoottista.

Sekoita lohkot sivujen sisällä lähes aina; sekoita sivut osion sisällä silloin kun sivut ovat riippumattomia; sekoita osiot vain jos aiottua vaikeusramppia ei ole. Jos kokeesi lämmittelee tarkoituksella ennen vaikeaa materiaalia, pidä osiojärjestys kiinteänä ja sekoita niiden sisällä.

Step 6: Kirjoita hakijan ohjeet, jotka poistavat yllätykset

Käytä hakijan ohjeet -kenttää ilmaistaksesi kokonaisajan, mitkä sivut kantavat omat rajansa, voiko lukittuihin sivuihin palata (ei voi) ja mitä tapahtuu kun aika umpeutuu. Hakijat suoriutuvat lähempänä todellista kyvykkyyttään kun säännöt ovat nimenomaisia, ja läpinäkyviä sääntöjä on myös helpompi puolustaa jos tulos joskus kyseenalaistetaan.

Pidä ohjeet lyhyinä ja asiapohjaisina. Kolme tai neljä lausetta ajasta, liikkumisesta ja kysymysmäärästä voittaa juridiselta kuulostavan tekstiseinän jota kukaan ei lue. Jos toteutus käyttää mitään seurantaa, hakijat näkevät lisäksi suostumusportin ennen aloittamista — ohjeiden ja portin tulisi kertoa sama tarina.

Step 7: Esikatsele hakijana, julkaise sitten

Klikkaa rakentimen ylätunnisteesta „Esikatsele hakijana” ja tee koko koe realistisella tahdilla. Tarkistat kolmea asiaa: jättääkö kokonaisraja järkevän pelivaran, onko jokin sivukohtainen raja niin tiukka että se rankaisee huolellisia lukijoita, ja tuottavatko sekoitetut järjestykset koskaan sivua joka olettaa kontekstin sivulta joka saattaa tulla vasta myöhemmin.

Korjaa mitä löydät, esikatsele uudelleen ja julkaise sitten. Julkaisun tarkistuslista estää julkaisun kunnes vaadittu asetus on valmis, joten kohtele jokaista ratkaisematonta kohtaa todellisena aukkona eikä muodollisuutena. Julkaisun jälkeen luo toteutus nimineen ja aikaikkunoineen ja lähetä kutsut.