Arviointi ja näyttö
Pisteytä näyttö, älä vaikutelmaa.
Anna arvioijille alkuperäinen vastaus, sama kirjattu standardi ja selkeä paikka kirjata harkintansa. Jokainen pistemäärä pysyy kytkettynä siihen työhön, joka sitä tukee.
Tekoäly voi tiivistää ja ehdottaa. Nimetty arvioija kirjaa pistemäärän; päätöksen tekevät ihmiset.
Tarkastustyötila, jossa standardi ja todiste pysyvät yhdessä
Valitse se kuvattu taso, joka vastaa työtä.
Matriisimuotoiset arviointimatriisit yhdistävät jokaiseen kriteeriin kirjatut kuvaukset kullakin tasolla. Arvioijat valitsevat sen käyttäytymisen, jonka he voivat nähdä, sen sijaan että nojaisivat omaan tulkintaansa luvusta.
- Kriteeri- ja tasokohtaiset kuvaukset
- Havainnoitavat pisteytysankkurit
- Nimenomaiset kriteeripainotukset
- Yhteiset kaikille arvioijille
Käytä suoraa numeerista syöttöä siellä, missä se sopii.
Klassiset arviointimatriisit säilyttävät saman kriteerirakenteen ja painotuksen ja antavat arvioijan syöttää pistemäärän suoraan numerona.
- Numeerinen pistemäärä kriteeriä kohden
- Kriteerien määritelmät
- Painotettu yhdistely
- Arvioijan muistiinpanot
Pidä automaattisen ja ihmisen tekemän pisteytyksen säännöt selvinä.
Vastausavaimelliset tehtävät voivat tuottaa automaattisen pistemäärän. Vastaukset ilman vastausavainta jäävät pisteyttämättä tarkastusta varten; roolisopivuuden koonnissa käytetään saatavilla olevaa ihmisen antamaa matriisipistemäärää tehtävän automaattisen sopivuuden sijaan.
- Vastausavaimeen perustuva pisteytys
- Puuttuva pistemäärä tarkoittaa tarkastustarvetta, ei nollaa
- Matriisipistemäärää käytetään roolisopivuuteen, kun se on saatavilla
- Pisteytystapa näkyvissä rakennustyökalussa
Pidä itsenäiset harkinnat kohdennettavina.
Useampi kuin yksi arvioija voi pisteyttää saman vastauksen. Jokainen pistemäärä tallennetaan nimetyn arvioijansa ja aikaleimansa kanssa ja keskiarvoistetaan sitten kunkin kriteerin sisällä ennen painotusten soveltamista.
- Nimetyn arvioijan attribuutio
- Aikaleimattu pisteytys
- Kriteerikohtainen keskiarvoistus
- Yksittäiset harkinnat pysyvät näkyvissä
Pidä hakijan työ totuuden lähteenä.
Kirjalliset vastaukset, ladatut tiedostot, nauhoitukset sekä haastattelujen ja simulaatioiden litteroinnit pysyvät tarkastettavissa sen sijaan, että tiivistelmä korvaisi ne.
- Kirjallisten tehtävien tuotokset
- Ladatut tuotokset
- Ääni- ja videovastaukset
- Haastattelujen ja simulaatioiden litteroinnit
Säilytä perustelut pistemäärän vieressä.
Muistiinpanot kiinnittyvät tehtävän arviointiin, jotta arvioija voi selittää, mitä hän havaitsi ja miksi työ vastasi tiettyä kriteeriä tai tasoa.
- Tehtävätason tarkastusmuistiinpanot
- Perustelut lukujen vieressä
- Nimetyn arvioijan konteksti
- Saatavilla tarkastuskirjauksessa
Tarkastele istunnon tapahtumia muuttamatta niitä pistemääräksi.
Kun luotettavuushallinnat ovat käytössä, niiden tapahtumat näkyvät omana aikajanana. Arvioijat tulkitsevat tuon kontekstin; tapahtumat eivät laske arvioinnin pistemäärää eivätkä hylkää hakijaa automaattisesti.
- Tarkastettava tapahtuma-aikajana
- Lähdenäyttö pysyy liitettynä
- Erillään osaamisen pisteytyksestä
- Ihmisen tekemä ratkaisu
Vie näyttö mukanasi luovutukseen.
Tulostettavat raportit tiivistävät pisteytyksen, arvioijan kontekstin, luotettavuusratkaisut ja lopullisen ihmisen tekemän päätöksen. Arvioijat voivat palata työtilaan alkuperäisen median ja keskustelunäytön ääreen.
- Tulostettava tulosyhteenveto
- Painotetun pisteytyksen menetelmä
- Arvioijan attribuutio
- Päätös- ja luotettavuuskonteksti
Käytä tekoälyä lukuajan lyhentämiseen siirtämättä harkintaa.
Näytön poiminta
Tekoäly voi järjestää pitkän vastauksen olennaiset kohdat arviointimatriisin kriteerejä vasten arvioijan tarkastettaviksi.
Pisteytysehdotusten luonnokset
Kriteeritason ehdotukset pysyvät arvioijan pistemäärän ulkopuolella, kunnes ihminen nimenomaisesti ottaa ne käyttöön tai korvaa ne.
Litteroinnin tarkastus
Haastattelujen ja simulaatioiden tuki toimii hakijan sanoista litteroinnissa, ei ilmeistä tai äänensävyn tunnetilasta.
Tuotoksen alkuperä
Tekoälyavusteisten arviointien tuotokset kantavat mallin ja version alkuperätiedon, jotta avustettu vaihe on jäljitettävissä myöhemmin.
Vastauksesta roolisopivuuteen: jokainen askel on selitettävissä.
Arviointi alkaa vastauksesta, ei abstraktista pistemäärästä. Arvioijat soveltavat jäädytettyä arviointimatriisin tilannevedosta, kirjaavat kriteerikohtaiset harkintansa ja pitävät muistiinpanot tehtävän näytön kanssa.
Arvioijien pisteet keskiarvoistetaan kunkin kriteerin sisällä, kriteerit yhdistyvät arviointimatriisin painotuksilla, ja tehtävänäyttö kulkee osaamis- ja osiopainotusten läpi roolisopivuudeksi. Päätöstaulu voi sitten vertailla tulosta piilottamatta sitä, miten se on syntynyt.
Katso hakijoiden vertailuAvaa vastaus
Lue tai toista hakijan alkuperäinen työ ja sen tehtäväkonteksti.
Sovella arviointimatriisia
Pisteytä jokainen kriteeri yhteisiä määritelmiä tai tasokuvauksia vasten.
Kirjaa perustelut
Liitä arvioijan muistiinpanot, jotta harkinta kulkee pistemäärän mukana.
Koosta läpinäkyvästi
Yhdistä kriteerit, osaamisalueet ja osiot niiden nimenomaisin painotuksin.
Arviointihallinnat, jotka pitävät tarkastuksen yhdenmukaisena ja tutkittavana
Yhteiset arviointimatriisit
Klassiset ja matriisimuotoiset arviointimatriisit antavat jokaiselle arvioijalle samat kriteerit ja nimenomaiset painotukset.
Lähdenäyttö
Alkuperäiset vastaukset, tiedostot, nauhoitukset, litteroinnit ja muistiinpanot pysyvät saatavilla tarkastustyötilassa.
Nimetty harkinta
Pisteet tallennetaan sen arvioijan kanssa, joka ne kirjasi, ja niiden lähetysajankohdan kanssa.
Tekoäly apuna
Tiivistelmät ja pisteytysehdotukset auttavat arvioijia suunnistamaan; ne eivät päätä eivätkä kirjoita pistemäärää itsenäisesti.
Hajanaisista mielipiteistä tarkastettavaan harkintaan
Jäsentymätön arviointi
- Yksi pistemäärä ilman näkyvää perustaa
- Arvioijan kommentit tallessa toisessa työkalussa
- Eri standardit eri hakijoille
- Tekoälyn tuotosta pidetään vastauksena
- Ei selkeää paluureittiä alkuperäiseen työhön
Arviointi ja näyttö SkillCortissa
- Kriteerikohtaiset pisteet sidottuina yhteiseen arviointimatriisiin
- Muistiinpanot vastauksen vieressä
- Nimetyt arvioijat ja nimenomaiset painotukset
- Tekoälyn ehdotukset erillään ihmisen antamista pisteistä
- Jokainen tulos jäljitettävissä lähdenäyttöön
Perusteltavissa oleva pistemäärä ei ole vain johdonmukaista laskentaa. Se on harkinta, jonka standardi, näyttö ja omistaja ovat kaikki tarkastettavissa.
Pidä tekoäly rajan arvioijan puolella.
Tekoäly voi lyhentää matkaa pitkän vastauksen tai litteroinnin läpi, mutta SkillCort pitää ehdotukset rakenteellisesti erillään arvioijien pisteistä. Ihmisen on otettava ehdotus käyttöön tai korvattava se, ja hakijoita koskevat päätökset pysyvät ihmisen omistuksessa.
- Ei tekoälyn kirjoittamaa hakijapäätöstä
- Ei automaattista hylkäystä
- Alkuperäinen vastaus pysyy näkyvissä
- Kriteeritason ehdotukset
- Ihmisen tekemä käyttöönotto- tai korvausvaihe
- Mallin ja version alkuperätieto
Arviointia ja näyttöä koskevia kysymyksiä
Klassiset arviointimatriisit ottavat vastaan numeerisen pistemäärän kriteeriä kohden. Matriisimuotoiset arviointimatriisit määrittelevät pisteytetyt tasot kirjatulla kuvauksella jokaiselle kriteeri–taso-yhdistelmälle. Molemmat tukevat kriteeripainotuksia ja arvioijan muistiinpanoja.
Usean arvioijan pisteet keskiarvoistetaan kunkin kriteerin sisällä. Kriteerien keskiarvot yhdistyvät sitten arviointimatriisin painotuksilla, minkä jälkeen tehtävät koostuvat kytkettyjen osaamisalueiden ja osiopainotusten läpi.
Se jää pisteyttämättä ja vaatii tarkastuksen; sitä ei hiljaisesti käsitellä nollana. Roolisopivuuden koonnissa käytetään ihmisen antamaa matriisipistemäärää tehtävän automaattisen sopivuuden sijaan, kun molemmat ovat saatavilla.
Ei. Tekoäly voi luonnostella kriteeritason ehdotuksia ja tiivistelmiä, mutta se ei itsenäisesti kirjoita arvioijien pisteitä eikä hakijoita koskevia päätöksiä. Nimetty henkilö tarkastaa näytön ja kirjaa harkinnan.
Tehtävästä riippuen tarkastustyötila voi sisältää kirjalliset vastaukset, ladatut tiedostot, ääni- tai videovastaukset, haastattelujen ja simulaatioiden litteroinnit, arvioijan muistiinpanot, arviointimatriisin pisteet ja erillisen luotettavuustapahtumien aikajanan, kun nämä hallinnat olivat käytössä. Tulostettavat raportit tiivistävät päätöskirjauksen sen sijaan, että upottaisivat jokaisen mediatyypin.
Pisteytetään yksi aito vastaus yhdessä.
Tuo tehtävä ja arviointimatriisi esittelyyn. Seuraamme alkuperäistä näyttöä arvioijan pisteytyksen, roolisopivuuden, raportoinnin ja lopullisen ihmisen tekemän päätöksen läpi.