By Daniel Whitmore, MSc in Industrial and Organizational Psychology
Lyhyesti
SkillCort suojaa arvioinnin luotettavuutta neljällä tasolla: selaimessa (sovelluksen sisäinen turvallinen koetila ja yli 20 välitöntä peukalointisignaalia), istunnossa (suostumukseen perustuva verkkokameran, näytön ja mikrofonin tallennus sekä tekoälyn esilajittelu 18 erillisen havainnon yli), vastauksessa (kokeesta ulos lähtenyt ja takaisin palannut kysymysteksti tunnistetaan varmuudella, lisäksi liittämis- ja kirjoitusforensiikka) ja kohortissa (jaettujen väärien vastausten ja lähes identtisten esseiden analyysi hakijoiden välillä). Mikään kerros ei tuota tuomiota omin päin — jokainen tekoälyn merkintä saa nimenomaisen, auditoidun ihmispäätöksen.
Yksi sääntö ennen yhtäkään ominaisuutta: signaali ei ole tuomio
Jokainen alla oleva kyvykkyys — käyttäytymiseen, kuvaan, ääneen tai tilastoon perustuva — päättyy samaan paikkaan: tarkastajan näytölle, kahden painikkeen viereen. Vahvistettu epäilyttäväksi, tai tarkastettu ja kunnossa. Jokainen tuomio tallennetaan tarkastajan henkilöllisyyden ja aikaleiman kanssa, joten puolen vuoden päästä tehtävä auditointi näyttää paitsi sen mitä järjestelmä näki, myös sen kuka sen arvioi ja miten.
Tämä ei ole automatisoidun järjestelmän kylkeen pultattu juridinen vastuuvapauslauseke. Se on arkkitehtuuri. Tekoälypinnat eivät voi muuttaa pistemäärää, estää palautusta tai hylätä hakijaa — noita polkuja ei yksinkertaisesti ole tuotteessa.
Selainkerros: turvallinen koetila ilman latauksia
Lockdown ajetaan hakijan selaimen sisällä — ei erillistä asennettavaa lockdown-sovellusta, ei liitännäistä. (Safe Exam Browser -tuki on edelleen saatavilla oppilaitoksille, joiden käytäntö vaatii ulkoista sovellusta.) Sillä hetkellä kun jotain tapahtuu, se kirjataan: ei kyselyvälin mukaan vaan itse tapahtumasta.
Kuinka tiukasti signaaleja valvotaan on toimituskohtainen valinta: pelkkä varoitus, kokeen pysäytys, merkintä tarkastukseen tai automaattinen palautus rikerajalla. Suhteuttaminen on asetus jonka omistat, ei ohjelmiston sattuma.
- Kokoruututilan valvonta ja ohjattu paluureitti
- Välilehden, ikkunan ja kohdistuksen menetyksen tunnistus — automaattisesti armahdettuna tiedostodialogien ja lupakyselyiden kohdalla, jotta tavalliset koetoiminnot eivät koskaan koidu hakijan vahingoksi
- Toisen näytön tunnistus sisääntulossa ja kesken kokeen
- Kopioinnin, liittämisen, leikkaamisen, hiiren oikean painikkeen ja tulostuksen esto; kuvakaappausnäppäimen ja DevToolsin tunnistus
- Keyboard Lock (mukaan lukien Esc) tuetuissa selaimissa
- Näytön jaon katkaisin: jaon lopettaminen lukitsee kokeen kunnes jako jatkuu
- Virtuaalikoneen sormenjälkisignaalit (neuvoa-antavia, eivät koskaan estäviä)
- Istunnon vesileima, jossa hakijan henkilöllisyys ja elävä aikaleima jokaisessa ruudussa
Istuntokerros: kolme tallennuspintaa, kahdeksantoista tekoälyhavaintoa
Hakijan nimenomaisella suostumuksella — jokainen tallennus kerrotaan suostumusnäytöllä ennen kokeen alkua, ja hakija näkee oman kameransa elävän omakuvan — toimitus voi tallentaa verkkokameran, näytön ja mikrofonin. Kun tarkastaja avaa istunnon, tekoäly käy läpi kaikki kolme pintaa ja osoittaa ne hetket, jotka kannattaa avata. Jokainen löydös on klikattava aikaleima, joka hyppäyttää istunnon toiston täsmälleen tuohon sekuntiin.
Verkkokamerassa yhdeksän havaintoa: ei kasvoja kuvassa, useampi kuin yksi henkilö, puhelin tai toinen laite, katse poispäin, kuulokkeet tai headset, muistiinpanojen aktiivinen käyttö, älykellon käyttö, peitetty kamera ja aktiivinen näyttö taustalla. Hakijan näytöllä viisi: tekoälyavustajan ikkuna, hakukoneen käyttö, viestisovellus, etäohjaustyökalu ja kokeen päällä olevat asiaankuulumattomat ikkunat. Äänessä neljä: puhe hiljaisen kokeen aikana, kysymyksen ääneen lukeminen (tunnistettuna deterministisesti kysymystekstiä vasten), vuoropuhelukuviot ja vastauksen sanelukuviot.
Rehellisyysrajoitteet ovat osa määrittelyä, eivät markkinointia. Kattavuus kerrotaan aina — tarkastus, joka otti näytteen 24 ruudusta 180:stä, sanoo niin. Puhujan henkilöllisyyttä ei koskaan väitetä äänen perusteella; tarkastaja kuuntelee varsinaisen tallenteen. Tekoälyn muistiinpanot eivät koskaan lainaa henkilökohtaisten viestien sisältöä. Ja itse tapahtumaloki on hash-ketjutettu, joten mikä tahansa jälkikäteinen muokkaus, poisto tai uudelleenjärjestys on kryptografisesti näkyvissä.
Vastauskerros: vahvimmat signaalit eivät tarvitse kameraa
Lockdownin alaisuudessa kokeesta ulos lähtenyt ja takaisin palaava kysymys tunnistetaan paluussa. Vie kysymys ulos ulkoiseen tekoälytyökaluun ja tuo tuotettu vastaus takaisin, ja edestakainen matka havaitaan varmuudella — ei todennäköisyytenä. Se on lähin asia mitä tällä alalla on savuavaan aseeseen, ja se toimii silloinkin kun jokainen kamera on pois päältä.
Sen ympärillä ovat käyttäytymisforensiikat: suuret liittämiset kirjallisiin vastauksiin, epäinhimilliset kirjoituspyrähdykset jotka viittaavat syötettyyn tekstiin, ja poistu-sitten-liitä-sarjat — kohdistuksen menetys ja sitä sekunneissa seuraava liitetty sisältö — jotka korreloidaan yhdeksi luettavaksi löydökseksi raakatapahtumien kohinan sijaan. Tekoälyn tekemä kirjallisten vastausten aitousluenta antaa toisen mielipiteen, merkittynä siksi heuristiikaksi jota se on.
Kohorttikerros: vilppi on sosiaalista, joten analyysikin on
Yhteistoiminta ei asu yhden istunnon sisällä; se asuu hakijoiden välissä. SkillCort vertaa jokaista palautettujen suoritusten paria kahdella sormenjäljellä. Ensin jaetut väärät vastaukset: hakijoiden samanmielisyys oikeissa vastauksissa on odotettavaa — se että kaksi hakijaa menee metsään samoissa kysymyksissä samoilla väärillä vastauksilla ei ole. Toiseksi lähes identtiset esseet, mitattuna sisältyvyyssamankaltaisuudella, jotta vastauksen kopioiminen ja yhden oman lauseen lisääminen ei laimenna osumaa.
Kolmas lista nostaa esiin nopeat suorittajat — hakijat, jotka jäävät selvästi kohortin mediaaniajan alle mediaanitason tai sitä parempien pistemäärien kanssa. Usein kyse on aidosti nopeasta osaajasta; toisinaan vuotaneesta sisällöstä. Paneeli sanoo täsmälleen niin, koska jokaisen tämän sivun signaalin tarkoitus on aloittaa tutkinta eikä päättää sitä. Tämä kerros on puhdasta analyysiä: ei tekoälykutsuja, ei mitään tallennettavaa, eikä — kuten kaikki muukaan — mitään mikä syötettäisiin pistemääriin.
Mitä SkillCort ei tee
Luotettavuustyökalut ansaitsevat luottamuksen yhtä paljon kieltäytymisillään kuin ominaisuuksillaan. Neljä niistä on pysyviä suunnitteluratkaisuja.
Kaikki yllä oleva on julkaistu SkillCortin Trust Centerissä versionumeron kanssa, ja lausuma muuttuu samassa julkaisussa kuin toiminta — kun tuote oppii uuden kyvyn, julkinen kerronta lähtee sen mukana eikä sen jälkeen.
- Ei automaattisia tuomioita — mikään kerros ei voi hylätä hakijaa; päätökset kantavat tarkastajan nimen ja aikaleiman
- Ei automaattista kasvojen vertailua — henkilöllisyyskuvat vertaavat ihmistarkastajat, tarkoituksella tekoälyn ulottumattomissa
- Ei salassa tapahtuvaa valvontaa — jokainen tallennus otetaan käyttöön organisaation toimesta toimituskohtaisesti ja kerrotaan hakijalle ennen koetta
- Ei piilotettua mainetta — ei asiakasrajat ylittävää hakijamuistia, ei salaisia pistemääriä
Pääkohdat
- Luotettavuus toimii kerroksissa, joilla on eri kattavuus: selain, istunto, vastaus, kohortti — yhden heikkoudet kattaa toinen.
- Tekoälyn esilajittelu kattaa 18 havaintoa verkkokameran, näytön ja äänen yli, mutta jokainen merkintä päättyy auditoituun ihmisen tuomioon.
- Kokeesta ulos lähtenyt ja takaisin palannut kysymys tunnistetaan varmuudella, myös kaikkien kameroiden ollessa pois päältä.
- Jaetut identtiset väärät vastaukset — eivät jaetut oikeat — ovat yhteistoiminnan tilastollinen sormenjälki.
- Se mitä alusta kieltäytyy tekemästä (automaattiset tuomiot, kasvojen vertailu, piilotetut pistemäärät) kerrotaan ja versioidaan Trust Centerissä.