By Daniel Whitmore, MSc in Industrial and Organizational Psychology
Kısaca
SkillCort değerlendirme güvenliğini dört kapsamda korur: tarayıcı (uygulama içi güvenli sınav modu, 20'den fazla anlık kurcalama sinyaliyle), oturum (rızaya dayalı kamera, ekran ve mikrofon kaydı; 18 ayrı gözlem üzerinden yapay zekâ ön elemesiyle), yanıt (sınavdan çıkıp geri dönen soru metni kesinlikle tespit edilir; artı yapıştırma ve yazım adli analizi) ve kohort (adaylar arasında ortak-yanlış-cevap ve yinelenen-metin analizi). Hiçbir katman tek başına hüküm üretmez — her yapay zekâ bayrağı açık ve denetlenen bir insan kararı alır.
Herhangi bir özellikten önce tek kural: hiçbir sinyal hüküm değildir
Aşağıdaki her yetenek — davranışsal, görsel, işitsel, istatistiksel — aynı yerde biter: bir inceleyicinin ekranında, iki düğmenin yanında. Şüpheli olarak doğrulandı ya da incelendi ve sorun yok. Her hüküm, inceleyicinin kimliği ve bir zaman damgasıyla saklanır; böylece altı ay sonraki bir denetim yalnızca sistemin ne gördüğünü değil, kimin nasıl yargıladığını da gösterir.
Bu, otomatik bir sistemin üzerine cıvatalanmış hukuki bir feragat değildir. Mimarinin kendisidir. Yapay zekâ yüzeyleri bir puanı değiştiremez, bir gönderimi engelleyemez ya da bir adayı bırakamaz — bu yollar üründe basitçe yoktur.
Oturum katmanı: üç kayıt yüzeyi, on sekiz yapay zekâ gözlemi
Adayın açık rızasıyla — her kayıt, sınav başlamadan önce rıza ekranında bildirilir ve aday kendi kamerasının canlı görüntüsünü görür — bir teslimat kamerayı, ekranı ve mikrofonu kaydedebilir. Bir inceleyici bir oturumu açtığında yapay zekâ üç yüzeyi de tarar ve açmaya değer anları gösterir. Her bulgu, oturum tekrarını tam o saniyeye atlatan tıklanabilir bir zaman damgasıdır.
Kamerada dokuz gözlem: karede yüz yok, birden fazla kişi, telefon ya da ikinci cihaz, başka yere bakma, kulaklık ya da kulaklıklı mikrofon, etkin biçimde not kullanma, akıllı saatle etkileşim, kapatılmış kamera ve arka planda açık bir ekran. Adayın ekranında beş: bir yapay zekâ asistanı penceresi, kullanımda bir arama motoru, bir mesajlaşma uygulaması, bir uzaktan kontrol aracı ve sınavın üstünde ilgisiz pencereler. Seste dört: sessiz bir sınav sırasında konuşma, sorunun sesli okunması (soru metnine karşı belirlenimci biçimde tespit edilir), diyalog örüntüleri ve cevap dikte etme örüntüleri.
Dürüstlük kısıtları pazarlamanın değil, şartnamenin parçasıdır. Kapsam her zaman bildirilir — 180 kareden 24'ünü örnekleyen bir inceleme bunu söyler. Sesten konuşmacı kimliği asla iddia edilmez; inceleyici gerçek kaydı dinler. Yapay zekâ notları kişisel mesaj içeriğini asla alıntılamaz. Ve olay kaydının kendisi hash zincirlidir; böylece sonradan yapılan her düzenleme, silme ya da yeniden sıralama kriptografik olarak görünür olur.
Yanıt katmanı: en güçlü sinyaller kamera gerektirmez
Kilitli mod altında, sınavdan çıkıp geri gelen bir soru dönüşte tanınır. Bir soruyu harici bir yapay zekâ aracına götürüp üretilen cevabı geri getirin; bu gidiş-dönüş olasılıkla değil, kesinlikle tespit edilir. Bu alanın sahip olduğu en somut delile en yakın şeydir ve her kamera kapalıyken bile çalışır.
Etrafında davranışsal adli analiz durur: yazılı yanıtlara yapılan büyük yapıştırmalar, enjekte edilmiş metni düşündüren insan dışı yazma patlamaları ve çık-sonra-yapıştır dizileri — bir odak kaybının saniyeler içinde yapıştırılmış içerikle izlenmesi — ki bunlar ham olay gürültüsü yerine tek ve okunabilir bir bulguda ilişkilendirilir. Yazılı yanıtların yapay zekâ ile özgünlük okuması, sezgisel olduğu açıkça etiketlenmiş ikinci bir görüş ekler.
Kohort katmanı: kopya toplumsaldır, analiz de öyle
İş birliği tek bir oturumun içinde yaşamaz; adaylar arasında yaşar. SkillCort gönderilmiş her attempt çiftini iki parmak izinde karşılaştırır. Birincisi ortak yanlış cevaplar: adayların doğru cevaplarda buluşması beklenir — iki adayın aynı soruları aynı yanlış cevaplarla kaçırması beklenmez. İkincisi, kapsama benzerliğiyle ölçülen neredeyse birebir metinler; böylece bir cevabı kopyalayıp sonuna özgün bir cümle eklemek eşleşmeyi sulandırmaz.
Üçüncü bir liste hızlı bitirenleri gösterir — kohortun medyan süresinin çok altında kalıp medyan ya da üzerinde puan alan adaylar. Bu çoğu zaman gerçekten hızlı bir uzmandır; ara sıra sızmış içeriktir. Panel tam olarak bunu söyler; çünkü bu sayfadaki her sinyalin amacı bir soruşturmayı başlatmaktır, bitirmek değil. Bu katman saf analizdir: yapay zekâ çağrısı yok, saklanan bir şey yok ve — diğer her şey gibi — puanlara akan bir şey yok.
SkillCort'un yapmayacakları
Güvenlik araçları, güveni özellikleri kadar reddettikleriyle de kazanır. Dördü kalıcı tasarım kararıdır.
Yukarıdakilerin tamamı SkillCort Trust Center'da bir sürüm numarasıyla yayımlanır ve beyan, davranışla aynı sürümde değişir — ürün yeni bir yetenek öğrendiğinde, kamuya açık bildirim onunla birlikte çıkar, sonrasında değil.
- Otomatik hüküm yok — hiçbir katman bir adayı bırakamaz; kararlar bir inceleyicinin adını ve zaman damgasını taşır
- Otomatik yüz eşleştirme yok — kimlik fotoğrafları insan inceleyiciler tarafından karşılaştırılır ve bilinçli olarak yapay zekânın elinden uzak tutulur
- Sessiz gözetim yok — her kayıt teslimat başına kurum tarafından açılır ve sınavdan önce adaya bildirilir
- Gizli itibar yok — müşteriler arası aday hafızası yok, gizli puan yok
Öne çıkanlar
- Güvenlik farklı kapsamlarda katmanlar hâlinde çalışır: tarayıcı, oturum, yanıt, kohort — birindeki zayıflığı diğeri kapatır.
- Yapay zekâ ön elemesi kamera, ekran ve seste 18 gözlemi kapsar; ama her bayrak denetlenen bir insan hükmüyle biter.
- Sınavdan çıkıp geri dönen bir soru, tüm kameralar kapalıyken bile kesinlikle tespit edilir.
- Ortak doğru cevaplar değil, ortak ve birebir aynı yanlış cevaplar iş birliğinin istatistiksel parmak izidir.
- Platformun yapmayı reddettikleri (otomatik hükümler, yüz eşleştirme, gizli puanlar) Trust Center'da açıklanır ve sürümlenir.