By Daniel Whitmore, MSc in Industrial and Organizational Psychology
Kısaca
İşe alımda yapay zekâ karar desteği olarak çalışmalıdır: görev ve rubrik taslakları çıkarabilir, yanıtları ve mülakat dökümlerini özetleyebilir ve ölçüt düzeyinde puanlar önerebilir — ama her puanı adı belli bir kişi onaylar ya da geçersiz kılar ve her karar, onu açıklayabilecek bir insana aittir. Yapay zekâ destekli her çıktı köken bilgisi taşımalıdır (hangi model, hangi sürüm); böylece yapay zekânın bir kararda oynadığı rol sonradan denetlenebilir kalır.
"Adayı yapay zekâ seçti" tek cümlede iki başarısızlıktır
Birinci başarısızlık hesap verebilirliktir. Bir işe alım kararı bir insanın geçimini etkiler ve birinin buna sahip çıkabilmesi gerekir — adaya açıklayabilmek, bir paydaşa savunabilmek ve itiraz edilirse yanıt verebilmek. "Model onları daha düşük puanladı" bir açıklama değildir; bir el çekmedir. Bir elemenin arkasında adı belli bir insan durmadığında kurum bir kararı otomatikleştirmemiştir. Bir kararı sahipsiz bırakmıştır.
İkinci başarısızlık kalitedir ve daha az konuşulur. Bir destek adayının öfkeli bir müşteriye verdiği yanıtı okuyan bir model kurguyu ve üslubu yetkin biçimde değerlendirebilir; ama ekibinizin bu çeyrek iade tırmandırmalarında boğulduğunu, rolün en iyi gerilim düşürücünüzün yerini doldurduğunu ya da işe alım yöneticisinin yazıyı koçlayabildiğini ama muhakemeyi koçlayamadığını bilmez. Karar açısından anlamlı bağlam insanlarda yaşar. Tek başına karar veren bir model, panelin sahip olduğundan daha az bilgiyle karar verir.
Dolayısıyla popüler çerçeveleme — bir yapay zekâ kararına cıvatalanmış bir güvenlik freni olarak insan gözetimi — meseleyi tersinden alır. İnsan yapay zekânın kararını incelemiyor; yapay zekâ insanın kararını hazırlıyor. Bu tersine çevirme pratikte de önemlidir. Makine çıktısına lastik damga vuran bir inceleyici makinenin kör noktalarına doğru kayar; kararın sahibi olan bir değerlendirici ise makineyi daha az düşünmek için değil, daha çok görmek için kullanır.
İyi yapay zekâ yardımı gerçekte neye benzer
Yapay-zekâ-karar-verir'i reddetmek yapay zekâyı reddetmek değildir — bu, değerlendirmenin gördüğü en inceleyici dostu teknolojiyi çöpe atmak olurdu. İş örneği değerlendirmesi tam da yapay zekânın gerçekten iyi olduğu türden kanıt üretir: uzun yazılı yanıtlar, çok adımlı görev çıktıları, soğuktan okunması gerçek zaman alan bütün oturumlar. Bir yardımcı olarak kullanıldığında, hizmet etmek için var olduğu muhakemenin yerini almadan insan değerlendirmesini hızlandırır ve tutarlı kılar.
Her özellik için sınav aynıdır: değerlendiricinin muhakemesini hazırlıyor mu, yoksa onun yerine mi geçiyor? Geçen yardım insana daha iyi malzeme verir ve sonucu açık bırakır; kalan yardım ise insanın rolünü sessizce makinenin görüşüne evet-hayır demeye daraltır. Bir müşteri destek ya da iç satış işe alımında, sınavı geçen yardım şuna benzer:
- Özetler: adayın bütün talep kuyruğu alıştırmasını ya da keşif görüşmesi notunu, değerlendiricinin tek tıkla ham çıktıya karşı doğrulayabileceği bir brifinge indirmek.
- Kanıt işaretçileri: bir yanıtın müşteriyi nerede anladığını, politika kararının nerede verildiğini, bir itirazın nerede gerçekten yanıtlandığını ya da savuşturulduğunu göstermek.
- Taslak ölçüt puanları: ölçüt başına rubriğe çıpalı bir puan önermek; gerekçelendiren pasajlarla birlikte — bir başlangıç noktası, asla bir hüküm değil.
- Tutarlılık bayrakları: bir değerlendiricinin puanı, alıntıladığı rubrik tanımından keskin biçimde ayrıldığında bunu fark edip kalibrasyon için yüzeye çıkarmak.
- Güvenlik sinyalleri: oturum sapmalarını orantılı insan incelemesi için işaretlemek — asla otomatik eleme değil.
| Yapay zekâ taslar ve yüzeye çıkarır | Adı belli bir insan karar verir |
|---|---|
| Görev, soru ve rubrik taslakları | Rolü gerçekte neyin ölçtüğü |
| Uzun yanıtların ve dökümlerin özetleri | Kanıtın nasıl tartılacağı |
| Ölçüt düzeyinde puan önerileri | Onaylanan puan — ve varsa geçersiz kılma |
| Kanıt işaretçileri ve güvenlik bayrakları | Bir adayın ilerleyip ilerlemeyeceği |
Onayla ya da geçersiz kıl: kontrolü insanda tutan kontrol noktası
Karar desteğini karar aklamasından ayıran tasarım ayrıntısı, açık kontrol noktasıdır. SkillCort'ta yapay zekânın tasladığı her puan, adı belli bir değerlendirici onaylayana ya da geçersiz kılana kadar beklemede durur — ve geçersiz kılmak, değerlendiricinin muhakemesinden fazlasını gerektirmez. Gerekçe vergisi yok, makineyle aynı fikirde olmamayı sessizce cezalandıran bir sürtünme yok. Geçersiz kılmak kabul etmekten zorsa, fazladan adımları olan bir yapay zekâ karar vericisi kurmuşsunuzdur.
Geçersiz kılmalar gürültü değil, sinyaldir. Değerlendiriciler politika içinde muhakeme ölçütünde taslak puanı sürekli geçersiz kılıyorsa, bu rubrik tanımının muğlak olduğunu ya da görevin yeniden tasarım gerektirdiğini söyler — sessiz bir lastik damga akışının asla yüzeye çıkarmayacağı bir geri bildirim. Kontrol noktası kontrolü insanda tutar ve yan etki olarak yardımı, nerede işe yarayıp nerede yaramadığı konusunda dürüst tutar.
Her onayın bir ad taşıması konusunda ısrar etmemizin nedeni budur. "Bir değerlendirici onayladı" hesap verebilirliktir; "sistem işledi" değildir. İşe alımda karar biriminin adı gerekçesi olan bir kişidir ve araçlar o kişiyi soyutlamak yerine görünür kılmalıdır. Bir aday neden ilerletilmediğini sorduğunda yanıt kimin karar verdiğiyle başlamalıdır — ve kanıt dosyası bunu söyleyebilmelidir.
Köken: destekli her çıktı makbuzunu taşır
Yapay zekâ bir değerlendirmeye dokunuyorsa kayıt bunu söylemelidir. Bir adayın kanıt dosyasındaki yapay zekâ destekli her çıktı köken bilgisi taşır: hangi model üretti, hangi sürüm, ne zaman çalıştı, kendisinden ne istendi ve sonucu kim onayladı ya da geçersiz kıldı. Bir uyum süsü olarak değil — destekli bir kararı denetlenebilir kılan şey olarak.
Köken, aksi hâlde aylar sonra yanıtsız kalacak soruları yanıtlar. Bu özet rubrik değişmeden önce mi sonra mı üretildi? Bu iki adayın taslak puanları aynı model sürümünden mi geldi, yani başlangıç noktaları karşılaştırılabilir mi? Bu öneriyi bir puana hangi insan çevirdi? Kayıt olmadan "yapay zekâ destekli", "yapay zekâ karar verdi, doğrulanamaz biçimde"ye çürür. Kayıtla birlikte bir denetçi, bir aday ya da kendi ekibiniz makinenin katkısının nerede bitip insanın muhakemesinin nerede başladığını tam olarak yeniden kurabilir.
Düzenlemeler aynı çizgiye yakınsıyor
Bu yalnızca bizim felsefemiz değil; hukukun yönü. AB Yapay Zekâ Yasası, işe alım ve istihdam kararlarında kullanılan yapay zekâ sistemlerini yüksek riskli sayar ve yükümlülükleri doğrudan insan gözetimini, şeffaflığı ve kayıt tutmayı işaret eder — onayla-ya-da-geçersiz-kıl kontrol noktaları, etiketlenmiş yardım ve köken kayıtlarıyla aynı üçlü. Başka yerlerdeki düzenleyiciler de otomatik istihdam kararlarını benzer çizgide inceliyor. Yükümlülüklerin ayrıntısı değişir; yön değişmez.
İnsan-karar disiplinini şimdi kuran ekipler bir uyum bahsine girmiyor — düzenleyicilerin tarif ettiği süreci kuruyorlar; çünkü zaten doğru süreç oydu. Satış konuşması "yapay zekâ sizin için sıralar ve eler" olan bir satıcı, size düzenleme yörüngesinin tam karşısına düşen mimariyi satıyordur. Adı belli hesap verebilirlikle birlikte karar desteği temkinli seçenek değildir. Kalıcı olandır.
Duruşumuz, açıkça
Değerlendirmede yapay zekâ, insan muhakemesini daha hızlı, daha tutarlı ve daha iyi kanıtlanmış kılmalı — ve onun yerini asla almamalıdır. Pratikte bu şu demektir: yapay zekâ özetler ve kanıtı gösterir; insanların yazdığı bir rubriğe göre ölçüt düzeyinde puanlar taslar; adı belli bir kişi her puanı onaylar ya da geçersiz kılar; destekli her çıktı modelini, sürümünü ve inceleyicisini kaydeder; güvenlik sinyalleri otomatik elemeye değil insan incelemesine gider; ve hiçbir aday gizli bir yapay zekâ puanını işverenler arasında taşımaz.
İş-örneği-önce değerlendirmenin talep ettiği şey budur. Bir adaydan asıl işi yapmasını istemenin bütün amacı — öfkeli müşteriyi yanıtlamak, satış hattını işlemek — rolü anlayan bir kişinin işi okuyup karar vermesidir. Kişiyi ortadan kaldıran her şey amacı da ortadan kaldırır. Puandan hikâyeye, makineden kenara, karardan bir ada: kurduğumuz ölçüt bu ve sektörün eninde sonunda varacağını düşündüğümüz yer de burası.
Öne çıkanlar
- "Adayı yapay zekâ seçti" iki kez başarısız olur: kararın sahibi yoktur ve karar, insanların sahip olduğundan daha az bağlamla verilmiştir.
- İyi yapay zekâ yardımı somuttur: özetler, kanıt işaretçileri, rubriğe çıpalı taslak puanlar ve kalibrasyon bayrakları — asla seçme ya da eleme değil.
- Yapay zekânın tasladığı her puan, adı belli bir değerlendiricinin onaylaması ya da geçersiz kılması için bekler ve geçersiz kılmak, kabul etmek kadar kolay olmalıdır.
- Köken kaydı — model, sürüm, zaman damgası, görev, inceleyici — yapay zekâ destekli değerlendirmeyi doğrulanamaz olmaktan çıkarıp denetlenebilir kılan şeydir.
- AB Yapay Zekâ Yasası işe alımı yüksek riskli sayar ve gözetim, şeffaflık ile kayıt vurgusu, insanın karar verdiği değerlendirmeyle aynı yönü gösterir.