By Daniel Whitmore, MSc in Industrial and Organizational Psychology
Qısaca
Element keyfiyyəti siqnalları real namizəd cavablarından hesablanan statistikalardır və sualın öz işini görüb-görmədiyini sizə deyir. Ən çox əhəmiyyət daşıyan ikisi çətinlik — düzgün cavab verən namizədlərin payı — və fərqləndirmə gücü — sualın güclü namizədləri zəiflərdən nə qədər yaxşı ayırmasıdır. Demək olar ki, hamının düzgün və ya səhv cavabladığı sual az məlumat daşıyır, aşağı fərqləndirmə gücü olan sual isə namizədləri ümumiyyətlə sıralaya bilmir. Hər ikisi sual növbəti qərara təsir etməmişdən əvvəl cavab açarını yoxlamaq və ifadəni yenidən işləmək üçün siqnaldır.
Yaxşı görünən sual yenə də heç nə ölçməyə bilər
Əksər qiymətləndirmə sualları bir dəfə yazılır, ifadə baxımından nəzərdən keçirilir və sonra əbədi olaraq etibar qazanır. Bu etibar yersizdir — müəlliflər səhlənkar olduğu üçün yox, sualın keyfiyyəti onun mətnində görünmədiyi üçün. İki sual eyni dərəcədə yaxşı oxuna və namizədlər cavab verdiyi an tamamilə fərqli davrana bilər: biri materialı bilənləri bilməyənlərdən səliqəli şəkildə ayırır, digəri isə auditoriyanı təsadüfi bölür.
Element təhlili sualları görünüşünə görə deyil, davranışına görə mühakimə etmə intizamıdır. O, klassik test nəzəriyyəsindən gəlir və iş nümunəsi bankı üçün sizə səssizcə zərər verən sualları tutmaq baxımından onun ölçülərindən yalnız ikisi lazımdır: sualın nə qədər çətin olduğu və nə qədər yaxşı fərqləndirdiyi. Hər ikisi sizin öz namizədlərinizin artıq verdiyi cavablardan hesablanır və onları etibarlı edən də budur — onlar dərslikdəki ideali deyil, sizin populyasiyanızda sizin testinizi təsvir edir.
Məqsəd hər elementdə mükəmməl rəqəmin arxasınca qaçmaq deyil. Məqsəd nəticələrinizi fəal şəkildə təhrif edən kiçik sual dəstəsini üzə çıxarmaqdır ki, insan onlara baxıb hər birini düzəltməyi, saxlamağı və ya istifadədən çıxarmağı qərara alsın. Yaxşı bank hər sualı qüsursuz olan bank deyil; qüsurlu sualları məlum olan bankdır.
Çətinlik: həm çox asan, həm də çox çətin suallar sizə məlumat itkisinə başa gəlir
Çətinlik — adı çaşdırıcı olsa da — sadəcə suala düzgün cavab verən namizədlərin nisbətidir; insanların 70%-nin düzgün cavabladığı sualın çətinliyi 0,70-dir. Onun işi yüksək və ya aşağı olmaq deyil, məlumatlandırıcı olmaqdır və ifrat uclar demək olar ki, heç bir məlumat daşımır. Namizədlərin 95% və ya daha çoxu suala düzgün cavab verdikdə, o, artıq heç kimi ayırmır: güclü də, zəif namizədlər də onu keçir, deməli element uzunluq əlavə edir, siqnal isə yox. O, hələ də qiymətləndirmənin əvvəlində qızışdırıcı kimi yerini tuta bilər, lakin ölçmə işi görmür.
Əks uc daha təhlükəlidir. Yalnız 20% və ya daha azı düzgün cavab verdikdə, dürüst ilk şübhə namizədlərinizin zəif olması deyil — sualın sınmış olmasıdır. Səhv açarlanmış cavab, çoxmənalı sual mətni, iki müdafiə oluna bilən variant və ya rolun heç vaxt ehtiyac duymadığı bir şeyi yoxlayan tapşırıq — bunların hamısı düzgün cavab faizini dibə salır. Güclü hovuzun beşdə birinin hələ də həll edə bildiyi həqiqətən çətin sual qanunidir və dəyərlidir; demək olar ki, heç kimin həll etmədiyi sualda isə adətən axtarmağa başlayan kimi bir dəqiqəyə düzəldə biləcəyiniz problem olur.
Beləliklə, çətinliyi hədəf kimi deyil, bir cüt məhdudlaşdırıcı kimi oxumaq daha düzgündür. Çox asan suallar istifadədən çıxarılmağa və ya yerinin dəyişdirilməsinə namizəddir; çox çətin suallar isə açar və ifadə yoxlanışına namizəddir. Aralıqdakı hər şey öz işini görür və diqqətinizə ehtiyacı yoxdur.
Fərqləndirmə gücü: sual güclünü zəifdən ayırırmı?
Fərqləndirmə gücü iki siqnaldan daha güclüsüdür və komandaların ən çox gözdən qaçırdığıdır. O, tək bir sual verir: bu elementdə yaxşı çıxış edən namizədlər ümumilikdə qiymətləndirmədə də yaxşı çıxış etməyə meyllidirmi? Cavab bəlidirsə, element testin qalan hissəsi ilə eyni istiqamətə çəkir — o, fərqləndirir. Heç bir əlaqə yoxdursa, element nə qədər məntiqli oxunsa da, başqa bir şeyi və ya heç nəyi ölçür.
Konkret olaraq, fərqləndirmə gücü bir elementi düzgün cavablamaqla namizədin ümumi balı arasındakı korrelyasiyadır. Yüksək dəyərlər güclü namizədlərin onu düzgün cavabladığını, zəif namizədlərin isə buraxdığını bildirir və istədiyiniz də məhz budur. Sıfıra yaxın dəyər elementin namizədləri ümumiyyətlə sıralamadığını göstərir. Mənfi dəyər isə dərhal reaksiya verməyə dəyən həyəcan siqnalıdır: o, daha güclü namizədlərinizin elementi səhv cavablama ehtimalının daha yüksək olduğunu bildirir — bu, səhv açarlanmış cavabın və ya materialı ən dərindən anlayan adamları cəzalandıran hiylənin klassik izidir.
Geniş istifadə olunan bir təcrübi qayda təxminən 0,20-dən aşağı fərqləndirmə gücünü zəif sayır — element güclünü zəifdən çətinliklə ayırır və yenidən işlənməyə namizəddir. Lakin fərqləndirmə gücü yalnız kifayət qədər adam cavab verdikdən sonra mənalıdır; üç cavab üzərində o, sadəcə küydür. Məhz buna görə məsuliyyətli işarələmə rəqəmə etibar etməzdən əvvəl minimal seçmə həcmini gözləyir və yeni sual ilk bir neçə namizədə görə heç vaxt məhkum edilmir.
Bu siqnallar təxmin edilmir, qazanılır
Element təhlilinin dürüst məhdudiyyəti odur ki, o, sualı yazdığınız gün sizə heç nə deyə bilmir. Çətinlik və fərqləndirmə gücü cavabların xüsusiyyətləridir, ona görə də tamamilə yeni elementin namizədlər ona real bir şey deyəcək qədər cavab verənə kimi heç bir sağlamlıq göstəricisi olmur. Bu, boşluq deyil, üstünlükdür: o, siqnalları rəydə deyil, sübutda kökləndirir və yeni sualı ədalətli şans qazanmamış mühakimə olunmaqdan qoruyur.
Bu həm də o deməkdir ki, element keyfiyyəti birdəfəlik qapı deyil, davamlı baxım vərdişidir. Bir il əvvəl təmiz olan bank rol dəyişdikcə, namizəd hovuzu sürüşdükcə və suallar qiymətləndirmələr arasında təkrar istifadə olunduqca sürüşür. İzləməyə dəyən suallar real istifadəyə və etibar etmək üçün kifayət qədər cavaba malik olanlardır — praktikada bu, bankın hamısı deyil, kiçik və dəyişkən bir alt çoxluğudur. Siz hər şeyi auditə tabe tutmursunuz; məlumatın işarələdiyi bir ovuc elementi oxuyursunuz.
SkillCort bunu necə üzə çıxarır: 'Needs attention' işarəsi
SkillCort element sağlamlığını sualın göründüyü hər qiymətləndirmədəki real namizəd cavablarından hesablayır və iki siqnalı sual bankınızda tək, sadə bir süzgəcə çevirir: Needs attention. Məlumat üç konkret problemdən birini göstərdikdə element ora düşür — ən azı beş adam cavab verdikdən sonra aşağı fərqləndirmə gücü, 95% və ya daha yüksək çətinlik (çox asan), yaxud 20% və ya daha aşağı çətinlik (çox çətin). Heç nə güman əsasında işarələnmir və heç nə onu əsaslandıracaq cavablar toplanmamış işarələnmir.
İşarələnmiş hər element səbəbini sualın yanında çip kimi, sətir daxilində daşıyır: Low discrimination, Very easy və ya Very hard — kursoru üzərinə gətirdikdə alt rəqəmlərlə birlikdə. Beləliklə bank sizə sadəcə sualın zəif olduğunu demir — niyə zəif olduğunu deyir və xəbərdarlığı növbəti addıma çevirən də budur. Sual bankı analitikası görünüşü eyni siqnalları bütün bank üzrə yığır, hansı elementlərin mühakimə üçün kifayət qədər məlumata malik olduğunu və hansıların heç vaxt istifadə edilmədiyini əlavə edir, beləliklə ölçmənizin sağlamlığını bir-bir suallarla deyil, bir baxışda görə bilirsiniz.
Bütün bunların arxasındakı dizayn qaydası platformanın qalan hissəsini idarə edən qayda ilə eynidir: sistem siqnalı və səbəbi üzə çıxarır, qərarı isə insan verir. SkillCort sizə sualın çox çətin olduğunu deyəcək və yalnız 12%-in ona düzgün cavab verdiyini göstərəcək; o, sualı səssizcə silməyəcək və həmin çətinliyin problem, yoxsa məqsəd olduğu barədə sizin mühakimənizi ləğv etməyəcək.
Sual işarələndikdə nə etməli
Cavab açarından başlayın, xüsusən çox çətin və mənfi fərqləndirmə gücü olan elementlər üçün. Həyəcanlandırıcı rəqəmlərin təəccüblü bir hissəsi siz açarlanmış cavabı yenidən oxuyub ikinci variantın da düzgün olduğunu və ya nəzərdə tutulan cavabın səhv olduğunu anladığınız an həll olunur. Bu tək yoxlama istənilən həcmdə yenidən yazmaqdan daha çox işarələnmiş elementi düzəldir.
Açar düzgündürsə, elementi çaşmış namizədin oxuyacağı kimi oxuyun. Çox çətin və aşağı fərqləndirmə gücü olan sualların çox vaxt eyni kökü olur: çoxmənalı ifadə, iki müdafiə oluna bilən cavab və ya ölçmək istədiyiniz bacarıqdan kənar bir şeyi səssizcə yoxlayan sual mətni. Dili yalnız bir oxunuş qalacaq qədər dəqiqləşdirmək adətən rəqəmləri yerindən tərpətməyə kifayət edir. Çox asan elementlər daha yumşaq haldır — həmin məqsədə xidmət edirlərsə, onları qızışdırıcı kimi saxlayın, ya da istifadədən çıxarın ki, qiymətləndirmə vaxtını ölçmənin əslində baş verdiyi yerə sərf etsin.
Nəhayət, kiçik seçmələrə həddən artıq reaksiya vermək istəyinə müqavimət göstərin. Bir ovuc cavabın gücünə işarələnmiş sual məhkum edilməli deyil, izlənilməli sualdır; hərəkətə keçməzdən əvvəl ona daha çox namizəd verin. Element keyfiyyəti yavaş, yığılan bir oxunuşdur və məqsəd zəif sualları məlum və idarə olunan bankdır — hər qüsurlu rəqəmdən təmizlənmiş bank deyil.
Əsas məqamlar
- Sualın keyfiyyəti onun necə oxunmasında deyil, namizədlərin ona necə cavab verməsindədir — eyni dərəcədə səliqəli iki sual tamamilə fərqli davrana bilər.
- Çətinlik bir cüt məhdudlaşdırıcıdır: çox asan elementlər (≥95% düzgün) siqnal əlavə etmir; çox çətin elementlər (≤20% düzgün) adətən səhv açarlanmış və ya çoxmənalı suala işarə edir.
- Fərqləndirmə gücü — güclü namizədlərin elementi düzgün cavablaması və zəiflərin onu buraxması — ən kəskin siqnaldır; təxminən 0,20-dən aşağı zəifdir, mənfi dəyər isə demək olar ki, həmişə səhv açarlanmış cavab deməkdir.
- Bu statistikalar real cavablarla qazanılır, ona görə də yeni sualların kifayət qədər namizəd cavab verənə qədər heç bir sağlamlıq göstəricisi olmur; məsuliyyətli işarələmə minimal seçmə həcmini gözləyir.
- SkillCort-un 'Needs attention' süzgəci işarələnmiş elementləri səbəbi ilə birlikdə sətir daxilində üzə çıxarır (Low discrimination / Very easy / Very hard) — sistem siqnalı göstərir, düzəlişə isə insan qərar verir.