Çoxlu qiymətləndiricili paneli kalibrləyin

Addım 1: İki-üç istinad cavabı seçin

Kalibrləməyə xammal lazımdır: panelin birlikdə ballandıra biləcəyi real cavablar. Görməyi gözlədiyiniz diapazonu əhatə edən iki-üç tamamlanmış iş nümunəsi seçin — biri açıq-aydın güclü, biri ortabab, biri açıq-aydın zəif. Həmkarlardan gələn pilot cavablar işə yarayır; əvvəlki işə qəbul dövründən anonimləşdirilmiş cavablar isə daha da yaxşı yarayır, çünki onlar real namizədlərin dağınıqlığını daşıyır.

Müştəri dəstəyi rolu üçün güclü istinad müştərini eşitdiyini bildirən, hesablama səhvini dəqiq düzəldən və aydın növbəti addım qoyan cavab ola bilər. Kalibrləmənin öz haqqını qazandığı yer isə ortadakıdır: məsələn, problemi həll edən, amma soyuq başlayan cavab, yaxud isti olan, amma geri qaytarma tarixinə həddindən artıq vəd verən cavab. Panellər uclar barədə nadir hallarda fikir ayrılığına düşür — onlar ortadakı barədə ayrılırlar.

Paylamazdan əvvəl ilkin müəllifi tanıdan hər şeyi çıxarın və hər istinadı canlı cavabların gələcəyi eyni formatda təqdim edin. Panel adlara və ya bir həmkarın nüfuzuna deyil, işin özünə reaksiya verməlidir və istinadlar real namizəd təqdimatlarına nə qədər yaxın hiss olunursa, kalibrləmə əsl baxışa bir o qədər yaxşı köçür.

• Bir güclü, bir orta, bir zəif cavab — ən çox ortadakı əhəmiyyət daşıyır.
• Pilot və ya anonimləşdirilmiş keçmiş cavabları işlədin, heç vaxt canlı namizədin cavabını yox.
• Real namizədlərin yerinə yetirəcəyi eyni tapşırığı əhatə edin.
• Paylaşmazdan əvvəl adları və hər tanıdıcı detalı silin.

Addım 2: Qiymətləndirmə matrisinə qarşı müstəqil ballandırın

İstinad cavablarını və qiymətləndirmə matrisini hər qiymətləndiriciyə bir qayda ilə göndərin: tək başına, meyar-meyar ballandırın və hər bal üçün bir sətirlik əsaslandırma yazın. Müzakirə yoxdur, ortaq sənəd yoxdur, göz atmaq yoxdur. Bütün məsələ müstəqillikdir — bir qiymətləndirici digərinin rəqəmlərini gördüyü andan siz razılığı yox, uyğunlaşmanı ölçürsünüz.

Hər qiymətləndiricidən əvvəlcə ümumi təəssürat formalaşdırmaq əvəzinə hər meyarı ayrıca ballandırmasını xahiş edin. Daxili satış üzrə kəşfiyyat zəngi cavabı isti təmasda yüksək, uyğunluq suallarında isə aşağı qiymət ala bilər; tək bir hiss balı bu fərqi bulandırardı. Əsaslandırma sətri qiymətləndiriciləri sübutu göstərməyə məcbur edir — «büdcə barədə soruşdu, amma vaxt çərçivəsi barədə heç vaxt soruşmadı» — müzakirə addımının üzərində işləyəcəyi şey də budur.

Bir-iki günlük son tarix qoyun və məşqi hər kəsin təqviminə hörmət edəcək qədər qısa saxlayın — hər biri on-on beş dəqiqəlik üç istinad ağlabatan tələbdir. Kalibrləmə sürətini tez itirir və siz hər balın cavablar hələ hər qiymətləndiricinin yaddaşında təzə ikən təqdim olunmasını istəyirsiniz.

Addım 3: Meyar üzrə fərqləri müqayisə edin

Balları vahid görünüşə toplayın: sətirlər meyarlar, sütunlar qiymətləndiricilər, hər istinad cavabı üçün bir cədvəl. Siz kimin «düzgün» ballandırdığını axtarmırsınız — hələ cavab açarı yoxdur. Siz fərqləri axtarırsınız: panelin bir səviyyədən çox ayrıldığı meyarları və ya iki qiymətləndiricinin ardıcıl olaraq qalanlarından yuxarıda və ya aşağıda oturduğu yerləri.

Nümunələr sizə tək-tək boşluqlardan çox şey deyir. Bir qiymətləndirici hər üç istinadda bütün ton meyarlarını bir səviyyə aşağı ballandırırsa, o, «peşəkar» sözünü «rəsmi» kimi oxuyur, qalanları isə «isti» kimi. Bütün panel bir mühakimə meyarında ayrılırsa — məsələn, geri qaytarma sorğusunu eskalasiya etməyin yaxşı siyasət hissi, yoxsa sahiblik çatışmazlığı olduğu barədə — qiymətləndirmə matrisinin təsviri qeyri-müəyyəndir və müzakirə insanları deyil, sözləri düzəltməlidir.

• Balların bir qiymətləndirmə matrisi səviyyəsindən çox yayıldığı hər meyarı işarələyin.
• Bir qiymətləndiricinin bütün istinadlar boyu sistematik yumşaqlığını və ya sərtliyini axtarın.
• Qiymətləndirmə matrisinin qeyri-müəyyənliyini (hamı ayrılır) şərh sürüşməsindən (bir nəfər ayrılır) fərqləndirin.

Addım 4: Panel bağlayıcı təsvirlər barədə razılığa gələnə qədər müzakirə edin

Paneli iş sessiyası üçün bir araya gətirin — üç istinad üçün adətən bir saat kifayət edir. İşarələnmiş fərqləri bir-bir keçin. Hər qiymətləndirici balını hansı sübutun doğurduğunu izah edir, sonra panel hansı oxunuşun qiymətləndirmə matrisinin niyyətinə uyğun gəldiyinə qərar verir. Hər müzakirənin nəticəsi bir bağlayıcı təsvirdir: «yazılı aydınlıq üzrə 3 balın necə göründüyü budur və səbəbi də bax budur.»

Söhbəti vəzifə pilləsi üzərində deyil, sübut üzərində saxlayın. İşə qəbul menecerinin oxunuşu avtomatik olaraq qalib gəlmir; gəlsəydi, panelə ehtiyacınız olmazdı. İki oxunuş da müdafiə oluna biləndirsə — dəstək və satış ssenarilərində mühakimə meyarlarında bu, adi haldır — panel birini seçir və ona sadiq qalır, çünki hər namizədə tətbiq olunan vahid standart təsadüfi tətbiq olunan iki «düzgün» standartdan üstündür.

Nə qədər müzakirə etsəniz də, bir meyar bağlana bilmirsə, bu, panelin uğursuzluğu deyil, qiymətləndirmə matrisinin qüsurudur. Təsviri elə oradaca panelin öz sözləri ilə yenidən yazın, irəli getməzdən əvvəl istinadları yeni ifadəyə qarşı yenidən ballandırın və dəyişikliyi qeyd edin ki, qiymətləndirmənin sahibi əsas qiymətləndirmə matrisini yeniləyə bilsin.

Addım 5: Razılaşdırılmış şərhləri sənədləşdirin

Yalnız yaddaşda yaşayan kalibrləmə bir həftə ərzində dağılır. Sessiyanın qərarlarını qiymətləndirməyə bağlanmış qısa kalibrləmə qeydində toplayın: hər istinad cavabı üçün bağlanmış ballar, panelin razılaşdığı əsaslandırma və dəyişən hər qiymətləndirmə matrisi ifadəsi. Qiymətləndirici baxışın ortasında real namizəd üzərində tərəddüd edəndə təxmin etmək və ya qrup çatına yazmaq əvəzinə məhz bu qeydə uzanır.

Onu konkret saxlayın. «Etirazla iş üzrə 4 bal namizədin etirazın adını çəkməsi, onu yenidən çərçivəyə salması və sonrakı sual verməsi deməkdir — B istinadına baxın» baxış zamanı işlədilə biləndir; «etirazla iş barədə həmrəy olduq» isə yox. Qeyd həm də qərar sənədinizin bir hissəsinə çevrilir: bir ballandırma qərarı nə vaxtsa sual altına alınsa, standartın hər hansı bir namizəd nəzərdən keçirilməmişdən əvvəl mövcud olduğunu göstərə bilərsiniz.

• Hər istinad cavabı üçün bağlanmış balları və əsaslandırmaları qeydə alın.
• Sessiya zamanı yenidən yazılmış hər qiymətləndirmə matrisi təsvirini qeydə alın.
• Qeydi qiymətləndirmə ilə birlikdə saxlayın ki, qərar sənədi ilə birlikdə hərəkət etsin.
• Panelə sonradan qoşulan hər qiymətləndirici ilə paylaşın.

Addım 6: Baxış pəncərəsi ərzində sürüşməni yenidən yoxlayın

Kalibrləmə birdəfəlik mərasim deyil. Uzun baxış pəncərəsi ərzində qiymətləndiricilər sürüşür: onuncu ortabab dəstək cavabı birincidən daha pis görünür və standartlar səssizcə ya sərtləşir, ya boşalır. Baxışınız bir həftədən uzun sürürsə və ya bir neçə onlarla namizəddən çoxunu əhatə edirsə, ortasına bir sürüşmə yoxlaması planlaşdırın.

Ən yüngül variantı: artıq ballandırılmış bir cavab seçin, iki qiymətləndirici onu kor şəkildə yenidən ballandırsın və ilkin ballarla müqayisə edin. Fərqlər bir səviyyəni aşıbsa, sənədləşdirilmiş bağlayıcı təsvirlərə qarşı qısa təkrar keçirin. Struktur siqnallarını da izləyin — bir qiymətləndiricinin ortalamasının panelinkindən uzaqlaşması və ya ləğvetmələrin və ikinci baxışların yığılmaqda davam etdiyi bir meyar. Bunlar sürüşmənin sizə haraya baxmağı deməsidir.

Nəhayət, real baxışlar zamanı aşkarlanan hər fikir ayrılığına pulsuz kalibrləmə məlumatı kimi yanaşın. Bu gün paneli ikiyə bölən sərhəd hallı dəstək cavabı sabahın orta istinad cavabıdır və ardıcıl olaraq ləğvetmələr doğuran meyar növbəti işə qəbul dövründən əvvəl yenidən bağlanmalı olan ilk şeydir. Bu anları tutan panelin rəsmi yenidən kalibrləməyə demək olar ki, ehtiyacı qalmır.