Qiymətləndirici kalibrləmə sessiyası necə keçirilir

What you'll need

• Qiymətləndirməyə əlavə edilmiş hazır qiymətləndirmə matrisi (dondurulmuş surət)
• Fərqli keyfiyyət səviyyələrini əhatə edən 2–3 istinad cavabı
• Namizədləri ballandıracaq bütün qiymətləndiricilər və birlikdə 45–60 dəqiqə
• Razılaşdırılmış şərhləri qeyd etmək üçün panellə paylaşılan bir yer

Step 1: İki və ya üç istinad cavabı seçin

Fikir ayrılığını görünən edəcək cavablar seçin: biri açıq-aydın güclü, biri açıq-aydın zəif və — ən əsası — biri həqiqətən sərhəddə olan. Həmkarlardan alınan sınaq cavabları yaxşı işləyir; baxış pəncərəniz ballandırmanın kalibrləmədən sonra başlamasına imkan verirsə, erkən namizəd cavabları da uyğundur.

Kalibrləmə öz dəyərini məhz sərhəddə olan cavabda sübut edir. Mükəmməllik və uğursuzluq barədə hamı razılaşır; panellər bir meyar üzrə güclü, digəri üzrə zəif olan cavabda ikiyə bölünür. İstinad cavablarınızın heç biri bu gərginliyi yaratmırsa, yaradan birini özünüz hazırlayın.

Step 2: Kimsə ballandırmazdan əvvəl paneli qiymətləndirmə matrisi barədə məlumatlandırın

Matrisi panellə birlikdə addım-addım nəzərdən keçirin: hər meyar, onun ankerlənmiş səviyyə təsvirləri və çəkisi. Məqsəd hər hansı cavabın deyil, standartın ortaq anlaşılmasıdır — istinad cavablarını hələ müzakirə etməyin. Qeyri-müəyyən anker ifadələri barədə sualları elə indi, heç bir bal risk altında olmayanda verməyə dəvət edin.

Panelə SkillCort-da matris üzrə ballandırmanın necə işlədiyini xatırladın: hər meyar üçün təsviri cavaba uyğun gələn səviyyə kartına klikləyirsiniz və həmin səviyyənin balı qeydə alınır. Ən vacib göstəriş budur: yaxşı cavabın necə göründüyünə dair şəxsi hissinizə görə deyil, yazılı ankerlərə görə ballandırın.

Step 3: İstinad cavablarını müstəqil ballandırın

Hər qiymətləndirici hər istinad cavabını müzakirəsiz, tək başına, ortaq matrisdən istifadə edərək ballandırır. Bütün məsələ müstəqillikdədir — sessiya panelin təbii olaraq necə fərqləndiyini ölçür və ballar təsdiqlənməzdən əvvəl aparılan hər hansı məsləhətləşmə bu ölçməni məhv edir. Hər kəsə işləmək üçün eyni sakit vaxt aralığı verin və bütün ballar toplanana qədər hər cür müqayisəni saxlayın.

Qiymətləndiricilərdən hər meyar balına, seçdikləri səviyyəni əsaslandıran sübutu cavabdan sitat gətirən qısa bir qeyd əlavə etmələrini xahiş edin. SkillCort-da qeydlər ballara sübut kimi bağlanır və bu sessiyada məhz onlar «biz razı deyilik» ifadəsini «biz bu ankeri fərqli oxuyuruq» ifadəsinə — fikir ayrılığının məhsuldar növünə — çevirir.

Step 4: Balları ümumi yekuna görə deyil, meyar üzrə müqayisə edin

Balları bir yerə toplayın və onları meyar-meyar müqayisə edin. Yekunlar əsl mənzərəni gizlədir: iki qiymətləndirici iki meyarı tam əks cür oxuyaraq oxşar ümumi bala gələ bilər, bu isə onların uzlaşmasının kalibrləmə deyil, təsadüf olduğunu göstərir. Meyar üzrə fərqlər şərhlərin dəqiq harada ayrıldığını göstərir.

Fərq olan hər meyar üzrə fikri ayrılan qiymətləndiricilərdən sübut qeydlərini ucadan oxumalarını xahiş edin — qeydlər hər kəsin səviyyə seçərkən əslində nəyə baxdığını göstərir, bu isə rəqəmləri mübahisə etməkdən qat-qat faydalıdır. Demək olar ki, hər fərq bir neçə nümunədən birinə gəlib çıxır və nümunəni adlandırmaq nəyi düzəltmək lazım olduğunu deyir.

• İki oxunuşa imkan verən qeyri-müəyyən anker — ifadənin şərhini dəqiqləşdirin
• Bir qiymətləndiricinin qonşu meyarın sübutunu ballandırması — sərhədi yenidən ifadə edin
• Keçmiş təcrübədən gətirilən şəxsi standart — yazılı ankerə qayıdın
• Sərhəddə olan iş üzrə həqiqi mühakimə fərqləri — vahid qayda barədə razılaşın

Step 5: Ankerlər barədə razılaşın və hər şərhi sənədləşdirin

Hər fərqi açıq bir razılaşmaya çevirin: bu cür cavab hansı səviyyəni alır və niyə. Razılaşmaları ortaq kalibrləmə qeydində yazın — anker aydınlaşdırmaları, meyarlar arasındakı sərhəd qaydaları, təkrarlanan sərhəd halları üçün vahid qaydalar. Sənədləşdirilməyən razılaşmalar bir həftə ərzində buxarlanır və sonradan qoşulan qiymətləndiriciyə heç vaxt çatmır.

Unutmayın ki, əlavə edilmiş matris dondurulmuş surətdir, ona görə qiymətləndirmənin ortasında siz ankerləri yenidən yazmırsınız, onların şərhlərini sənədləşdirirsiniz — artıq qiymətləndirilmiş namizədlər üçün ballandırmanı ardıcıl saxlayan da elə budur. İfadələrdəki əsl düzəlişləri bankınızdakı matrisə qaytarın ki, növbəti qiymətləndirmə daha dəqiq versiyanı əlavə etsin.

Step 6: Uzlaşmanı təsdiqləmək üçün bir istinad cavabını yenidən ballandırın

Sessiyanı hər kəsin daha bir cavabı müstəqil ballandırması ilə bağlayın — varsa yeni bir istinad cavabı, yoxsa yenidən həmin sərhəd halı — sənədləşdirilmiş razılaşmaları tətbiq edərək. Meyar üzrə fərq gözlə görünəcək qədər daralıbsa, panel namizədləri ballandırmağa başlamaq üçün kifayət qədər kalibrlənib.

Bir meyar hələ də paneli ikiyə bölürsə, problemi orta hesabla yumşaltmayın. Davamlı bölünmə ankerin və ya razılaşmanın hələ də qeyri-müəyyən olduğunu bildirir; həll olunmamış fikir ayrılığını hər namizədin balına ötürməkdənsə, həmin bir meyara on dəqiqə də sərf edin.

Step 7: Baxış pəncərəsi ərzində sürüşmə yoxlamaları planlaşdırın

Kalibrləmə zəifləyir. Uzun baxış pəncərəsi ərzində qiymətləndiricilər sürüşür — güclü cavablar gözləntiləri yenidən qurduqca standartlar yüksəlir, yaxud yorğunluqla yumşalır. Qısa sürüşmə yoxlamaları planlaşdırın: vaxtaşırı yaxınlarda ballandırılmış bir cavab seçin və ikinci bir qiymətləndiricinin onu kor şəkildə ballandırmasını təmin edin, sonra meyar üzrə fərqləri sessiyadakı kimi müqayisə edin.

Süni intellekt köməyinin öz yerində qaldığı məqam da elə budur. SkillCort-un süni intellekti xülasələr və meyar səviyyəsində bal təklifləri hazırlaya bilər, bu da baxışı sürətləndirir — lakin hər bal adı çəkilən bir şəxs tərəfindən təsdiqlənir və ya ləğv edilir, sürüşmə yoxlamaları isə insanları yoxlayır, çünki qərar məhz onların mühakiməsinə söykənəcək. Sürüşmə yoxlaması yeni bir fərq üzə çıxarırsa, qısa müddətə yenidən toplaşın.