By Daniel Whitmore, MSc in Industrial and Organizational Psychology
W skrócie
Sygnały jakości pytań to statystyki policzone z prawdziwych odpowiedzi kandydatów, które mówią, czy pytanie wykonuje swoją pracę. Dwie najważniejsze to trudność — odsetek kandydatów odpowiadających poprawnie — oraz moc różnicująca, czyli to, jak dobrze pytanie oddziela kandydatów mocnych od słabych. Pytanie, na które prawie każdy odpowiada dobrze albo źle, niesie mało informacji, a pytanie o niskiej mocy różnicującej w ogóle nie porządkuje kandydatów. Oba są sygnałem, żeby sprawdzić klucz odpowiedzi i poprawić brzmienie, zanim pytanie ukształtuje kolejną decyzję.
Pytanie, które wygląda porządnie, wciąż może nic nie mierzyć
Większość pytań w assessmentach pisze się raz, sprawdza pod kątem sformułowań, a potem ufa im na zawsze. To zaufanie jest źle ulokowane — nie dlatego, że autorzy są niestaranni, ale dlatego, że jakości pytania nie widać w jego tekście. Dwa pytania mogą czytać się równie dobrze i zachowywać się zupełnie inaczej w chwili, gdy kandydaci na nie odpowiedzą: jedno czysto oddziela tych, którzy znają materiał, od tych, którzy go nie znają, drugie dzieli salę losowo.
Analiza pozycji testowych to dyscyplina oceniania pytań po ich zachowaniu, a nie po wyglądzie. Wywodzi się z klasycznej teorii testów, a przy banku próbek pracy potrzebujesz tylko dwóch jej miar, żeby wyłapać pytania, które po cichu Ci szkodzą: jak trudne jest pytanie i jak dobrze różnicuje. Obie liczy się z odpowiedzi, których Twoi kandydaci już udzielili, i to czyni je godnymi zaufania — opisują Twój test, na Twojej populacji, a nie podręcznikowy ideał.
Nie chodzi o gonienie za idealną liczbą przy każdej pozycji. Chodzi o wydobycie tej niewielkiej grupy pytań, które aktywnie zniekształcają Wasze wyniki, żeby człowiek mógł się im przyjrzeć i zdecydować, czy każde z nich poprawić, zostawić, czy wycofać. Dobry bank to nie taki, w którym każde pytanie jest bez skazy; to taki, w którym pytania ze skazą są znane.
Trudność: i zbyt łatwo, i zbyt trudno kosztuje Cię informację
Trudność, mimo mylącej nazwy, to po prostu odsetek kandydatów odpowiadających poprawnie — pytanie, na które dobrze odpowiada 70% osób, ma trudność 0,70. Jej zadaniem nie jest być wysoka ani niska, tylko informatywna, a skrajności nie niosą prawie żadnej informacji. Kiedy 95% lub więcej kandydatów odpowiada dobrze, pytanie nikogo już nie oddziela: przechodzą je i mocni, i słabi, więc pozycja dokłada długości, nie dokładając sygnału. Może wciąż mieć miejsce na początku assessmentu jako rozgrzewka, ale nie wykonuje pracy pomiarowej.
Druga skrajność jest groźniejsza. Kiedy poprawnie odpowiada 20% lub mniej, uczciwe pierwsze podejrzenie nie brzmi, że Wasi kandydaci są słabi — tylko że pytanie jest zepsute. Błędnie oznaczony klucz, niejednoznaczna treść, dwie dające się obronić odpowiedzi albo zadanie sprawdzające coś, czego rola nigdy nie wymaga, wszystkie zbijają odsetek poprawnych do podłogi. Naprawdę trudne pytanie, które piąta część mocnej puli wciąż rozwiązuje, jest zasadne i wartościowe; pytanie, którego prawie nikt nie rozwiązuje, zwykle ma usterkę dającą się naprawić w minutę, gdy tylko zaczniesz jej szukać.
Trudność najlepiej więc czytać jako parę barierek, a nie jako cel. Bardzo łatwe pytania to kandydatki do wycofania albo przesunięcia; bardzo trudne to kandydatki do sprawdzenia klucza i brzmienia. Wszystko pomiędzy wykonuje swoją pracę i nie potrzebuje Twojej uwagi.
Moc różnicująca: czy pytanie odróżnia mocnych od słabych?
Moc różnicująca jest silniejszym z dwóch sygnałów i tym, który zespoły najczęściej pomijają. Zadaje jedno pytanie: czy kandydaci, którym idzie dobrze na tej pozycji, radzą sobie zwykle dobrze także w całym assessmencie? Kiedy odpowiedź brzmi tak, pozycja ciągnie w tę samą stronę co reszta testu — różnicuje. Kiedy związku nie ma, pozycja mierzy coś innego albo nic, choćby czytała się najsensowniej.
Konkretnie moc różnicująca to korelacja między poprawną odpowiedzią na jedną pozycję a łącznym wynikiem kandydata. Wysokie wartości oznaczają, że mocni kandydaci trafiają, a słabi mylą, czyli dokładnie to, o co chodzi. Wartość bliska zeru oznacza, że pozycja w ogóle nie porządkuje kandydatów. Wartość ujemna to alarm wart natychmiastowej reakcji: znaczy, że mocniejsi kandydaci częściej odpowiadają błędnie — klasyczny odcisk palca błędnie oznaczonego klucza albo pułapki karzącej tych, którzy rozumieją materiał najgłębiej.
Szeroko stosowana reguła kciuka traktuje moc różnicującą poniżej mniej więcej 0,20 jako słabą — pozycja ledwo oddziela mocnych od słabych i nadaje się do poprawki. Ale moc różnicująca ma sens dopiero wtedy, gdy odpowiedziało dość osób; na trzech odpowiedziach jest szumem. Dlatego odpowiedzialne oznaczenie czeka na minimalną próbę, zanim zaufa liczbie, i dlatego świeże pytanie nigdy nie zostaje skazane na pierwszych kilku kandydatach.
Te sygnały są zapracowane, a nie zgadnięte
Uczciwym ograniczeniem analizy pozycji jest to, że nie powie Ci nic w dniu, w którym piszesz pytanie. Trudność i moc różnicująca są właściwościami odpowiedzi, więc zupełnie nowa pozycja nie ma żadnej kondycji, dopóki kandydaci nie odpowiedzą na nią dość razy, by dało się powiedzieć coś realnego. To zaleta, a nie luka: trzyma sygnały ugruntowane w dowodach, a nie w opiniach, i chroni nowe pytanie przed osądem, zanim dostało uczciwą szansę.
Znaczy to również, że jakość pozycji jest nawykiem utrzymaniowym, a nie jednorazową bramką. Bank czysty rok temu dryfuje, gdy zmienia się rola, przesuwa się pula kandydatów, a pytania są używane wielokrotnie w różnych assessmentach. Warte obserwacji są te pozycje, które mają realne użycie i dość odpowiedzi, by im zaufać — czyli w praktyce niewielki, zmieniający się podzbiór banku, a nie całość. Nie audytujesz wszystkiego; czytasz tę garstkę pozycji, które oznaczyły dane.
Jak pokazuje to SkillCort: oznaczenie „Needs attention”
SkillCort liczy kondycję pozycji z prawdziwych odpowiedzi kandydatów we wszystkich assessmentach, w których pytanie się pojawia, i zamienia oba sygnały w jeden prosty filtr na Twoim banku pytań: „Needs attention”. Pozycja trafia tam, gdy dane pokazują jeden z trzech konkretnych problemów — niską moc różnicującą po odpowiedzi co najmniej pięciu osób, trudność na poziomie 95% lub wyższą (bardzo łatwe) albo trudność 20% lub niższą (bardzo trudne). Nic nie jest oznaczane na przeczucie i nic nie jest oznaczane, zanim uzbiera dość odpowiedzi, by to uzasadnić.
Każda oznaczona pozycja niesie swój powód tuż obok, jako plakietkę przy pytaniu: Low discrimination, Very easy albo Very hard, z liczbami pod spodem widocznymi po najechaniu. Bank nie mówi Ci więc tylko, że pytanie jest słabe — mówi dlaczego, a to właśnie zamienia ostrzeżenie w następne działanie. Widok analityki banku pytań zbiera te same sygnały dla całego banku, dodając informację o tym, które pozycje mają dość danych, by je ocenić, a które nigdy nie były użyte, więc kondycję swojego pomiaru widzisz na pierwszy rzut oka, a nie pytanie po pytaniu.
Regułą projektową stojącą za tym wszystkim jest ta sama, która rządzi resztą platformy: system pokazuje sygnał i powód, a rozstrzyga człowiek. SkillCort powie Ci, że pytanie jest bardzo trudne, i pokaże, że poprawnie odpowiedziało na nie tylko 12%; nie usunie po cichu pytania ani nie uchyli Twojego osądu co do tego, czy ta trudność jest problemem, czy właśnie o nią chodziło.
Co zrobić, gdy pytanie zostanie oznaczone
Zacznij od klucza odpowiedzi, zwłaszcza przy pozycjach bardzo trudnych i o ujemnej mocy różnicującej. Zaskakująca część niepokojących liczb rozwiązuje się w chwili, gdy przeczytasz ponownie oznaczoną odpowiedź i zorientujesz się, że druga opcja też jest poprawna albo że zamierzona odpowiedź jest błędna. To jedno sprawdzenie naprawia więcej oznaczonych pozycji niż jakiekolwiek przepisywanie.
Jeśli klucz jest dobry, przeczytaj pozycję tak, jak przeczytałby ją zdezorientowany kandydat. Pytania bardzo trudne i o niskiej mocy różnicującej często mają wspólną przyczynę: niejednoznaczne sformułowanie, dwie dające się obronić odpowiedzi albo treść, która po cichu sprawdza coś spoza umiejętności, którą chciałeś zmierzyć. Zacieśnienie języka tak, żeby przetrwał tylko jeden odczyt, zwykle wystarcza, by liczby drgnęły. Bardzo łatwe pozycje to przypadek łagodniejszy — zostaw je jako rozgrzewki, jeśli taką rolę pełnią, albo wycofaj, żeby assessment poświęcał czas tam, gdzie naprawdę odbywa się pomiar.
Na koniec oprzyj się pokusie przesadnej reakcji na małe próby. Pytanie oznaczone na podstawie garstki odpowiedzi jest pytaniem do obserwacji, a nie do skazania; daj mu więcej kandydatów, zanim zadziałasz. Jakość pozycji to powolny, kumulujący się odczyt, a celem jest bank, którego słabe pytania są znane i zarządzane — a nie bank wyszorowany z każdej niedoskonałej liczby.
Najważniejsze wnioski
- Jakość pytania mieszka w tym, jak kandydaci na nie odpowiadają, a nie w tym, jak się je czyta — dwa równie porządnie napisane pytania mogą zachowywać się zupełnie inaczej.
- Trudność to para barierek: bardzo łatwe pozycje (≥95% poprawnych) nie dokładają sygnału; bardzo trudne (≤20% poprawnych) zwykle wskazują na błędny klucz albo niejednoznaczne pytanie.
- Moc różnicująca — czy mocni kandydaci trafiają, a słabi mylą — jest najostrzejszym sygnałem; poniżej ok. 0,20 jest słaba, a wartość ujemna niemal zawsze oznacza błędnie oznaczony klucz.
- Te statystyki są zapracowane na prawdziwych odpowiedziach, więc nowe pytania nie mają kondycji, dopóki nie odpowie na nie dość kandydatów; odpowiedzialne oznaczenie czeka na minimalną próbę.
- Filtr „Needs attention” w SkillCort pokazuje oznaczone pozycje wraz z powodem obok (Low discrimination / Very easy / Very hard) — system pokazuje sygnał, a decyzję o poprawce podejmuje człowiek.