Jak liczone jest dopasowanie do roli
Zwinięcie idzie ustalonym łańcuchem. Najpierw w obrębie każdego kryterium rubryki uśredniane są wyniki wszystkich oceniających, którzy to kryterium punktowali. Następnie średnie kryteriów łączą się zgodnie z wagami kryteriów rubryki, dając wynik zadania. Wyniki zadań zwijają się potem do umiejętności, które mierzą.
Na koniec wkład każdej umiejętności jest ważony jej wagą umiejętności pomnożoną przez wagę sekcji, a procent dopasowania do roli powstaje z tego ważonego zwinięcia. Ponieważ każdy krok jest deterministyczny, ten sam dowód zawsze daje tę samą liczbę dopasowania do roli.
Wyniki z rubryki mają pierwszeństwo przed automatycznymi
Niektóre zadania niosą i wynik automatyczny (na przykład z klucza odpowiedzi pytania wielokrotnego wyboru), i wynik z rubryki wpisany przez oceniających. Gdy dla tego samego zadania istnieją oba, wygrywa wynik z rubryki i to on jest używany w zwinięciu.
Jedna powiązana zasada, o której warto pamiętać: pytanie bez klucza odpowiedzi punktuje się automatycznie jako null, co oznacza, że wymaga ręcznego przeglądu. Null nigdy nie jest traktowany jako zero, więc nieprzejrzane odpowiedzi nie mogą po cichu zaniżyć dopasowania kandydata do roli.
Gdzie ustawiasz wagi
Wagi mieszkają w kreatorze w dwóch miejscach. Wagi kryteriów ustawia się w edytorze rubryki: każde kryterium niesie mnożnik (zapisany jako ×N), który steruje tym, ile liczy się wewnątrz swojego zadania. Wagi sekcji ustawia się przy każdej sekcji — otwórz formularz edycji sekcji w edytorze struktury i ustaw jej Scoring weight. Panel Scoring & reporting podsumowuje potem wagi tylko do odczytu, obok liczby ocen automatycznych, z rubryki i ręcznych w całym assessmencie.
Wagi są edytowalne zarówno w assessmentach w wersji szkicu, jak i opublikowanych. Ponieważ dopasowanie do roli jest liczone z zapisanych ocen przy użyciu bieżących wag, zmiana wagi w opublikowanym assessmencie przelicza dopasowanie do roli dla każdego kandydata, również dla tych, którzy już przesłali odpowiedzi — surowe oceny nigdy się nie zmieniają, ale procenty się przesuwają. W assessmentach powiązanych z blueprintem zapisane decyzje zachowują migawkę dopasowania do roli z chwili decyzji. Assessmenty zamknięte i zarchiwizowane są zablokowane; zduplikuj do nowego szkicu, żeby je zmienić.
- Wagi kryteriów: edytor rubryki, przy każdym kryterium (×N).
- Wagi sekcji: formularz edycji każdej sekcji w edytorze struktury; podsumowane w Scoring & reporting.
- Zmiany wag w opublikowanym assessmencie przeliczają dopasowanie do roli dla wszystkich; surowe oceny nigdy się nie zmieniają.
Gdzie wagi pojawiają się w raportach
Kandydaci i przeglądający widzą, że ważenie zostało zastosowane. W raporcie dowodowym kandydata zadania są grupowane po sekcjach zawsze, gdy assessment ma wiele sekcji albo wag, każda grupa z własną wagą niesie plakietkę wagi ×N, a nota o punktowaniu ważonym wyjaśnia, że wyniki zostały połączone wagami, a nie uśrednione płasko. Pakiet audytowy zapisuje również wagi sekcji, wagi kryteriów rubryki i mapowania umiejętności obok metodyki opisanej zwykłym językiem.
At a glance
- W obrębie kryterium wyniki oceniających są uśredniane; kryteria łączą się według wag rubryki.
- Wyniki zadań zwijają się do umiejętności; każda umiejętność wnosi wkład ważony wagą umiejętności razy wagą sekcji.
- Dopasowanie do roli w % to rezultat tego ważonego zwinięcia.
- Jeśli zadanie ma i wynik z rubryki, i wynik automatyczny, wygrywa rubryka.
- Wagi pojawiają się jako plakietki w raportach dowodowych kandydata, wraz z notą o punktowaniu ważonym.