Ważenie kompetencji: sprawia, że wyniki da się obronić, a nie że są dokładniejsze

Liczenie, ile progów kandydat przekroczył, ukrywa które

Najprostszy sposób podsumowania kandydata względem roli to policzenie: spełnił cztery z siedmiu kompetencji wymaganych na stanowisku. Czyta się to czysto i łatwo wyjaśnia, i dokładnie dlatego tyle kart oceny na tym poprzestaje. Problem tkwi w tym, co liczba wyrzuca — traktuje każdą kompetencję jako wymienną, więc nie powie Ci, czy te cztery zaliczone były tymi czterema, które mają znaczenie.

Wyobraź sobie stanowisko w obsłudze klienta, gdzie praca jest w przeważającej mierze pisemna: obsługa klientów w piśmie, z empatią, przez cały dzień. Rola wymienia też znajomość produktu, priorytetyzację i dokumentowanie, które są realne, ale drugorzędne. Jeden kandydat zalicza komunikację pisemną i empatię, a nie zalicza pozostałych trzech. Drugi zalicza trzy drugorzędne i nie zalicza dwóch, które definiują tę pracę. Według liczby drugi kandydat wygląda mocniej — trzy bije dwa. Według pracy tylko pierwszy w ogóle jest w stanie ją wykonywać.

W tym wyniku nic nie jest błędem arytmetyki; arytmetyka zrobiła dokładnie to, co jej kazano. To błąd modelowania: modelowi nigdy nie przekazano informacji, że jedne części tej roli niosą pracę, a inne ją wspierają. Ważenie jest sposobem dostarczenia tej informacji.

Co badania naprawdę mówią o wagach

Tu materiały dostawców zaczynają być niewygodne, bo uczciwy wynik nie jest tym pochlebnym. Długa linia badań pokazuje, że wagi jednostkowe — traktowanie każdego składnika tak samo — porządkują ludzi mniej więcej tak samo dobrze jak wagi wyprowadzone znacznie większym nakładem pracy. Wainer zatytułował swój artykuł z 1976 roku o szacowaniu współczynników w modelach liniowych frazą, która towarzyszy temu odkryciu do dziś: it don't make no nevermind. Dawes postawił pokrewny argument w 1979 roku o tak zwanych niewłaściwych modelach liniowych, pokazując, że proste wyniki złożone z równymi wagami są zdumiewająco odporne i na nowych danych często biją bardziej wyszukane schematy.

Bobko, Roth i Buster wrócili do tego pytania w 2007 roku konkretnie dla wyników złożonych, jakie budujemy w selekcji; po przeglądzie literatury uznali wagi jednostkowe za wysoce odpowiednie podejście w szerokim zakresie warunków. Powód nie jest tajemniczy. Składniki dobrze zbudowanego assessmentu zwykle korelują ze sobą, a gdy już korelują, przesuwanie wagi między nimi zmienia wynikowy porządek znacznie mniej, niż podpowiada intuicja. Wagi zróżnicowane niosą też własny błąd oszacowania, który po cichu potrafi zniwelować całą precyzję, jaką miały dodać.

Jeśli więc platforma mówi Ci, że ważenie kompetencji uczyni jej wyniki dokładniejszymi albo lepiej przewidującymi, potraktuj tę deklarację ostrożnie. Wobec dowodów nie to daje ważenie w sposób pewny. Powiedzenie tego wprost kosztuje dostawcę ładnie brzmiące zdanie i jest jedyną wersją tego zdania, która przeżywa zetknięcie z literaturą.

Po co więc w ogóle ważyć? Bo wynik musi odpowiadać stanowisku

Argumentem za ważeniem nie jest przewidywanie. Jest nim trafność treściowa — wymóg, by assessment i wynik, który wytwarza, reprezentowały pracę, o której mierzeniu mówią. Liczba twierdząca, że kandydat świetnie pasuje do roli opartej na pisaniu, a po cichu licząca pisanie jako jedną szóstą wyniku, nie opisuje tej roli. Może nadal porządkować kandydatów akceptowalnie; po prostu nie da się jej wyjaśnić bez zażenowania.

Ta wytłumaczalność jest praktycznym zyskiem. Decyzje selekcyjne bywają kwestionowane — przez menedżera, który się nie zgadza, przez kandydata, który pyta dlaczego, czasem przez prawnika. W tych momentach użytecznym artefaktem jest udokumentowany łańcuch: oto analiza stanowiska, oto kompetencje, które z niej wyszły, oto ile każda z nich się liczy i dlaczego, a oto dowody dla tego kandydata względem nich. Ważony wynik złożony domyka ten łańcuch. Nieważony zostawia lukę tam, gdzie powinno być rozumowanie o względnej ważności, a „liczyliśmy wszystko tak samo, bo tak było domyślnie” to słaba odpowiedź, kiedy praca ewidentnie tak nie wygląda.

Jest też druga, cichsza korzyść. Ustalanie wag wymusza rozmowę, którą zespoły zwykle pomijają. Uznanie, że komunikacja pisemna liczy się trzykrotnie bardziej niż dokumentowanie, wymaga od menedżera i rekrutera uzgodnienia, czym jest ta rola — zanim pojawią się kandydaci, a nie w trakcie sporu o jednego z nich. Większość wartości ćwiczenia z ważeniem powstaje, zanim policzony zostanie choćby jeden wynik.

Wagi odpowiadają na inne pytanie niż wymogi konieczne

Ważenie bywa mylone z oznaczeniem czegoś jako niezbędne, a to naprawdę dwa różne instrumenty. Waga mówi, ile kompetencja liczy się w sumie, w której siła w jednym obszarze może zrównoważyć słabość w innym — model kompensacyjny. Wymóg konieczny mówi, że żadna siła gdzie indziej nie nadrobi braku tutaj — próg. Literatura o modelach selekcji traktuje je jako projekty komplementarne, a nie rywalizujące, a porównania podejścia kompensacyjnego i wieloprogowego rozstrzygają się kosztem, kolejnością i użytecznością, a nie tym, że jedno jest poprawne.

Błąd polega na użyciu jednego tam, gdzie potrzebne jest drugie. Jeśli wyrazisz prawdziwy wymóg konieczny jako wysoką wagę, kandydat wciąż może przekroczyć próg ogólny, nie będąc w stanie wykonać nienegocjowalnej części pracy. Jeśli wyrazisz zwykły priorytet jako wymóg konieczny, zaczniesz odrzucać ludzi za braki, które rola jest w stanie wchłonąć — a gdy już kilka kompetencji zostanie oznaczonych jako niezbędne, prawie każdy oblewa którąś i oznaczenie przestaje nieść informację.

Praktyczna reguła: sięgaj po wymóg konieczny wtedy, gdy uczciwa odpowiedź na pytanie „czy moglibyśmy zatrudnić kogoś słabego w tym obszarze?” brzmi nie, a po wagę wtedy, gdy odpowiedź brzmi „tak, ale by nas to kosztowało”. Wymogów koniecznych trzymaj mało. Ich siła bierze się z rzadkości.

• Waga — ile to liczy się w wyniku, w którym mocne strony mogą zrównoważyć słabe.
• Wymóg konieczny — brak raportowany osobno, nigdy nieuśredniony przez siłę gdzie indziej.
• Użyj obu: ważonego wyniku złożonego do ogólnego obrazu, progów do spraw nienegocjowalnych.

Czego brak pomiaru nigdy nie może oznaczać

Modele ważone wprowadzają błąd, który warto nazwać, bo karze kandydatów za coś, czego nie zrobili. Jeśli rola wymienia mocno ważoną kompetencję, której assessment w ogóle nie zmierzył, naiwny wynik złożony traktuje brak jako zero — i kandydat dostaje w dół za pytanie, którego nikt mu nie zadał.

Poprawne postępowanie to wyłączenie tego, czego nie oceniono, zarówno z licznika, jak i z mianownika, tak żeby wynik opisywał teren faktycznie pokryty. Kandydata należy mierzyć względem dowodów, które istnieją, a raport powinien wprost mówić, jaką część roli te dowody obejmują. Ta przejrzystość robi też coś użytecznego dla pracodawcy: kompetencja, która wciąż wraca jako niezmierzona, jest luką w assessmencie, a dopiero zobaczenie tego na piśmie skłania kogoś do dodania zadania, które tę lukę zamknie.

To ta sama zasada, która rządzi resztą modelu punktacji dającego się obronić. Brak dowodu nie jest dowodem braku, a system punktacji, który po cichu zamienia jedno w drugie, prędzej czy później wyprodukuje decyzję, której nikt nie uzasadni.

Ustalanie wag, które naprawdę obronisz

Zacznij od równych. Wobec tego, co badania mówią o wagach jednostkowych, równe ważenie jest ustawieniem domyślnym dającym się obronić, a nie leniwym, i tak powinien działać Twój blueprint, dopóki ktoś nie potrafi powiedzieć, dlaczego dana kompetencja zasługuje na więcej. To odejście od domyślnego wymaga powodu, a nie pozostanie przy nim.

Wyprowadzaj różnice z pracy, nie z assessmentu. Pytanie brzmi, jak centralna jest kompetencja dla wykonywania roli — jak dużej części pracy dotyka, jak widoczne są konsekwencje, gdy jest słaba — a odpowiadają na nie ludzie, którzy znają tę pracę, najlepiej na podstawie tej samej analizy stanowiska, z której wyszła lista kompetencji. Wagi wymyślone po to, żeby ulubiony kandydat wypadł lepiej, nie są wagami; są wynikiem cofniętym do przyczyny.

Trzymaj skalę zgrubną, a rozumowanie na piśmie. Drobno stopniowane wagi sugerują precyzję, której leżące u ich podstaw sądy nie mają, a różnica między 1,7 a 1,8 nie zniesie sprawdzenia — kilka stopni wystarczy, by wyrazić to, w co zespół naprawdę wierzy. Zapisz, dlaczego istnieje każda waga inna niż domyślna, żeby model dał się wyjaśnić po miesiącach komuś, kogo nie było w pokoju.

• Domyślnie równe wagi; każde odstępstwo traktuj jako decyzję wymagającą uzasadnienia.
• Wyprowadzaj wagi z analizy stanowiska, zanim zobaczysz kandydatów.
• Używaj zgrubnej skali — kilku stopni, nie ułamków sugerujących fałszywą precyzję.
• Zapisuj powód każdej wagi innej niż domyślna.
• Wracaj do wag, gdy rola się zmienia; nieaktualny blueprint mierzy pracę, której już nie masz.

Jak robi to SkillCort

Blueprint roli w SkillCort wymienia kompetencje wymagane na stanowisku, każdą z poziomem docelowym, wagą i opcjonalnym oznaczeniem krytycznym. Dowody kandydata spływają z wykonanych zadań do tych kompetencji, a raport pokazuje obok siebie dwie liczby: ile ocenionych kompetencji osiągnęło swój poziom docelowy oraz — tylko wtedy, gdy blueprint faktycznie niesie wagi inne niż domyślne — jaka część ocenionej wagi roli została spełniona. Przy równych wagach obie są z konstrukcji identyczne, więc nic zbędnego się nie wyświetla i żadna istniejąca liczba nie zmienia się po cichu, gdy funkcja się pojawia.

Kompetencje krytyczne zostają poza wynikiem złożonym. Brak w takiej kompetencji raportowany jest jako osobna luka, zamiast zostać wygładzonym w średniej, co trzyma podsumowanie kompensacyjne i sprawy nienegocjowalne w osobnych kolumnach, gdzie ich miejsce. Kompetencje bez dowodów są wyłączone z obu liczb, więc niezmierzony wymóg nigdy nie może ciągnąć kandydata w dół.

Deklaracja dołączona do tego wszystkiego jest celowo wąska. SkillCort nie mówi Ci, że liczba ważona przewiduje wyniki w pracy lepiej niż nieważona, bo dowody tego nie potwierdzają. Mówi, że liczba odzwierciedla rolę, którą zdefiniowałeś — i zestawia ją z blueprintem, dowodami i śladem audytowym, dzięki którym możesz pokazać swoje rozumowanie, gdy ktoś zapyta.

Źródła i dalsza lektura

• Wainer (1976), Estimating coefficients in linear models: It don't make no nevermind — Psychological Bulletin
• Dawes (1979), The robust beauty of improper linear models in decision making — American Psychologist
• Bobko, Roth i Buster (2007), The Usefulness of Unit Weights in Creating Composite Scores — Organizational Research Methods
• Ock (2018), The Utility of Personnel Selection Decisions: Comparing Compensatory and Multiple-Hurdle Selection Models — Journal of Personnel Psychology