Ponderare le competenze: rende i punteggi difendibili, non più accurati

Contare quante soglie supera un candidato nasconde quali

Il modo più semplice di riassumere un candidato rispetto a un ruolo è contare: ha soddisfatto quattro delle sette competenze che il ruolo richiede. Si legge in modo pulito ed è facile da spiegare, ed è esattamente per questo che tante schede di valutazione si fermano lì. Il problema è ciò che il conteggio butta via — tratta ogni competenza come intercambiabile, quindi non può dirle se le quattro superate fossero le quattro che contano.

Immagini un ruolo di assistenza clienti in cui il lavoro è quasi tutto scritto: gestire i clienti per iscritto, con empatia, tutto il giorno. Il ruolo elenca anche conoscenza del prodotto, prioritizzazione e documentazione, che sono reali ma secondarie. Un candidato supera comunicazione scritta ed empatia e manca le altre tre. Un altro supera le tre secondarie e manca le due che definiscono il lavoro. Secondo il conteggio il secondo candidato sembra più forte — tre batte due. Secondo il lavoro, il primo candidato è l’unico che sappia davvero farlo.

Nulla di quell’esito è un difetto dell’aritmetica; l’aritmetica ha fatto esattamente ciò che le era stato detto. È un fallimento di modellazione: al modello non è mai stata data l’informazione che in questo ruolo alcune parti reggono il lavoro e altre lo sostengono. La ponderazione è il modo in cui lei fornisce quell’informazione.

Che cosa dice davvero la ricerca sui pesi

È qui che gran parte del materiale dei fornitori diventa scomoda, perché il risultato onesto non è quello lusinghiero. Una lunga tradizione di ricerca mostra che i pesi unitari — trattare ogni componente allo stesso modo — ordinano le persone più o meno come pesi ricavati con molta più fatica. Wainer intitolò il suo articolo del 1976 sulla stima dei coefficienti nei modelli lineari con la frase che da allora accompagna quel risultato: it don't make no nevermind. Dawes propose l’argomento gemello nel 1979 su quelli che chiamò improper linear models, mostrando che i semplici compositi a pesi uguali sono notevolmente robusti e battono spesso schemi più elaborati su dati nuovi.

Bobko, Roth e Buster tornarono sulla questione nel 2007 proprio per i compositi che costruiamo nella selezione, passando in rassegna la letteratura e concludendo che i pesi unitari sono un approccio del tutto appropriato in un’ampia gamma di condizioni. La ragione non è misteriosa. Le componenti di un assessment costruito bene tendono a correlare fra loro e, una volta che lo fanno, spostare peso dall’una all’altra muove l’ordinamento risultante molto meno di quanto suggerisca l’intuizione. I pesi differenziati portano inoltre con sé un proprio errore di stima, che può annullare in silenzio qualunque precisione avrebbero dovuto aggiungere.

Quindi, se una piattaforma le dice che ponderare le competenze renderà i suoi punteggi più accurati o più predittivi, prenda quell’affermazione con cautela. Sulla base delle evidenze, non è questo che la ponderazione le procura in modo affidabile. Dirlo con chiarezza costa a un fornitore una frase dal bel suono, ed è l’unica versione della frase che sopravvive al contatto con la letteratura.

Allora perché ponderare? Perché il punteggio deve corrispondere al lavoro

La ragione per ponderare non è la predizione. È la validità di contenuto — il requisito per cui un assessment, e il punteggio che produce, devono rappresentare il lavoro che dichiarano di misurare. Un numero che dice che un candidato è molto aderente a un ruolo tutto incentrato sulla scrittura mentre in silenzio conta la scrittura come un sesto del risultato non sta descrivendo quel ruolo. Può comunque ordinare i candidati in modo accettabile; semplicemente non si può spiegare senza imbarazzo.

Quella spiegabilità è il vantaggio pratico. Le decisioni di selezione vengono messe in discussione — da un responsabile della selezione che non è d’accordo, da un candidato che chiede perché, a volte da un avvocato. In quei momenti l’elaborato utile è una catena documentata: questa è l’analisi della mansione, queste sono le competenze che ne sono uscite, questo è quanto conta ciascuna e perché, ed ecco le evidenze su questo candidato rispetto a esse. Un composito ponderato completa quella catena. Uno non ponderato lascia un vuoto dove dovrebbe stare il ragionamento sull’importanza relativa, e «le abbiamo contate tutte uguali perché era l’impostazione predefinita» è una risposta debole quando il lavoro chiaramente non funziona così.

C’è un secondo beneficio, più silenzioso. Fissare i pesi impone una conversazione che i team di solito saltano. Decidere che la comunicazione scritta conta tre volte la documentazione richiede che il responsabile della selezione e il recruiter si accordino su che cosa sia il ruolo — prima che arrivino i candidati, non mentre si discute di uno di loro. Gran parte del valore di un esercizio di ponderazione viene raccolto prima che sia calcolato un solo punteggio.

I pesi rispondono a una domanda diversa dai requisiti irrinunciabili

La ponderazione viene spesso confusa con il contrassegnare qualcosa come essenziale, e i due sono strumenti realmente diversi. Un peso dice quanto una competenza conta in un totale in cui la forza in un’area può compensare la debolezza in un’altra — un modello compensativo. Un requisito irrinunciabile dice che nessuna quantità di forza altrove rimedia a una carenza qui — uno sbarramento. La letteratura sui modelli di selezione li tratta come impianti complementari anziché rivali, e i confronti fra approcci compensativi e a sbarramenti multipli ruotano attorno a costo, sequenza e utilità, non al fatto che uno sia corretto.

La modalità di fallimento è usare l’uno dove serve l’altro. Se esprime un requisito genuinamente irrinunciabile come un peso elevato, un candidato può comunque superare la soglia complessiva pur essendo incapace di svolgere la parte non negoziabile del lavoro. Se esprime una semplice priorità come requisito irrinunciabile, comincia a respingere persone per carenze che il ruolo può assorbire — e una volta che diverse competenze sono contrassegnate come essenziali, quasi tutti ne mancano una e il contrassegno smette di portare informazione.

Una regola pratica: ricorra a un requisito irrinunciabile quando la risposta onesta a «potremmo assumere qualcuno debole qui?» è no, e ricorra al peso quando la risposta è «sì, ma ci costerebbe». Tenga rari i requisiti irrinunciabili. La loro forza viene dall’essere eccezioni.

• Peso — quanto questo conta in un punteggio in cui i punti di forza possono compensare le debolezze.
• Requisito irrinunciabile — una carenza riportata a sé stante, mai mediata via dalla forza altrove.
• Usi entrambi: un composito ponderato per il quadro d’insieme, gli sbarramenti per ciò su cui non si tratta.

Che cosa non deve mai significare una misurazione mancante

I modelli ponderati introducono una modalità di fallimento che vale la pena nominare, perché punisce i candidati per qualcosa che non hanno fatto. Se un ruolo elenca una competenza fortemente ponderata che l’assessment non ha mai effettivamente misurato, un composito ingenuo tratta l’assenza come uno zero — e il candidato viene penalizzato per una domanda che nessuno gli ha posto.

La gestione corretta è escludere ciò che non è stato valutato sia dal numeratore sia dal denominatore, così che il punteggio descriva il terreno effettivamente coperto. Un candidato dovrebbe essere misurato rispetto alle evidenze che esistono, e il report dovrebbe essere esplicito su quanta parte del ruolo quelle evidenze abbracciano. Quella trasparenza fa anche qualcosa di utile per il datore di lavoro: una competenza che continua a comparire come non misurata è una lacuna dell’assessment, ed è vederla dichiarata che spinge qualcuno ad aggiungere il compito che la colma.

È lo stesso principio che governa il resto di un modello di valutazione difendibile. L’assenza di evidenze non è evidenza di assenza, e un sistema di valutazione che converte in silenzio l’una nell’altra prima o poi produrrà una decisione che nessuno può giustificare.

Fissare pesi che può davvero difendere

Parta da pesi uguali. Alla luce di ciò che la ricerca dice sui pesi unitari, la ponderazione uniforme è un valore predefinito difendibile anziché pigro, e dovrebbe essere ciò che il suo profilo di ruolo fa finché qualcuno non sa dire perché una competenza ne meriti di più. È lo scostarsi a richiedere una ragione, non il restare fermi.

Ricavi le differenze dal lavoro, non dall’assessment. La domanda è quanto una competenza sia centrale per svolgere il ruolo — quanta parte del lavoro la tocca, quanto sono visibili le conseguenze quando è debole — e a quella domanda rispondono le persone che conoscono il lavoro, idealmente con lo stesso apporto di analisi della mansione che ha prodotto l’elenco delle competenze. Pesi inventati per far apparire migliore un candidato preferito non sono pesi; sono un risultato che lavora a ritroso.

Tenga la scala grossolana e il ragionamento messo per iscritto. Pesi a grana fine implicano una precisione che i giudizi sottostanti non hanno, e la differenza fra 1,7 e 1,8 non reggerà all’esame — un piccolo insieme di scatti basta a esprimere ciò in cui un team crede davvero. Registri perché esiste ogni peso diverso dal predefinito, così il modello potrà essere spiegato mesi dopo da qualcuno che non era nella stanza.

• Adotti per impostazione predefinita pesi uguali; tratti ogni scostamento come una decisione che richiede una giustificazione.
• Ricavi i pesi dall’analisi della mansione, prima di vedere i candidati.
• Usi una scala grossolana — pochi scatti, non decimali che implicano una falsa precisione.
• Metta per iscritto la ragione di ogni peso diverso dal predefinito.
• Riveda i pesi quando il ruolo cambia; un profilo di ruolo obsoleto misura un lavoro che non ha più.

Come SkillCort realizza tutto questo

Un profilo di ruolo in SkillCort elenca le competenze che un ruolo richiede, ciascuna con un livello obiettivo, un peso e un contrassegno critico opzionale. Le evidenze del candidato risalgono dai compiti che ha svolto fino a quelle competenze, e il report mostra due numeri affiancati: quante delle competenze valutate hanno raggiunto il proprio obiettivo e — solo quando il profilo di ruolo porta effettivamente pesi diversi da quelli predefiniti — quale quota del peso valutato del ruolo è stata soddisfatta. Con pesi uguali i due coincidono per costruzione, quindi non viene mostrato nulla di ridondante e nessun numero esistente si sposta in silenzio quando la funzione arriva.

Le competenze critiche restano fuori dal composito. Una carenza lì viene riportata come lacuna a sé stante anziché essere spianata dentro una media, il che tiene la sintesi compensativa e ciò su cui non si tratta in colonne separate, dove devono stare. Le competenze senza evidenze sono escluse da entrambe le cifre, così un requisito non misurato non può mai penalizzare un candidato.

L’affermazione legata a tutto questo è deliberatamente circoscritta. SkillCort non le dice che il dato ponderato predice la prestazione lavorativa meglio di quello non ponderato, perché le evidenze non lo sostengono. Le dice che il numero riflette il ruolo che lei ha definito — e lo accompagna con il profilo di ruolo, le evidenze e la traccia di audit che le permettono di mostrare il suo ragionamento quando qualcuno lo chiede.

Fonti e approfondimenti

• Wainer (1976), Estimating coefficients in linear models: It don't make no nevermind — Psychological Bulletin
• Dawes (1979), The robust beauty of improper linear models in decision making — American Psychologist
• Bobko, Roth & Buster (2007), The Usefulness of Unit Weights in Creating Composite Scores — Organizational Research Methods
• Ock (2018), The Utility of Personnel Selection Decisions: Comparing Compensatory and Multiple-Hurdle Selection Models — Journal of Personnel Psychology