Calibrare una commissione di più valutatori

Passo 1: scegliere due o tre risposte di riferimento

La calibrazione ha bisogno di materia prima: risposte reali che la commissione possa valutare insieme. Scelga due o tre prove di lavoro già completate che coprano l’intervallo che si aspetta di vedere — una chiaramente forte, una intermedia, una chiaramente debole. Le risposte del pilota dei colleghi vanno bene; le risposte rese anonime di una tornata di selezione precedente vanno anche meglio, perché portano con sé il disordine dei candidati reali.

Per un ruolo nel servizio clienti, un riferimento forte potrebbe essere una risposta che riconosce il cliente, corregge accuratamente un errore di fatturazione e fissa un passo successivo chiaro. È quella intermedia il punto in cui la calibrazione si guadagna il posto: magari una risposta che risolve il problema ma apre in modo freddo, oppure una calorosa che però promette troppo su una data di rimborso. Le commissioni raramente sono in disaccordo sugli estremi — sono in disaccordo su ciò che sta in mezzo.

Prima di farle circolare, rimuova tutto ciò che identifica l’autore originale, e presenti ciascun riferimento nello stesso formato in cui arriveranno le risposte reali. La commissione dovrebbe reagire al lavoro, non a un nome o alla reputazione di un collega, e più i riferimenti somigliano a consegne vere di candidati, meglio la calibrazione si trasferisce alla revisione effettiva.

• Una risposta forte, una intermedia e una debole — quella intermedia è la più importante.
• Usi risposte del pilota o risposte passate rese anonime, mai la prima di un candidato reale.
• Copra lo stesso compito che svolgeranno i candidati reali.
• Rimuova i nomi e ogni dettaglio identificativo prima di condividere.

Passo 2: valutare in modo indipendente sulla matrice di valutazione

Mandi le risposte di riferimento e la matrice di valutazione a ogni valutatore con una regola: valutare da soli, criterio per criterio, scrivendo una riga di motivazione per ciascun punteggio. Nessuna discussione, nessun documento condiviso, nessuna sbirciata. L’indipendenza è tutto il punto — nel momento in cui un valutatore vede i numeri di un altro, sta misurando il conformismo, non l’accordo.

Chieda a ogni valutatore di valutare ciascun criterio separatamente invece di formarsi prima un’impressione complessiva. La risposta a una chiamata esplorativa di vendita interna può essere alta sul rapporto con l’interlocutore e bassa sulle domande di qualificazione; un unico punteggio di pancia confonderebbe le due cose. La riga di motivazione costringe i valutatori a indicare un’evidenza — «ha chiesto del budget ma mai delle tempistiche» — ed è su questo che girerà il passo di discussione.

Fissi una scadenza di un giorno o due e tenga l’esercizio abbastanza breve da rispettare l’agenda di tutti — tre riferimenti da dieci a quindici minuti ciascuno è una richiesta ragionevole. La calibrazione perde slancio in fretta, e Lei vuole che ogni punteggio arrivi mentre le risposte sono ancora fresche nella mente di ciascun valutatore.

Passo 3: confrontare gli scarti per criterio

Raccolga i punteggi in un’unica vista: righe per i criteri, colonne per i valutatori, una griglia per ogni risposta di riferimento. Non sta cercando chi ha valutato «giusto» — non c’è ancora una chiave di risposta. Sta cercando scarti: criteri su cui la commissione si divide per più di un livello, o su cui due valutatori stanno con costanza sopra o sotto gli altri.

Gli schemi Le dicono più dei singoli scarti. Se un valutatore assegna a ogni criterio sul tono un livello in meno su tutti e tre i riferimenti, sta leggendo «professionale» come «formale» mentre gli altri lo leggono come «caloroso». Se l’intera commissione si divide su un criterio di giudizio — poniamo, se far salire di livello una richiesta di rimborso mostri buon senso delle regole o mancanza di iniziativa — il descrittore della matrice di valutazione è ambiguo, e la discussione deve correggere le parole, non le persone.

• Segnali ogni criterio in cui i punteggi coprono più di un livello della matrice di valutazione.
• Cerchi indulgenza o severità sistematica in un valutatore su tutti i riferimenti.
• Distingua l’ambiguità della matrice di valutazione (si dividono tutti) dallo scostamento interpretativo (si divide una persona sola).

Passo 4: discutere finché la commissione non concorda sugli ancoraggi

Riunisca la commissione per una sessione di lavoro — un’ora è di solito sufficiente per tre riferimenti. Percorra uno alla volta gli scarti segnalati. Ogni valutatore spiega quale evidenza ha guidato il suo punteggio, poi la commissione decide quale lettura corrisponde all’intento della matrice di valutazione. L’esito di ciascuna discussione è un ancoraggio: «questa risposta è che aspetto ha un 3 sulla chiarezza in forma scritta, ed ecco perché».

Tenga la conversazione sulle evidenze, non sull’anzianità. La lettura del responsabile della selezione non vince automaticamente; se fosse così, non servirebbe una commissione. Quando due letture sono entrambe difendibili — cosa comune con i criteri di giudizio negli scenari di assistenza e di vendita — la commissione ne sceglie una e ci si attiene, perché uno standard coerente applicato a ogni candidato batte due standard «corretti» applicati a caso.

Se un criterio non si lascia ancorare per quanto a lungo se ne discuta, è un difetto della matrice di valutazione, non un fallimento della commissione. Riscriva il descrittore seduta stante con le parole della commissione stessa, rivaluti i riferimenti sulla nuova formulazione prima di procedere e annoti la modifica, così chi possiede l’assessment può aggiornare la matrice di valutazione principale.

Passo 5: documentare le interpretazioni concordate

Una calibrazione che vive solo nella memoria decade nel giro di una settimana. Fissi le decisioni della sessione in una breve nota di calibrazione allegata all’assessment: i punteggi ancorati per ciascuna risposta di riferimento, la motivazione su cui la commissione si è accordata e ogni formulazione della matrice di valutazione che è cambiata. Quando un valutatore esita davanti a un candidato reale a revisione in corso, è a questa nota che ricorre invece di tirare a indovinare o scrivere nella chat di gruppo.

La tenga concreta. «Un 4 sulla gestione delle obiezioni significa che il candidato ha nominato l’obiezione, l’ha riformulata e ha posto una domanda di approfondimento — si veda il riferimento B» è utilizzabile al momento della revisione; «ci siamo allineati sulla gestione delle obiezioni» non lo è. La nota diventa anche parte del suo fascicolo della decisione: se una decisione di valutazione viene mai messa in discussione, può mostrare che lo standard esisteva prima che qualsiasi candidato fosse rivisto.

• Registri punteggi ancorati e motivazioni per ogni risposta di riferimento.
• Annoti ogni descrittore della matrice di valutazione riscritto durante la sessione.
• Conservi la nota insieme all’assessment, così viaggia con il fascicolo della decisione.
• La condivida con ogni valutatore che entra nella commissione in un secondo momento.

Passo 6: verificare di nuovo lo scostamento durante la finestra di revisione

La calibrazione non è una cerimonia una tantum. Su una finestra di revisione lunga i valutatori si scostano: la decima risposta di assistenza mediocre sembra peggiore di quanto sembrasse la prima, e gli standard in silenzio si irrigidiscono o si allentano. Se la sua revisione dura più di una settimana o copre più di qualche decina di candidati, metta in calendario una verifica dello scostamento a metà percorso.

La versione più leggera: prenda una risposta già valutata, faccia in modo che due valutatori la rivalutino alla cieca e confronti con i punteggi originali. Se gli scarti sono cresciuti oltre un livello, faccia un breve ripasso sugli ancoraggi documentati. Tenga d’occhio anche i segnali strutturali — la media di un valutatore che si allontana da quella della commissione, o un criterio su cui continuano ad addensarsi correzioni e seconde revisioni. È lo scostamento che Le dice dove guardare.

Infine, tratti ogni disaccordo emerso durante le revisioni reali come dato di calibrazione gratuito. Una risposta di assistenza al limite che oggi divide la commissione è la risposta di riferimento intermedia di domani, e un criterio che continua a produrre correzioni è la prima cosa da riancorare prima della prossima tornata di selezione. La commissione che coglie questi momenti ha a malapena bisogno di una ricalibrazione formale.