Come progettare una matrice di valutazione

What you'll need

• Un quadro chiaro delle competenze del ruolo (un profilo di ruolo aiuta)
• Il compito di prova di lavoro che la matrice valuterà, in forma quasi definitiva
• 2–3 risposte di esempio, reali o abbozzate, a livelli di qualità diversi
• Il contributo di qualcuno che svolge o gestisce quel lavoro

Step 1: Derivi i criteri dal ruolo, non dal compito

Parta dalla domanda a cui la valutazione esiste per rispondere: da quali competenze dipende davvero questo ruolo? Ogni criterio della matrice dovrebbe risalire a una di esse. Se parte invece dal compito, finisce per valutare caratteristiche accidentali del prodotto consegnato — formattazione, lunghezza, scelta dello strumento — anziché l'abilità che il compito era stato costruito per rivelare.

Tenga corto l'elenco. Da tre a sei criteri per matrice è di norma la misura giusta: abbastanza per distinguere abilità diverse, abbastanza pochi perché i valutatori possano tenerli tutti a mente mentre leggono una singola risposta. Se due criteri sembrano sempre salire e scendere insieme, li unisca; se un criterio nasconde due giudizi indipendenti, lo divida.

Step 2: Scriva comportamenti osservabili, non tratti

"Buon comunicatore" è un tratto; "riconosce il problema del cliente prima di proporre una soluzione e chiude con un passo successivo concreto" è un comportamento che un valutatore può indicare nella risposta. Ogni criterio andrebbe formulato in modo che due persone che leggono la stessa risposta guardino la stessa evidenza per assegnare il punteggio.

Un collaudo utile: per ciascun criterio si chieda "che cosa sottolineerei in una risposta per giustificare questo punteggio?". Se la risposta è una sensazione anziché una frase, una decisione o un artefatto nell'output del candidato, riscriva il criterio finché non nomina la cosa osservabile.

• Sostituisca gli aggettivi sulla persona con verbi sul lavoro
• Nomini l'artefatto: che cosa, nella risposta, lo dimostra?
• Eviti criteri che richiedano di indovinare intenzioni o personalità
• Un criterio, un giudizio — nessun ibrido tipo "chiarezza e accuratezza"

Step 3: Scelga tra l'inserimento classico dei punteggi e una matrice a livelli

SkillCort supporta due stili di matrice. L'inserimento classico dei punteggi dà ai valutatori una scala numerica per criterio — rapido e familiare, ma poggia sul senso privato che ciascun valutatore ha di che cosa significhi un 7. La matrice a livelli definisce livelli espliciti per criterio, ciascuno con una descrizione ancorata del comportamento che lo merita, e i valutatori assegnano il punteggio cliccando la scheda di livello che corrisponde alla risposta.

Per qualsiasi cosa con più valutatori o con una posta in gioco reale, preferisca la matrice. Le descrizioni ancorate svolgono in anticipo il lavoro di calibrazione: anziché avere ogni revisore che si inventa la propria scala, tutti confrontano le risposte con lo stesso standard scritto. L'inserimento classico resta ragionevole per valutazioni a bassa posta in gioco con un solo valutatore.

Step 4: Ancori ciascun livello a descrizioni concrete e distinguibili

Nell'editor a matrice, scriva una descrizione per ogni cella: ciascun criterio a ciascun livello. Buoni ancoraggi descrivono che cosa fa effettivamente una risposta a quel livello: che cosa include una risposta di alto livello, che cosa azzecca e che cosa manca una accettabile, che cosa non riesce a fare una debole. Gradazioni vaghe come "buono", "molto buono", "eccellente" costringono i valutatori a tornare al giudizio privato, il che vanifica la matrice.

Renda i livelli adiacenti davvero distinguibili. Il collaudo è una risposta al limite: se un valutatore che legge i suoi ancoraggi potesse argomentare altrettanto bene per due livelli contigui, renda più netta la differenza, di solito nominando l'unico comportamento che li separa. Da tre a cinque livelli per criterio sono di norma sufficienti; più livelli significano distinzioni più fini di quante le evidenze possano sostenere.

Step 5: Pesi i criteri in base a ciò che il ruolo premia

Non tutti i criteri meritano lo stesso peso. SkillCort le consente di pesare ciascun criterio (×N), e quei pesi confluiscono direttamente nel punteggio del compito e poi nell'aderenza al ruolo. Pesi di più i criteri da cui il ruolo dipende maggiormente — la capacità di giudizio, la qualità della risposta scritta — rispetto a quelli di contorno come formattazione o completezza.

Sia deliberato qui, perché è nei pesi che una matrice codifica in silenzio la sua filosofia di selezione. Una matrice che pesa la cura formale più del giudizio farà emergere candidati curati nella forma. Verifichi i pesi con qualcuno vicino al ruolo: "se un candidato eccellesse nel criterio A ma sbagliasse il criterio B, saremmo comunque interessati?". I pesi dovrebbero concordare con la risposta.

Step 6: Decida se i candidati debbano vedere la matrice

SkillCort può rendere una matrice visibile al candidato. Mostrarla dice ai candidati com'è fatta una buona risposta, il che è onesto e tende a produrre risposte che affrontano ciò che a lei interessa davvero: sta testando l'abilità, non la capacità di indovinare i suoi criteri. Nasconderla ha senso quando conoscere i criteri renderebbe banale il copione della risposta, come in certi scenari di giudizio.

Qualunque cosa scelga, la scelga per ogni singola matrice e con intenzione. Una matrice visibile alza l'asticella sulla scrittura degli ancoraggi, dato che la leggeranno anche i candidati: un motivo in più perché conti un linguaggio concreto e comportamentale. Segnala anche equità: i candidati che conoscono lo standard vivono la valutazione come un giudizio sul proprio lavoro, non come un gioco di indovinelli sulle sue preferenze.

Step 7: Collaudi la matrice su risposte di esempio prima di collegarla

Prenda le sue due o tre risposte di esempio e le valuti con la bozza di matrice, idealmente con una seconda persona che valuti in modo indipendente. Sta collaudando la matrice, non le risposte: gli ancoraggi collocano nettamente ciascuna risposta a un livello, oppure avete esitato entrambi sulla stessa cella? L'esitazione segnala l'ancoraggio da riscrivere.

Controlli anche l'aritmetica. Con i pesi applicati, la risposta forte supera comodamente quella debole, e con un margine che le sembra giusto? Se una risposta mediocre ottiene quasi lo stesso punteggio di una eccellente, o gli ancoraggi non stanno separando la qualità, o un peso è fuori posto.

Step 8: Colleghi la matrice e capisca lo snapshot

Quando collega una matrice a un assessment, questa si congela in uno snapshot. Le modifiche successive alla matrice nella sua banca non cambiano mai un assessment in corso: ogni candidato di quell'assessment viene valutato esattamente sullo stesso standard, che è precisamente ciò che rende i punteggi confrontabili e difendibili.

Questo significa che l'istante prima di collegarla è la sua ultima occasione a basso costo per correggere formulazioni, livelli o pesi per questo assessment. Continui a migliorare la versione nella banca man mano che impara dalle risposte reali; quei miglioramenti gioveranno al prossimo assessment che la collegherà, senza disturbare quello in corso.