By Daniel Whitmore, MSc in Industrial and Organizational Psychology
Em resumo
A calibração de avaliadores é uma sessão de trabalho curta em que os pontuadores classificam de forma independente as mesmas respostas de amostra contra uma grelha partilhada, comparam as suas pontuações critério a critério e chegam a acordo sobre o que cada nível significa antes de qualquer candidato real ser revisto. É a forma mais eficaz de tornar as pontuações de grelha consistentes entre avaliadores — e precisa de reverificações periódicas, porque a deriva do pontuador volta a instalar-se com o tempo.
Porque é que as pontuações de grelha derivam
A deriva do pontuador não é um defeito de carácter; é o estado por omissão de qualquer processo com vários avaliadores. Cada revisor chega com um padrão interno privado, moldado pela última equipa para a qual contratou, pelo candidato mais forte de que se lembra e pela sua própria tolerância a respostas imperfeitas. Uma grelha estreita essa variância, mas expressões como «passo seguinte claro» ou «tom adequado» continuam a deixar espaço para interpretação — e é na interpretação que a deriva vive.
A deriva também se acumula com o tempo. Um avaliador que pontua vinte role-plays de vendas internas numa semana começa a classificar contra o lote em vez de contra a grelha: uma chamada de descoberta medíocre parece forte depois de três fracas. Outros derivam para a severidade ou para a indulgência sob a pressão dos prazos. Nada disto aparece nas próprias pontuações, e é exatamente por isso que é perigoso — um 4 de um revisor e um 4 de outro podem descrever dois candidatos diferentes.
A solução não é uma grelha mais elaborada. A partir de certo ponto, mais detalhe na grelha acrescenta carga de leitura sem acrescentar concordância. A solução é a calibração: fazer com que os avaliadores pontuem o mesmo trabalho, revelem as suas diferenças e negoceiem um padrão partilhado para o qual possam todos apontar mais tarde — antes de o desfecho de um candidato real depender de que leitura calhar prevalecer.
A sessão de calibração, passo a passo
Antes de começar qualquer pontuação real, conduza uma sessão estruturada. Escolha duas ou três respostas reais à tarefa efetiva — digamos, a resposta escrita de um candidato a um cliente frustrado, ou um exercício gravado de resposta a objeções para uma função de vendas. Escolha de forma deliberada: uma claramente forte, uma claramente fraca e uma genuinamente na fronteira. É na amostra de fronteira que a calibração justifica o seu lugar.
A sessão em si segue uma sequência simples, e a ordem importa. A pontuação independente tem de vir primeiro; no momento em que um avaliador fala, os outros ancoram-se a essa opinião e o exercício passa a medir conformidade em vez de concordância. Reserve cerca de uma hora para um painel de três ou quatro avaliadores e trate a sessão como parte do lançamento da avaliação, e não como um extra opcional.
- Cada avaliador pontua todas as amostras de forma independente contra a grelha, com fundamentação escrita por critério — ainda sem discussão.
- Revele todas as pontuações de uma vez e calcule as diferenças por critério, não apenas por candidato.
- Discuta apenas os critérios em que as pontuações divergem em mais do que um nível; a concordância não precisa de tempo de antena.
- Para cada desacordo, decida o que o nível da grelha exige de facto e reescreva o descritor se as palavras permitiram as duas leituras.
- Guarde as amostras discutidas, com as pontuações acordadas e a fundamentação, como exemplos de ancoragem anexados à grelha.
Discuta as diferenças, não as pessoas
A conversa depois de as pontuações serem reveladas é o que importa, e corre mal de uma forma previsível: torna-se um debate sobre quem tem razão. Reenquadre-a. A pergunta nunca é «por que motivo lhe deu um 2?», mas «o que na resposta, e o que na grelha, o levou até aí?». Ambos os avaliadores estão normalmente a aplicar a grelha com fidelidade — a leituras diferentes dela.
A maioria das diferenças remonta a uma de três causas: o descritor da grelha é ambíguo, os avaliadores ponderam de forma diferente os subcritérios, ou um revisor está a pontuar algo que a grelha nem sequer cobre, como erros ortográficos numa tarefa destinada a medir juízo. Nomear a causa que tem à frente transforma uma discussão numa edição. A ambiguidade ganha um descritor reescrito; a ponderação escondida passa a ser explícita; os critérios fora de âmbito são explicitamente excluídos.
Termine cada discussão com um artefacto. Uma sessão de calibração que produz apenas uma conversa agradável terá de ser repetida dentro de um mês. Uma que produz descritores mais afiados e exemplos de ancoragem guardados dá retorno sempre que um novo avaliador entra no painel e sempre que um candidato de fronteira obriga o grupo a voltar à formulação exata de um nível.
Ancorar a grelha com respostas reais
Os descritores abstratos convidam à deriva; os exemplos concretos resistem-lhe. Para cada nível de pontuação que importa — normalmente a fronteira entre «aceitável» e «forte», que é onde a maioria das decisões de contratação se joga —, anexe uma resposta real e anonimizada da calibração e uma frase a explicar por que motivo se situa nesse nível. «Um 3 reconhece a frustração do cliente antes de propor a solução; esta resposta fá-lo mas enterra o passo seguinte» vale mais do que um parágrafo de adjetivos.
As âncoras mudam a forma como os avaliadores trabalham. Em vez de perguntarem «quão boa é esta resposta?» — uma pergunta que convida a padrões pessoais —, perguntam «isto está mais perto da âncora de um 3 ou da âncora de um 4?». A comparação é um juízo muito mais fiável do que a classificação absoluta, e é o mesmo juízo para toda a gente do painel, incluindo o avaliador que entra daqui a seis meses e nunca esteve na sessão original.
Verificações por amostragem contínuas: a calibração não é um evento único
Uma única sessão de calibração define o padrão; não o mantém. A deriva volta a instalar-se com o volume, com o tempo e com a rotação no painel. O ritual de manutenção é leve: com uma cadência regular, encaminhe um pequeno número de respostas já pontuadas para um segundo avaliador, às cegas, e compare. Não está a repontuar o pipeline — está a amostrá-lo à procura de desacordo.
Olhe para o padrão, não para o falhanço isolado. Uma diferença de dois pontos numa resposta de fronteira é normal; uma distância consistente de um nível entre o mesmo par de avaliadores é deriva, e um critério que continua a produzir desacordos entre vários pares é um problema de grelha, não de pessoas. Quando surgir um padrão, faça uma recalibração curta só sobre esse critério — pontue uma amostra, discuta, aperte o descritor. Vinte minutos, não um seminário.
É também aqui que uma plataforma de avaliação justifica o seu lugar: quando cada pontuação fica registada contra a grelha com a sua fundamentação, os padrões por avaliador tornam-se visíveis em vez de anedóticos, e a verificação por amostragem passa a ser um relatório que se lê em vez de uma folha de cálculo que se constrói no fim de um longo ciclo de pontuação. Quanto mais leve for o ritual, maior a probabilidade de sobreviver ao contacto com uma época de contratação intensa.
Quando dois pontuadores discordam sobre um candidato real
O desacordo sobre um candidato real não é uma falha do processo — é o processo a revelar uma decisão genuinamente renhida. As respostas erradas são as preguiçosas: fazer a média das pontuações em silêncio, ou deixar o avaliador mais antigo ganhar por omissão. A média esconde o desacordo; a antiguidade resolve-o por hierarquia e não por evidências. Ambas o deixam incapaz de explicar a pontuação mais tarde.
Em vez disso, trate um desacordo material como um gatilho. Os dois avaliadores comparam as fundamentações contra a grelha e as suas âncoras; a maioria das distâncias resolve-se em minutos assim que ambos apontam para o mesmo descritor. Se ainda assim discordarem, traga um terceiro avaliador que pontue a resposta às cegas, sem ver as duas primeiras pontuações, e deixe a discussão prosseguir a partir de três leituras independentes.
Seja qual for a resolução, registe-a: as pontuações originais, as fundamentações e por que motivo a pontuação final aterrou onde aterrou. Esse registo é o que torna uma decisão renhida explicável a um responsável pela contratação — ou a quem venha a defender o candidato — e cada desacordo resolvido torna-se candidato à biblioteca de âncoras, para que a mesma discussão nunca tenha de acontecer duas vezes.
Pontos essenciais
- A deriva do pontuador é o estado por omissão de qualquer processo com vários avaliadores; as grelhas estreitam-na, mas só a calibração a fecha.
- Conduza uma sessão de calibração antes da pontuação real: primeiro pontuações independentes, depois discuta apenas as diferenças, e a seguir corrija a grelha onde as palavras permitiram duas leituras.
- Os exemplos de ancoragem — respostas reais fixadas a níveis de pontuação — transformam classificações absolutas em comparações, que são muito mais consistentes.
- Mantenha a concordância com verificações por amostragem cegas, leves e regulares, e recalibre um único critério quando surgir um padrão.
- Nunca dilua um desacordo real numa média: compare as fundamentações, acrescente uma terceira leitura cega se for preciso e registe como se resolveu.