Ponderar competências: torna as suas pontuações defensáveis, não mais exatas

Contar quantas fasquias um candidato ultrapassa esconde quais são

A forma mais simples de resumir um candidato face a uma função é contar: cumpriu quatro das sete competências que a função exige. Lê-se bem e é fácil de explicar, e é exatamente por isso que tantos quadros de avaliação param aí. O problema é o que a contagem deita fora — trata todas as competências como intermutáveis, por isso não lhe consegue dizer se as quatro que cumpriu eram as quatro que importam.

Imagine uma função de apoio ao cliente em que o trabalho é esmagadoramente escrito: lidar com clientes por escrito, com empatia, o dia inteiro. A função lista também conhecimento do produto, priorização e documentação, que são reais mas secundários. Um candidato cumpre a comunicação escrita e a empatia e falha as outras três. Outro cumpre as três secundárias e falha as duas que definem o trabalho. Pela contagem, o segundo candidato parece mais forte — três é mais do que dois. Pelo trabalho, o primeiro candidato é o único que consegue de facto fazê-lo.

Nada nesse desfecho é um erro da aritmética; a aritmética fez exatamente o que lhe mandaram. É uma falha de modelação: ao modelo nunca foi dada a informação de que algumas partes desta função carregam o trabalho e outras apenas o apoiam. A ponderação é como se fornece essa informação.

O que a investigação diz realmente sobre os pesos

É aqui que a maior parte do material dos fornecedores fica desconfortável, porque a conclusão honesta não é a lisonjeira. Uma longa linha de investigação mostra que os pesos unitários — tratar todas as componentes por igual — ordenam as pessoas praticamente tão bem como pesos derivados com muito mais esforço. Wainer intitulou o seu artigo de 1976 sobre a estimação de coeficientes em modelos lineares com a expressão que desde então acompanha esta conclusão: it don't make no nevermind. Dawes apresentou o argumento companheiro em 1979 sobre aquilo a que chamou improper linear models, mostrando que os compósitos simples de pesos iguais são notavelmente robustos e superam muitas vezes esquemas mais elaborados em dados novos.

Bobko, Roth e Buster voltaram à questão em 2007 especificamente para os compósitos que construímos em seleção, revendo a literatura e concluindo que os pesos unitários são uma abordagem altamente adequada numa vasta gama de condições. A razão não é misteriosa. As componentes de uma avaliação bem construída tendem a correlacionar-se entre si e, quando isso acontece, deslocar peso entre elas altera a ordenação resultante muito menos do que a intuição sugere. Os pesos diferenciados trazem também o seu próprio erro de estimação, que pode anular discretamente qualquer precisão que devessem acrescentar.

Por isso, se uma plataforma lhe disser que ponderar as suas competências vai tornar as pontuações mais exatas ou mais preditivas, trate essa afirmação com cuidado. Perante as evidências, não é isso que a ponderação compra de forma fiável. Dizê-lo com clareza custa a um fornecedor uma frase que soa bem, e é a única versão da frase que sobrevive ao contacto com a literatura.

Então porquê ponderar? Porque a pontuação tem de corresponder ao trabalho

O argumento a favor da ponderação não é a previsão. É a validade de conteúdo — a exigência de que uma avaliação, e a pontuação que produz, representem o trabalho que dizem medir. Um número que diz que um candidato tem forte adequação a uma função muito centrada na escrita enquanto conta discretamente a escrita como um sexto do resultado não está a descrever essa função. Pode até ordenar os candidatos de forma aceitável; simplesmente não pode ser explicado sem embaraço.

Essa explicabilidade é o retorno prático. As decisões de seleção são questionadas — por um responsável pela contratação que discorda, por um candidato que pergunta porquê, por vezes por um advogado. Nesses momentos, o artefacto útil é uma cadeia documentada: esta é a análise de funções, estas são as competências que produziu, é assim que cada uma conta e porquê, e aqui estão as evidências deste candidato face a elas. Um compósito ponderado completa essa cadeia. Um não ponderado deixa uma lacuna onde devia estar o raciocínio sobre importância relativa, e «contámos todas por igual porque era o valor por omissão» é uma resposta fraca quando o trabalho manifestamente não funciona assim.

Há um segundo benefício, mais silencioso. Definir pesos obriga a uma conversa que as equipas costumam saltar. Decidir que a comunicação escrita conta três vezes o que conta a documentação exige que o responsável pela contratação e o recrutador concordem sobre o que a função é — antes de os candidatos chegarem, e não enquanto discutem sobre um deles. A maior parte do valor de um exercício de ponderação é captada antes de se calcular uma única pontuação.

Os pesos respondem a uma pergunta diferente da dos requisitos obrigatórios

A ponderação é muitas vezes confundida com marcar algo como essencial, e os dois são instrumentos genuinamente diferentes. Um peso diz quanto uma competência conta num total em que a força numa área pode compensar a fraqueza noutra — um modelo compensatório. Um requisito obrigatório diz que nenhuma quantidade de força noutro lado compensa uma insuficiência aqui — uma barreira. A literatura sobre modelos de seleção trata-os como desenhos complementares e não como rivais, e as comparações entre abordagens compensatórias e de barreiras múltiplas jogam-se em custo, sequenciamento e utilidade, e não em qual delas é a correta.

O modo de falha é usar um onde precisa do outro. Se exprimir um requisito genuinamente obrigatório como um peso elevado, um candidato pode continuar a ultrapassar a fasquia global sendo incapaz de fazer a parte não negociável do trabalho. Se exprimir uma simples prioridade como requisito obrigatório, começa a rejeitar pessoas por insuficiências que a função consegue absorver — e, assim que várias competências são marcadas como essenciais, quase toda a gente falha uma e a marcação deixa de transportar informação.

Uma regra prática: recorra a um requisito obrigatório quando a resposta honesta a «poderíamos contratar alguém fraco aqui?» for não, e recorra ao peso quando a resposta for «sim, mas ficaria caro». Mantenha raros os requisitos obrigatórios. O seu poder vem de serem raros.

• Peso — quanto isto conta numa pontuação em que as forças podem compensar as fraquezas.
• Requisito obrigatório — uma insuficiência reportada por si só, nunca diluída numa média pela força noutro lado.
• Use ambos: um compósito ponderado para o quadro geral, barreiras para aquilo que não é negociável.

O que uma medição em falta nunca pode significar

Os modelos ponderados introduzem um modo de falha que vale a pena nomear, porque castiga os candidatos por algo que não fizeram. Se uma função lista uma competência fortemente ponderada que a avaliação nunca chegou a medir, um compósito ingénuo trata a ausência como um zero — e o candidato é penalizado por uma pergunta que ninguém lhe fez.

O tratamento correto é excluir aquilo que não foi avaliado tanto do numerador como do denominador, para que a pontuação descreva o terreno efetivamente coberto. Um candidato deve ser medido face às evidências que existem, e o relatório deve ser explícito quanto à porção da função que essas evidências abrangem. Essa transparência faz também algo de útil pelo empregador: uma competência que continua a aparecer como não medida é uma lacuna da avaliação, e vê-la declarada é o que leva alguém a acrescentar a tarefa que a fecha.

Este é o mesmo princípio que rege o resto de um modelo de pontuação defensável. A ausência de evidências não é evidência de ausência, e um sistema de pontuação que converta em silêncio uma coisa na outra acabará por produzir uma decisão que ninguém consegue justificar.

Definir pesos que consegue mesmo defender

Comece em igual. Dado o que a investigação diz sobre os pesos unitários, a ponderação igual é um valor por omissão defensável e não preguiçoso, e deve ser o que o seu perfil faz até que alguém consiga dizer por que motivo uma competência merece mais. É o desvio que precisa de uma razão, não o ficar como está.

Derive as diferenças do trabalho, não da avaliação. A pergunta é o quão central uma competência é para desempenhar a função — que parte do trabalho lhe toca, o quão visíveis são as consequências quando está fraca — e essa pergunta é respondida por quem conhece o trabalho, idealmente com o mesmo contributo de análise de funções que produziu a lista de competências. Pesos inventados para fazer um candidato preferido parecer melhor não são pesos; são um resultado a trabalhar ao contrário.

Mantenha a escala grosseira e o raciocínio por escrito. Pesos de granulação fina implicam uma precisão que os juízos subjacentes não têm, e a diferença entre 1,7 e 1,8 não sobrevive ao escrutínio — um pequeno conjunto de degraus chega para exprimir aquilo em que uma equipa acredita de facto. Registe por que motivo existe cada peso diferente do valor por omissão, para que o modelo possa ser explicado meses depois por alguém que não estava na sala.

• Assuma pesos iguais por omissão; trate qualquer desvio como uma decisão que precisa de justificação.
• Derive os pesos da análise de funções, antes de ver candidatos.
• Use uma escala grosseira — alguns degraus, não decimais que sugerem uma precisão falsa.
• Escreva a razão de cada peso diferente do valor por omissão.
• Reveja os pesos quando a função mudar; um perfil desatualizado mede um trabalho que já não tem.

Como a SkillCort implementa isto

Um perfil de função na SkillCort lista as competências que uma função exige, cada uma com um nível-alvo, um peso e uma marcação opcional de crítica. As evidências do candidato agregam-se, a partir das tarefas que completou, nessas competências, e o relatório mostra dois números lado a lado: quantas das competências avaliadas atingiram o seu alvo e — apenas quando o perfil transporta de facto pesos diferentes do valor por omissão — que parcela do peso avaliado da função foi cumprida. Com pesos iguais, os dois são idênticos por construção, por isso nada de redundante é apresentado e nenhum número existente se desloca em silêncio quando a funcionalidade chega.

As competências críticas ficam fora do compósito. Uma insuficiência aí é reportada como lacuna própria em vez de ser suavizada numa média, o que mantém o resumo compensatório e aquilo que não é negociável em colunas separadas, onde devem estar. As competências sem evidências são excluídas de ambos os números, para que um requisito não medido nunca possa arrastar um candidato para baixo.

A afirmação associada a tudo isto é deliberadamente estreita. A SkillCort não lhe diz que o número ponderado prevê melhor o desempenho na função do que o não ponderado, porque as evidências não sustentam isso. Diz-lhe que o número reflete a função que definiu — e junta-lhe o perfil, as evidências e o rasto de auditoria que lhe permitem mostrar o seu raciocínio quando alguém perguntar.

Fontes e leituras adicionais

• Wainer (1976), Estimating coefficients in linear models: It don't make no nevermind — Psychological Bulletin
• Dawes (1979), The robust beauty of improper linear models in decision making — American Psychologist
• Bobko, Roth & Buster (2007), The Usefulness of Unit Weights in Creating Composite Scores — Organizational Research Methods
• Ock (2018), The Utility of Personnel Selection Decisions: Comparing Compensatory and Multiple-Hurdle Selection Models — Journal of Personnel Psychology