What you'll need
- Uma ideia clara das competências da função (um perfil de função ajuda)
- A tarefa de prova de trabalho que a grelha vai pontuar, numa forma quase final
- 2–3 respostas de exemplo, reais ou esboçadas, de diferentes níveis de qualidade
- O contributo de alguém que faça ou dirija o trabalho real
Step 1: Derive os critérios da função, não da tarefa
Comece pela pergunta a que a avaliação existe para responder: de que competências depende esta função na realidade? Cada critério da grelha deve remeter para uma delas. Se em vez disso partir da tarefa, acaba a pontuar características acessórias do resultado entregue — formatação, extensão, escolha de ferramenta — em vez da capacidade que a tarefa foi construída para revelar.
Mantenha a lista curta. Três a seis critérios por grelha costuma ser o certo: suficientes para separar capacidades distintas, poucos o bastante para que os avaliadores os consigam ter todos em mente enquanto leem uma única resposta. Se dois critérios parecem subir e descer sempre juntos, junte-os; se um critério esconde dois juízos independentes, divida-o.
Step 2: Escreva comportamentos observáveis, não traços
«Bom comunicador» é um traço; «reconhece o problema do cliente antes de propor uma solução e termina com um passo seguinte concreto» é um comportamento que um avaliador consegue apontar na resposta. Cada critério deve estar formulado de modo a que duas pessoas a ler a mesma resposta olhassem para a mesma evidência para o pontuar.
Um teste útil: para cada critério, pergunte «o que sublinharia numa resposta para justificar esta pontuação?». Se a resposta for um sentimento em vez de uma frase, de uma decisão ou de um artefacto no resultado do candidato, reescreva o critério até nomear a coisa observável.
- Substitua adjetivos sobre a pessoa por verbos sobre o trabalho
- Nomeie o artefacto: o que na resposta demonstra isto?
- Evite critérios que exijam adivinhar intenções ou personalidade
- Um critério, um juízo — sem híbridos de «clareza e rigor»
Step 3: Escolha entre a introdução clássica de pontuações e uma matriz por níveis
A SkillCort suporta dois estilos de grelha. A introdução clássica de pontuações dá aos avaliadores uma escala numérica por critério — rápida e familiar, mas assenta no sentido privado que cada avaliador tem do que significa um 7. A matriz por níveis define níveis explícitos por critério, cada um com uma descrição ancorada do comportamento que o merece, e os avaliadores pontuam clicando no cartão de nível que corresponde à resposta.
Para tudo o que tenha vários avaliadores ou riscos reais, prefira a matriz. As descrições ancoradas fazem o trabalho de calibração à partida: em vez de cada revisor inventar a sua própria escala, estão todos a comparar respostas com a mesma norma escrita. A introdução clássica continua razoável para pontuação de baixo risco com um único avaliador.
Step 4: Ancore cada nível em descrições concretas e distinguíveis
No editor de matriz, escreva uma descrição para cada célula — cada critério em cada nível. As boas âncoras descrevem o que uma resposta desse nível faz de facto: o que uma resposta de topo inclui, o que uma aceitável acerta e falha, o que uma fraca não consegue fazer. Gradações vagas como «bom», «muito bom», «excelente» empurram os avaliadores de volta para o juízo privado, o que anula a matriz.
Torne os níveis adjacentes genuinamente distinguíveis. O teste é uma resposta limítrofe: se um avaliador a ler as suas âncoras pudesse argumentar igualmente bem por dois níveis vizinhos, afie a diferença — normalmente nomeando o comportamento que os separa. Três a cinco níveis por critério costuma chegar; mais níveis significam distinções mais finas do que a maioria das evidências consegue sustentar.
Step 5: Pondere os critérios de acordo com o que a função recompensa
Nem todos os critérios merecem igual peso na decisão. A SkillCort permite-lhe ponderar cada critério (×N), e esses pesos entram diretamente na pontuação da tarefa e, em seguida, na adequação à função. Pondere acima dos critérios de suporte, como a formatação ou a completude, aqueles de que a função mais depende — a decisão de juízo, a qualidade da resposta escrita.
Seja deliberado aqui, porque é nos pesos que uma grelha codifica discretamente a sua filosofia de contratação. Uma grelha que pondera o apuro acima do juízo fará emergir candidatos apurados. Confirme os pesos com alguém próximo da função: «se um candidato arrasasse no critério A mas falhasse o critério B, continuaríamos interessados?». Os pesos devem concordar com a resposta.
Step 6: Decida se os candidatos devem ver a grelha
A SkillCort pode tornar uma grelha visível para o candidato. Mostrá-la diz aos candidatos como é o bom trabalho, o que é honesto e tende a produzir respostas que abordam aquilo que lhe interessa de facto — está a testar a capacidade, não a habilidade de adivinhar os seus critérios. Escondê-la faz sentido quando conhecer os critérios tornaria trivial escrever a resposta, como acontece em alguns cenários de juízo.
Escolha o que escolher, escolha por grelha e de propósito. Uma grelha visível eleva a fasquia da escrita das suas âncoras, já que os candidatos também a vão ler — mais uma razão para a linguagem concreta e comportamental importar. Sinaliza também justiça: os candidatos que conhecem a norma vivem a avaliação como uma apreciação do seu trabalho, e não como um jogo de adivinhas sobre as suas preferências.
Step 7: Teste a grelha em respostas de exemplo antes de a associar
Pegue nas suas duas ou três respostas de exemplo e pontue-as segundo a grelha em rascunho — idealmente com uma segunda pessoa a pontuar de forma independente. Está a testar a grelha, não as respostas: as âncoras colocam cada resposta num nível de forma limpa, ou ambos hesitaram na mesma célula? A hesitação assinala a âncora que precisa de ser reescrita.
Verifique também a aritmética. Com os pesos aplicados, a resposta forte ultrapassa confortavelmente a fraca, e por uma margem que lhe parece certa? Se uma resposta medíocre pontua quase tão bem como uma excelente, ou as âncoras não estão a separar a qualidade, ou um peso está mal colocado.
Step 8: Associe a grelha e compreenda o instantâneo
Quando associa uma grelha a uma avaliação, esta congela num instantâneo. Edições posteriores à grelha no seu banco nunca alteram uma avaliação em curso — todos os candidatos dessa avaliação são pontuados exatamente pela mesma norma, que é precisamente o que torna as pontuações comparáveis e defensáveis.
Isto significa que o momento anterior à associação é a sua última oportunidade barata de corrigir a redação, os níveis ou os pesos para esta avaliação. Continue a melhorar a versão do banco à medida que aprende com as respostas reais; essas melhorias beneficiarão a próxima avaliação que a associar, sem perturbar a que está em curso.
Pro tips
- Escreva a grelha antes de ver respostas reais de candidatos — os critérios escritos depois tendem a descrever as respostas que recebeu, não a capacidade de que precisa.
- Esboce as âncoras descrevendo trabalho real que já viu: a melhor resposta que um membro da equipa alguma vez escreveu e aquela que precisou de ser reescrita.
- Leia as suas âncoras em voz alta a alguém de fora do projeto; se não conseguirem imaginar a resposta, uma grelha visível para o candidato também não ajudará os candidatos.
- Use os pesos ×N com parcimónia — dois ou três escalões de peso distintos comunicam melhor as prioridades do que um número diferente em cada critério.
- Guarde uma nota curta sobre porque existe cada critério; acelera as sessões de calibração e as futuras revisões da grelha.