Como se calcula a adequação à função
A agregação segue uma cadeia fixa. Primeiro, dentro de cada critério da grelha, calcula-se a média das pontuações de todos os avaliadores que pontuaram esse critério. A seguir, as médias dos critérios combinam-se de acordo com os pesos dos critérios da grelha para produzir uma pontuação da tarefa. As pontuações das tarefas agregam-se então nas capacidades que medem.
Por fim, a contribuição de cada capacidade é ponderada pelo seu peso de capacidade multiplicado pelo peso da sua secção, e a percentagem de adequação à função resulta desta agregação ponderada. Como cada passo é determinístico, as mesmas evidências produzem sempre o mesmo número de adequação à função.
As pontuações de grelha prevalecem sobre as automáticas
Algumas tarefas têm uma pontuação automática (por exemplo, a partir de uma chave de resposta de escolha múltipla) e uma pontuação de grelha introduzida pelos avaliadores. Quando ambas existem para a mesma tarefa, prevalece a pontuação da grelha e é essa a usada na agregação.
Uma regra relacionada a ter em mente: um item sem chave de resposta é pontuado automaticamente como null, o que significa que precisa de revisão manual. Um null nunca é tratado como um zero, pelo que as respostas por rever não podem baixar silenciosamente a adequação à função de um candidato.
Onde se definem os pesos
Os pesos vivem em dois sítios no builder. Os pesos dos critérios definem-se no editor de grelhas: cada critério tem um multiplicador (escrito como ×N) que controla quanto conta dentro da sua tarefa. Os pesos das secções definem-se em cada secção — abra o formulário de edição da secção no editor de estrutura e defina o seu Scoring weight. O painel Scoring & reporting resume depois os pesos em modo de leitura, ao lado das contagens de pontuação automática, por grelha e manual em toda a avaliação.
Os pesos são editáveis tanto em avaliações em rascunho como em avaliações ativas. Como a adequação à função é calculada a partir das pontuações guardadas usando os pesos atuais, alterar um peso numa avaliação ativa volta a agregar a adequação à função de todos os candidatos, incluindo os que já submeteram — as pontuações brutas nunca mudam, mas as percentagens deslocam-se. Em avaliações ligadas a um perfil de função, as decisões registadas mantêm um instantâneo da adequação à função do momento da decisão. As avaliações encerradas e arquivadas estão bloqueadas; duplique-as para um novo rascunho para as alterar.
- Pesos dos critérios: editor de grelhas, por critério (×N).
- Pesos das secções: o formulário de edição de cada secção no editor de estrutura; resumidos em Scoring & reporting.
- As alterações de peso numa avaliação ativa voltam a agregar a adequação à função de toda a gente; as pontuações brutas nunca mudam.
Onde os pesos aparecem nos relatórios
Os candidatos e quem revê conseguem ver que houve ponderação. No relatório de evidências do candidato, as tarefas são agrupadas por secção sempre que a avaliação tem várias secções ou pesos, cada grupo com ponderação personalizada tem um selo de peso ×N, e uma nota sobre pontuação ponderada explica que as pontuações foram combinadas por peso em vez de calculadas numa média simples. O pacote de auditoria regista também os pesos das secções, os pesos dos critérios da grelha e os mapeamentos de capacidades, ao lado de uma metodologia em linguagem simples.
At a glance
- Dentro de um critério, calcula-se a média das pontuações dos avaliadores; os critérios combinam-se pelos pesos da grelha.
- As pontuações das tarefas agregam-se em capacidades; cada capacidade contribui pelo peso da capacidade multiplicado pelo peso da secção.
- A percentagem de adequação à função é o resultado desta agregação ponderada.
- Se uma tarefa tiver uma pontuação de grelha e uma pontuação automática, prevalece a da grelha.
- Os pesos aparecem como selos nos relatórios de evidências do candidato, com uma nota sobre pontuação ponderada.