Avaliação e evidências
Pontue a evidência, não a impressão.
Dê aos avaliadores a resposta original, o mesmo padrão escrito e um lugar claro para registar a sua apreciação. Cada pontuação mantém-se ligada ao trabalho que a sustenta.
A IA pode resumir e sugerir. Um avaliador identificado regista a pontuação; são as pessoas que tomam a decisão.
Um espaço de revisão onde o padrão e a prova ficam juntos
Escolha o nível descrito que corresponde ao trabalho.
As grelhas em matriz associam cada critério a descrições escritas em cada nível. Os avaliadores selecionam o comportamento que conseguem observar, em vez de dependerem de uma interpretação privada de um número.
- Descrições por critério e por nível
- Âncoras de pontuação observáveis
- Pesos explícitos por critério
- Partilhadas por todos os avaliadores
Use a introdução numérica direta onde faz sentido.
As grelhas clássicas mantêm a mesma estrutura de critérios e a mesma ponderação, permitindo que um avaliador introduza diretamente uma pontuação numérica.
- Pontuação numérica por critério
- Definições dos critérios
- Combinação ponderada
- Notas do avaliador
Mantenha explícitas as regras de pontuação automática e humana.
Os itens com chave de resposta podem produzir uma pontuação automática. As respostas sem chave de resposta ficam por pontuar, à espera de revisão; no agregado de adequação à função, quando existe uma pontuação humana da grelha, é essa que é usada em vez da adequação automática da tarefa.
- Pontuação por chave de resposta
- Vazio significa que precisa de revisão, não zero
- Pontuação da grelha usada na adequação à função quando disponível
- Método de pontuação visível na Criação de avaliações
Mantenha as apreciações independentes atribuíveis.
Mais do que um avaliador pode pontuar a mesma resposta. Cada pontuação é guardada com o nome do avaliador e a data e hora, e depois é feita a média dentro de cada critério antes de se aplicarem os pesos.
- Atribuição a um avaliador identificado
- Pontuação com data e hora
- Média por critério
- As apreciações individuais continuam visíveis
Mantenha o trabalho do candidato como fonte de verdade.
As respostas escritas, os ficheiros carregados, as gravações e as transcrições de entrevistas ou simulações continuam disponíveis para revisão, em vez de serem substituídos por um resumo.
- Resultados escritos das tarefas
- Entregáveis carregados
- Respostas em áudio e vídeo
- Transcrições de entrevistas e simulações
Guarde o raciocínio ao lado da pontuação.
As notas ficam associadas à avaliação da tarefa, para que o avaliador possa explicar o que observou e porque é que o trabalho correspondeu a um determinado critério ou nível.
- Notas de revisão ao nível da tarefa
- Raciocínio ao lado dos números
- Contexto do avaliador identificado
- Disponíveis no registo de revisão
Reveja os eventos da sessão sem os transformar numa pontuação.
Quando os controlos de integridade estão ativos, os respetivos eventos aparecem numa linha temporal separada. São os avaliadores que interpretam esse contexto; os eventos não baixam a pontuação da avaliação nem excluem um candidato por si só.
- Linha temporal de eventos passível de revisão
- Evidência de origem mantida associada
- Separada da pontuação de competências
- Resolução humana
Leve a evidência consigo para a fase seguinte.
Os relatórios imprimíveis resumem a pontuação, o contexto do avaliador, as resoluções de integridade e a decisão humana final. Os avaliadores podem voltar ao espaço de trabalho para consultar os ficheiros originais e a evidência das conversas.
- Resumo imprimível dos resultados
- Metodologia de pontuação ponderada
- Atribuição ao avaliador
- Contexto da decisão e da integridade
Use a IA para reduzir o tempo de leitura sem transferir a apreciação.
Extração de evidências
A IA pode organizar as passagens relevantes de uma resposta longa face aos critérios da grelha, para que um avaliador as possa inspecionar.
Propostas de pontuação em rascunho
As sugestões ao nível do critério ficam fora da pontuação do avaliador até que uma pessoa as aplique ou substitua explicitamente.
Revisão da transcrição
O apoio a entrevistas e simulações parte das palavras do candidato na transcrição, e não da expressão facial ou da emoção na voz.
Proveniência da geração
Os resultados de avaliação assistida por IA guardam a proveniência do modelo e da versão, para que o passo assistido possa ser rastreado mais tarde.
Da resposta à adequação à função, cada passo é explicável.
A avaliação começa na resposta, não numa pontuação abstrata. Os avaliadores aplicam uma cópia congelada da grelha, registam as apreciações por critério e mantêm as notas junto da evidência da tarefa.
As pontuações dos avaliadores são combinadas em média dentro de cada critério, os critérios juntam-se pelos pesos da grelha e a evidência das tarefas agrega-se, através dos pesos das competências e das secções, na adequação à função. O Quadro de Decisão pode depois comparar o resultado sem esconder como foi produzido.
Ver a comparação de candidatosAbrir a resposta
Leia ou reproduza o trabalho original do candidato e o contexto da tarefa.
Aplicar a grelha
Pontue cada critério face às definições partilhadas ou às descrições dos níveis.
Registar o raciocínio
Junte notas do avaliador para que a apreciação acompanhe a pontuação.
Agregar com transparência
Combine critérios, competências e secções através dos respetivos pesos explícitos.
Controlos de avaliação que mantêm a revisão consistente e inspecionável
Grelhas partilhadas
As grelhas clássicas e em matriz dão a todos os avaliadores os mesmos critérios e os mesmos pesos explícitos.
Evidência de origem
As respostas originais, os ficheiros, as gravações, as transcrições e as notas continuam disponíveis no espaço de revisão.
Apreciação identificada
As pontuações são guardadas com o avaliador que as registou e a hora em que foram submetidas.
A IA como apoio
Os resumos e as sugestões de pontuação ajudam os avaliadores a orientar-se; não decidem nem escrevem uma pontuação por si só.
Passe de opiniões dispersas a uma apreciação passível de revisão
Avaliação não estruturada
- Uma única pontuação sem base visível
- Comentários do avaliador guardados noutra ferramenta
- Padrões diferentes para candidatos diferentes
- Resultado da IA tratado como se fosse a resposta
- Nenhum caminho claro de regresso ao trabalho original
Avaliação e evidências na SkillCort
- Pontuações por critério ligadas a uma grelha partilhada
- Notas guardadas junto da resposta
- Avaliadores identificados e pesos explícitos
- Sugestões da IA separadas das pontuações humanas
- Todos os resultados rastreáveis até à evidência de origem
Uma pontuação que se sustenta não é apenas matemática consistente. É uma apreciação cujo padrão, evidência e responsável podem todos ser inspecionados.
Mantenha a IA do lado do avaliador.
A IA pode encurtar o percurso por uma resposta ou transcrição longa, mas a SkillCort mantém as sugestões estruturalmente separadas das pontuações dos avaliadores. Uma pessoa tem de aplicar ou substituir cada sugestão, e as decisões sobre os candidatos continuam a pertencer a pessoas.
- Nenhuma decisão sobre candidatos escrita pela IA
- Nenhuma exclusão automática
- A resposta original mantém-se visível
- Sugestões ao nível do critério
- Passo humano de aplicar ou substituir
- Proveniência do modelo e da versão
Perguntas sobre avaliação e evidências
As grelhas clássicas aceitam uma pontuação numérica por critério. As grelhas em matriz definem níveis pontuados com uma descrição escrita para cada combinação de critério e nível. Ambas suportam pesos por critério e notas do avaliador.
As pontuações de vários avaliadores são combinadas em média dentro de cada critério. As médias por critério juntam-se depois através dos pesos da grelha, antes de as tarefas serem agregadas pelas competências mapeadas e pelos pesos das secções.
Fica por pontuar e precisa de revisão; não é tratado silenciosamente como zero. No agregado de adequação à função, quando ambos estão disponíveis, é usada a pontuação humana da grelha em vez da adequação automática da tarefa.
Não. A IA pode preparar sugestões ao nível do critério e resumos, mas não escreve por si só pontuações de avaliadores nem decisões sobre candidatos. É uma pessoa identificada que revê a evidência e regista a apreciação.
Consoante a tarefa, o espaço de revisão pode incluir respostas escritas, ficheiros carregados, respostas em áudio ou vídeo, transcrições de entrevistas e simulações, notas do avaliador, pontuações das grelhas e uma linha temporal separada de eventos de integridade, quando esses controlos estavam ativos. Os relatórios imprimíveis resumem o registo da decisão, em vez de incorporarem todos os tipos de ficheiro.
Vamos pontuar juntos uma resposta real.
Traga uma tarefa e uma grelha a uma demonstração. Vamos seguir a evidência original pela pontuação do avaliador, a adequação à função, os relatórios e a decisão humana final.