By Daniel Whitmore, MSc in Industrial and Organizational Psychology
En bref
Les signaux de qualité des items sont des statistiques calculées à partir de réponses réelles de candidats, qui indiquent si une question fait son travail. Les deux qui comptent le plus sont la difficulté — la part de candidats qui répondent correctement — et le pouvoir discriminant — la capacité de la question à séparer les candidats forts des candidats faibles. Une question que presque tout le monde réussit ou manque porte peu d'information, et une question à faible pouvoir discriminant ne trie pas les candidats du tout. Dans les deux cas, c'est un signal pour vérifier le corrigé et revoir la formulation avant que la question ne pèse sur une nouvelle décision.
Une question qui paraît correcte peut malgré tout ne rien mesurer
La plupart des questions d'évaluation sont écrites une fois, relues pour la formulation, puis considérées comme acquises pour toujours. Cette confiance est mal placée — non parce que les auteurs sont négligents, mais parce que la qualité d'une question n'est pas visible dans son texte. Deux questions peuvent se lire aussi bien l'une que l'autre et se comporter de manière complètement différente dès que des candidats y répondent : l'une sépare nettement ceux qui maîtrisent la matière de ceux qui ne la maîtrisent pas, l'autre partage la salle au hasard.
L'analyse d'items est la discipline qui juge les questions à leur comportement plutôt qu'à leur apparence. Elle vient de la théorie classique des tests et, pour une banque de mises en situation, deux de ses mesures suffisent à attraper les questions qui vous nuisent discrètement : la difficulté de la question et son pouvoir discriminant. Les deux sont calculées à partir des réponses que vos propres candidats ont déjà données, et c'est ce qui les rend dignes de confiance — elles décrivent votre test, sur votre population, pas un idéal de manuel.
Il ne s'agit pas de courir après un chiffre parfait sur chaque item. Il s'agit de faire remonter le petit ensemble de questions qui faussent activement vos résultats, pour qu'un humain puisse les examiner et décider s'il faut corriger, conserver ou retirer chacune. Une bonne banque n'est pas une banque où chaque question est irréprochable ; c'est une banque où les questions défectueuses sont connues.
Difficulté : trop facile et trop difficile vous coûtent tous deux de l'information
La difficulté, au nom trompeur, n'est que la proportion de candidats qui répondent correctement à une question — une question réussie par 70 % des personnes a une difficulté de 0,70. Son rôle n'est pas d'être élevée ou basse, mais d'être informative, et les extrêmes ne portent presque aucune information. Quand 95 % des candidats ou plus réussissent une question, elle ne sépare plus personne : les forts comme les faibles la franchissent, si bien que l'item allonge l'épreuve sans ajouter de signal. Il peut encore avoir sa place en début d'évaluation comme mise en train, mais il ne fait pas de travail de mesure.
L'extrême inverse est plus dangereux. Quand seuls 20 % ou moins répondent correctement, le premier soupçon honnête n'est pas que vos candidats sont faibles — c'est que la question est défectueuse. Un corrigé erroné, un énoncé ambigu, deux options également défendables ou une tâche qui teste quelque chose dont le poste n'a jamais besoin feront chacun tomber le taux de réussite au plancher. Une question réellement difficile qu'un cinquième d'un vivier solide parvient encore à résoudre est légitime et précieuse ; une question que presque personne ne résout a en général un problème que vous pouvez corriger en une minute une fois que vous le cherchez.
La difficulté se lit donc au mieux comme une paire de garde-fous, pas comme une cible. Les questions très faciles sont candidates au retrait ou au repositionnement ; les questions très difficiles sont candidates à une vérification du corrigé et de la formulation. Tout ce qui se situe entre les deux fait son travail et n'a pas besoin de votre attention.
Pouvoir discriminant : la question distingue-t-elle les forts des faibles ?
Le pouvoir discriminant est le plus puissant des deux signaux et celui que les équipes manquent le plus souvent. Il pose une seule question : les candidats qui réussissent bien cet item ont-ils aussi tendance à bien réussir l'évaluation dans son ensemble ? Quand la réponse est oui, l'item tire dans le même sens que le reste du test — il discrimine. Quand il n'y a aucune relation, l'item mesure autre chose, ou rien, aussi sensé soit-il à la lecture.
Concrètement, le pouvoir discriminant est la corrélation entre la réussite d'un item et la note totale du candidat. Des valeurs élevées signifient que les candidats forts le réussissent et que les faibles le manquent, ce qui est exactement ce que vous voulez. Une valeur proche de zéro signifie que l'item ne trie pas du tout les candidats. Une valeur négative est l'alarme sur laquelle il faut agir immédiatement : elle signifie que vos meilleurs candidats ont plus de chances de se tromper sur cet item — la signature classique d'un corrigé erroné ou d'un piège qui punit ceux qui comprennent la matière le plus profondément.
Une règle empirique largement utilisée considère qu'un pouvoir discriminant inférieur à environ 0,20 est médiocre — l'item sépare à peine les forts des faibles et mérite d'être revu. Mais le pouvoir discriminant n'a de sens qu'une fois qu'assez de personnes ont répondu ; sur trois réponses, c'est du bruit. C'est pourquoi un signalement responsable attend un échantillon minimal avant de faire confiance au chiffre, et pourquoi une question récente n'est jamais condamnée sur ses premiers candidats.
Ces signaux se gagnent, ils ne se devinent pas
La limite honnête de l'analyse d'items est qu'elle ne peut rien vous dire le jour où vous écrivez une question. La difficulté et le pouvoir discriminant sont des propriétés des réponses : un item tout neuf n'a donc aucun état de santé tant que des candidats n'y ont pas répondu assez de fois pour que cela veuille dire quelque chose. C'est une qualité, pas une lacune : cela garde les signaux ancrés dans les preuves plutôt que dans l'opinion, et cela protège une question neuve d'être jugée avant d'avoir eu sa chance.
Cela signifie aussi que la qualité des items est une habitude d'entretien, pas un contrôle unique. Une banque saine il y a un an dérive à mesure que le poste change, que le vivier de candidats évolue et que les questions sont réutilisées d'une évaluation à l'autre. Les questions à surveiller sont celles qui ont un usage réel et assez de réponses pour être fiables — ce qui, en pratique, représente un sous-ensemble restreint et mouvant de la banque plutôt que son intégralité. Vous n'auditez pas tout ; vous lisez la poignée d'items que les données ont signalés.
Que faire quand une question est signalée
Commencez par le corrigé, surtout pour les items très difficiles et à pouvoir discriminant négatif. Une part surprenante des chiffres alarmants se résout dès que vous relisez la réponse marquée comme correcte et réalisez qu'une seconde option l'est aussi, ou que la réponse attendue est fausse. Cette seule vérification répare plus d'items signalés que n'importe quelle réécriture.
Si le corrigé est juste, lisez l'item comme le lirait un candidat désorienté. Les questions très difficiles et celles à faible pouvoir discriminant partagent souvent une même cause : une formulation ambiguë, deux réponses défendables, ou un énoncé qui teste discrètement quelque chose en dehors du savoir-faire que vous vouliez mesurer. Resserrer la langue pour qu'une seule lecture subsiste suffit en général à faire bouger les chiffres. Les items très faciles sont le cas le plus doux — gardez-les comme mises en train s'ils servent à cela, ou retirez-les pour que l'évaluation consacre son temps là où la mesure se fait vraiment.
Enfin, résistez à l'envie de surréagir à de petits échantillons. Une question signalée sur la foi d'une poignée de réponses est une question à surveiller, pas à condamner ; donnez-lui plus de candidats avant d'agir. La qualité des items se lit lentement et cumulativement, et l'objectif est une banque dont les questions faibles sont connues et gérées — pas une banque nettoyée du moindre chiffre imparfait.
À retenir
- La qualité d'une question tient à la façon dont les candidats y répondent, pas à la façon dont elle se lit — deux questions aussi bien écrites l'une que l'autre peuvent se comporter de manière complètement différente.
- La difficulté est une paire de garde-fous : les items très faciles (≥ 95 % de réussite) n'apportent aucun signal ; les items très difficiles (≤ 20 % de réussite) trahissent en général une question au corrigé erroné ou ambiguë.
- Le pouvoir discriminant — le fait que les candidats forts réussissent l'item et que les faibles le manquent — est le signal le plus net ; en dessous d'environ 0,20 il est faible, et une valeur négative signifie presque toujours un corrigé erroné.
- Ces statistiques se gagnent à partir de réponses réelles : une question neuve n'a donc aucun état de santé tant qu'assez de candidats n'y ont pas répondu ; un signalement responsable attend un échantillon minimal.
- Le filtre « Needs attention » de SkillCort fait remonter les items signalés avec le motif affiché à côté (Low discrimination / Very easy / Very hard) — le système montre le signal, un humain décide du correctif.
Comment SkillCort fait remonter tout cela : le signalement « Needs attention »
SkillCort calcule l'état de santé d'un item à partir des réponses réelles des candidats, sur toutes les évaluations où la question apparaît, et transforme les deux signaux en un filtre simple et unique sur votre banque d'items : Needs attention. Un item y atterrit quand les données montrent l'un de trois problèmes concrets — un faible pouvoir discriminant une fois qu'au moins cinq personnes ont répondu, une difficulté supérieure ou égale à 95 % (très facile), ou une difficulté inférieure ou égale à 20 % (très difficile). Rien n'est signalé à l'intuition, et rien n'est signalé avant d'avoir les réponses qui le justifient.
Chaque item signalé porte son motif à côté, sous forme d'étiquette accolée à la question : Low discrimination, Very easy ou Very hard, avec les chiffres sous-jacents au survol. La banque ne se contente donc pas de vous dire qu'une question est faible — elle vous dit pourquoi, et c'est ce qui transforme un avertissement en action suivante. Une vue d'analyse de la banque d'items agrège les mêmes signaux sur l'ensemble de la banque, en ajoutant quels items disposent d'assez de données pour être jugés et lesquels n'ont jamais servi, afin que vous voyiez la santé de votre mesure d'un coup d'œil plutôt que question par question.
La règle de conception derrière tout cela est la même que celle qui gouverne le reste de la plateforme : le système fait remonter le signal et le motif, et un humain tranche. SkillCort vous dira qu'une question est très difficile et vous montrera que seuls 12 % y ont répondu correctement ; il ne supprimera pas la question en silence et n'écrasera pas votre jugement sur le point de savoir si cette difficulté est un problème ou l'intention même.