Les tests psychométriques, comment on les crée ?

Dans la série ‘’Est-ce que les tests psychométriques sont vraiment utiles en recrutement ?’’ voici le troisième d’une série de quatre articles sur l’utilisation de tests psychométriques dans le cadre d’un processus de dotation Nous verrons aujourd’hui les grandes étapes de l’élaboration d’un test.

Ah non ! Pas un test psychométrique !

Dans tout le processus de recrutement, les tests psychométriques sont sans doute l’étape qui génère le plus de désarroi chez les candidats. Pourquoi ? Probablement parce qu’on les connaît mal et que nous ne sommes pas habitués.

Des tests… psychométriques… en plus…

ouh là là !

En effet, rédiger un c.v., passer une entrevue, fournir des références, ce sont des étapes auxquels nous sommes habitués. Même si l’entrevue peut être stressante, c’est une situation relativement familière. Mais les tests… psychométriques… en plus… ouh là là !

Les inquiétudes sont multiples : je vais être désavantagé par mon âge, je suis plus complexe que ce qu’un test peut révéler, le test ne sera pas capable de démontrer à quel point je suis compétent, j’ai des réponses meilleures que celles des choix proposés… et ainsi de suite.  

Ces inquiétudes sont légitimes, car elles réfèrent à la validité et à la fiabilité des tests, deux critères primordiaux dans le développement d’un test psychométrique. Pour ceux et celles qui n’auraient pas fait un cours de statistique ou de méthodologie dernièrement, voici un rappel.

Validité

Il en existe plusieurs, toutes importantes, mais en résumé, c’est d’assurer :

·        Que les questions du test sont des indicateurs valides aux construits mesurés

·        Que les éléments mesurés évaluent adéquatement les construits/théories sur lesquels ils s’appuient

·        Que le test permet de distinguer les gens entre eux

Fidélité

Aussi appelée fiabilité, elle correspond au fait qu’un test donnera des résultats fidèles, peu importe qui le complète et quand il est complété. Autrement dit, personne ne sera désavantagé en raison de caractéristiques comme son âge, son genre ou son origine ethnique. De plus, la fidélité permet de vérifier si les résultats obtenus sont similaires lorsqu’une personne complète le même test à deux moments différents.

La validité et la fidélité sont donc des qualités essentielles pour un test psychométrique, car elles garantissent, autant qu’il l’est scientifiquement possible, que le test n’est pas un simulacre fallacieux. Autrement, un test peut être amusant à remplir, mais il ne permettra pas de tirer des conclusions ni de poser un diagnostic valide.

Les normes de l’American Psychological Association (APA)

Quel est donc la différence entre des tests valides et fidèles, comme ceux développés par EPSI, et un test que l’on retrouve dans un magazine populaire ? Eh bien, les tests psychométriques sont développés en respectant des normes scientifiques, comme celles de l’APA.

L’APA est une organisation reconnue mondialement par la communauté scientifique et par plusieurs institutions législatives. Les méthodes de recherches et les pratiques professionnelles qu’elle promeut sont parmi les plus rigoureuses en psychologie. 

Respecter les normes de l’APA permet de protéger le public et de donner une chance égale à chaque candidat. On s’assure ainsi que personne ne sera désavantagé, ou pire, victime de discrimination lors de la passation de tests.

Les étapes

Puisque la conception d’un test requiert rigueur et méthode, plusieurs étapes sont nécessaires, tels l’établissement d’un cadre théorique, l’élaboration, la normalisation et la vigie. Les voici plus en détail.

Première étape : le cadre théorique

Dans un premier temps, les concepteurs vont déterminer l’objet de la mesure. Pour ce faire, on effectue une revue de littérature scientifique, on analyse des tests similaires ou on mène des entretiens avec des experts dans le domaine. Dans le cas des entretiens, on procède alors à des entrevues, le plus souvent semi-structuré, pour élaborer le concept lorsqu’il est peu ou pas connu.

Dans un premier temps, les concepteurs vont déterminer l’objet de la mesure

On peut également utiliser la méthode de la prise d’incidents critiques pour identifier les comportements qui font une différence positive ou négative dans l’emploi.

Deuxième étape : l’élaboration du test

Dotés de toutes ces informations, les concepteurs élaborent une banque de questions qui est généralement une fois et demie à deux fois plus importantes que le nombre de questions souhaitées. Ces questions sont ensuite soumises à des experts pour révision.

Une fois les commentaires des experts obtenus, les concepteurs modifient et retranchent des questions pour obtenir une version qui sera administrée à un échantillon dont la taille peut varier d’une centaine à quelques milliers de personnes. L’échantillon doit représenter le plus adéquatement possible la population ciblée par le test puisqu’il sera également utilisé pour la création de la norme.

L’échantillon doit représenter le plus adéquatement possible la population ciblée

C’est également durant les étapes 1 et 2 que sont recueillies les informations qui permettent de construire et justifier la grille de correction.

Le prétest est ensuite soumis à une batterie d’analyse statistique et des items sont retirés ou améliorés en fonction des résultats. Une fois que la version finale a été approuvée, les données provenant de la validation du test peuvent être récupérées ou un autre échantillon représentatif pourrait être invité à compléter le test pour développer la norme.

Troisième étape : la normalisation du test

L’objectif de cette étape est de calibrer le test pour que les scores des répondants se distribuent en fonction d’une courbe normale. À nouveau, pour ceux et celles qui ne font pas des statistiques régulièrement, la courbe normale, c’est quand les scores se répartissent en forme de cloche sur un graphique; le milieu de la cloche étant la moyenne de la population.

Sommairement, la distribution des résultats des membres de l’échantillon permet de positionner le résultat de tout individu à l’intérieur de cette distribution de résultats afin de donner un sens aux résultats obtenus.

L’objectif est de calibrer le test pour que les résultats se distribuent normalement

Il sera donc possible de savoir si les résultats obtenus se situent au-dessous ou au-dessus de la moyenne.  C’est seulement après la création de la norme que le test sera prêt à être utilisé.

Quatrième étape : la vigie

Finalement, une fois le test déployé, il n’est pas laissé à lui-même. En effet, dans un intervalle pouvant varier entre 12 à 18 mois suivants sa mise en opération, d’autres informations sont recueillies pour augmenter la validité du test, notamment sa validité prédictive. Pour ce faire, les gestionnaires sont interrogés sur la performance des candidats embauchés.

La vigie est un exercice qui permet d'augmenter la validité du test

Ces informations sont ensuite mises en corrélation avec les résultats obtenus au test afin de s’assurer que les éléments mesurés par le test prédissent les comportements futurs en emploi.

Comment distinguer un bon d’un mauvais test

Les tests « sérieux », ceux qui ne craignent pas d’être contestés en cour, sont développés selon des normes rigoureuses, comme celle de l’APA. C’est un processus complexe qui repose sur des méthodes scientifiques et statistiques éprouvées. Les bons tests sont souvent accompagnés d’un manuel scientifique qui explique en détail la méthodologie utilisée par les concepteurs ainsi que les résultats des analyses effectuées.

Les manuels expliquent en détail la méthodologie d'élaboration et de validation

Les distributeurs de tests reconnus possèdent et divulguent ces informations ouvertement. Comme employeur, posez-vous des questions et usez de précautions si vous n’avez pas accès à ces informations.

Prochain article

La semaine prochaine, nous discuterons du fonctionnement des tests psychométriques. Plus précisément, on verra comment on peut évaluer avec précisions une personne en lui demandant simplement de répondre à des questions. Nous traiterons également des biais de désirabilité sociale et des mécanismes d’accommodement lors de la passation des tests.

Bonne semaine!

En collaboration avec

Éric Donahue, M.Ps., Ph.D.

Psychologue organisationnel, Expert en gestion des talents