Formaeva - Le blog de l'évaluation de la formation

Évaluer le niveau 1 : utiliser uniquement des échelles de réponse avec un nombre impair de choix

Pour le cinquième article portant sur les bonnes pratiques de construction d'un bon questionnaire d'évaluation de niveau 1, nous allons revenir sur une vieille croyance en évaluation de la formation. Nous avons trop souvent entendu qu'il fallait utiliser des échelles de réponse avec un nombre pair de choix (à 4 niveaux, par exemple) pour éviter que les répondants cochent une réponse centrale (3 sur 5, par exemple). Cette croyance, persistante, est erronée : il est au contraire conseiller d'utiliser uniquement des échelles de réponse avec un nombre impair de choix (5, 7, 9...).

Il est préférable d'utiliser au maximum un même type d'échelle de réponse dans un questionnaire, plutôt que de multiplier les échelles, ce pour différentes raisons :

• le questionnaire est moins long à compléter ;

• les données recueillies sont plus fiables (moins de risques de confusion) ;

• les comparaisons entre les réponses sont plus aisées.

Lorsqu'il n'est pas possible d'utiliser une échelle unique, il convient de limiter au maximum le nombre d'échelles différentes et de regrouper les questions ayant la même échelle.

Par ailleurs, les échelles de réponse doivent proposer un nombre impair de choix (5, 7, 9...) pour les raisons suivantes :

• cela permet de prévoir une réponse "neutre" (intermédiaire) qui est une réponse parfaitement valide (tout du moins, aussi valide que les réponses plus "positives" ou "négatives") ;

• cela permet de mieux répartir les réponses possibles et d'éviter des choix par défaut des répondants. Par exemple, si l'échelle ne propose que 4 choix de réponse, le répondant souhaitant donner une réponse intermédiaire choisira 2 ou 3, biaisant le résultat final (négativement ou positivement). Le résultat de l'évaluation sera donc plus proche de la vérité si le questionnaire prévoit cette réponse neutre.

Malgré ces arguments, nous entendons parfois des souhaits contraires de la part de responsables formation : "Je les connais, j'ai déjà fait le test : ils vont tous cocher 3 !"

Vraiment ? Alors vérifions cela à l'aide de quelques statistiques...

Nous avons sélectionné de façon aléatoire un échantillon de réponses extraites de la base de données de Formaeva pour l'année 2011. Nous avons ainsi recueilli 49 518 réponses possibles pour des questions utilisant uniquement des échelles impaires sur 5 (de 1 : "Totalement en désaccord" à 5 : "Totalement en accord"). La répartition des réponses est la suivante :

• 1 sur 5 ("Totalement en désaccord") : 1468 réponses sur 49 518
• 2 sur 5 ("Plutôt en désaccord") : 2538 réponses sur 49 518
• 3 sur 5 ("Ni en accord, ni en désaccord") : 9444 réponses sur 49 518
• 4 sur 5 ("Plutôt en accord") : 19412 réponses sur 49 518
• 5 sur 5 ("Totalement en accord") : 16656 réponses sur 49 518

Ainsi, il apparaît que le choix de réponse intermédiaire (3 sur 5) ne représente que 19,07 % du total des réponses possibles. La probabilité que l'on coche la réponse 3 sur 5 est donc inférieure à 20 %. Le bon sens et les chiffres plaident donc pour l'adoption d'échelles impaires afin d'évaluer plus justement l'efficacité de vos formations.

Aussi, il est à noter que les réponses plus positives (4 sur 5) sont majoritaires. Quelle peut en être la cause ? J'avance une hypothèse (à vérifier empiriquement) : les évaluations portent ici sur des formations... évaluées, donc des formations qui sont susceptibles d'être améliorées en permanence. Il est donc logique que les répondants évaluent plus positivement des formations qui ne font que s'améliorer au fil du temps. Preuve est aussi faite que nos clients sont pragmatiques et exploitent habilement les données produites par la solution Formaeva !

[Formaeva] Lettre d'information n° 26 : mieux construire des formations plus efficaces

Vous trouverez à cette adresse la lettre d'information Formaeva n° 26.

Vous y découvrirez comment Formaeva peut vous aider à construire des formations toujours plus efficaces, au-delà de la seule évaluation des formations. Par exemple, en créant des tests de positionnement en amont pour définir des groupes de formation adéquats.

La notion de projet dans Formaeva s'inscrit ainsi pleinement dans les lignes et valeurs directrices de Formaeva : évaluer pour mieux former.

Très bonne lecture !

Évaluer le niveau 1 : créer des échelles de réponse comportant des numéros à intervalles réguliers et des mots à chaque extrémité

Le quatrième article de notre série relative aux bonnes pratiques de construction d'un bon questionnaire d'évaluation de niveau 1 porte sur les échelles de réponse (ou échelles de mesure). Pour les questions utilisant une échelle de Likert, il est vivement conseillé de créer des échelles de réponse comportant des numéros à intervalles réguliers et des mots à chaque extrémité.

Prenons à titre d'exemple une question relative à l'utilité des supports pédagogiques :

Les supports utilisés pendant la formation étaient utiles pour apprendre (documents, présentations, vidéos...)

Ici, nombre de questinnaires d'évaluation de niveau 1 utiliseraient des échelles de réponses avec un terme à chaque point de l'échelle. Par exemple :

1. Totalement en désaccord
2. Plutôt en désaccord
3. Ni en accord, ni en désaccord
4. Plutôt en accord
5. Totalement en accord

Or, cette manière de faire s'avère relativement peu fiable pour deux raisons :

• En raison des termes différents utilisés pour décrire chacun des points de l'échelle, même si ceux-ci sont présentés dans un ordre logique et équilibré, la distance entre chaque paire de points ne sera pas nécessairement la même. Par exemple, la distance entre "Totalement en désaccord" et "Plutôt en désaccord" (points 1 et 2) peut être plus courte que la distance entre "Plutôt en accord" et "Totalement en accord" (points 4 et 5). Ces différents choix de réponse ne sont pas nécessairement répartis de façon équilibrée et similaire pour les différents répondants, ne permettant pas de procéder à des tests statistiques valides.

• L'autre problème est que les termes employés peuvent avoir des significations différentes pour les répondants, rendant difficile la comparaison des résultats entre les groupes.

Pour pallier à ces problèmes, la meilleure manière est de créer des échelles de réponse comportant uniquement des termes aux extrémités et uniquement des numéros aux choix de réponses intermédiaires. La question se présenterait alors ainsi :

Évaluer le niveau 1 : faire correspondre les questions ouvertes avec les questions fermées

Pour le troisième article de notre série sur les bonnes pratiques de construction d'un bon questionnaire d'évaluation de niveau 1, nous insisterons sur la nécessité de faire correspondre les questions qualitatives (ouvertes) avec les questions quantitatives (fermées).

Combiner des questions ouvertes et fermées pour mesurer un même élément permet de bénéficier d'un éclairage double et d'accroître la validité des résultats.

En particulier, l'exemple suivant se révèle très révélateur pour vérifier que les mots employés correspondent ou non à l'évaluation chiffrée.

Ainsi, si les formés qualifient la session avec des termes tels que "Exceptionnelle" ou "Très pertinente" et lui attribuent une note moyenne de 3,2 sur 5, deux explications sont possibles :

• soit les formés n'ont pas compris l'une des questions ;

• soit la session n'était peut-être pas aussi "exceptionnelle" ou "pertinente" que ne le laissaient penser les mots employés.

À l'inverse, si la note moyenne est de 4,5 sur 5 (avec des termes aussi élogieux), on pourra considérer que la session est une réussite (corrélation directe entre les termes employés et la note).

À noter : les questions ouvertes sont très sensibles aux conditions dans lesquelles se déroule l'évaluation. Si vous administrez le questionnaire en fin de session (quand les formés ont déjà mentalement quitté celle-ci et s'apprêtent à partir), il est très probable que les réponses à ces questions ouvertes soient peu nombreuses ou vides de sens. S'il ne vous est pas possible de procéder à une évaluation en ligne (24 à 48 heures après la fin de la formation, par exemple), alors limitez le nombre de questions ouvertes au minimum, ou limitez la réponse à un ou deux mots (comme dans l'exemple précédent). Ainsi, les questions ouvertes trop générales ne sont généralement d'aucune utilité. Par exemple, lorsque l'on termine son questionnaire par "Commentaires :", il est probable que l'on recueille des réponses aussi "constructives" que "Merci !" ou "Plus jamais !"... voire que l'on ne recueille aucune réponse. Les questions ouvertes doivent donc être systématiquement précises et liées aux objectifs de l'évaluation.

Évaluer le niveau 1 : écrire des questions centrées sur le formé, pas sur le formateur

Ce deuxième article de notre série portant sur les bonnes pratiques de construction d'un bon questionnaire d'évaluation de niveau 1 rappelle qu'il est essentiel de rédiger des questions centrées sur le formé et non sur le formateur.

Plutôt que de questionner le formé à propos de ce qu'il pense de tel ou tel élément de la formation, il convient de poser des questions à propos de la satisfaction de ses besoins en tant que premier "client" de la formation. En particulier, c'est la capacité de la formation à favoriser l'apprentissage qui doit guider nos questionnements (plutôt que l'envie du formateur d'avoir un retour détaillé sur sa prestation).

Par exemple, voici l'exemple d'une question visant à évaluer la compétence du formateur :

Une question ainsi formulée (que l'on retrouve malheureusement assez fréquemment dans les questionnaires) place le participant en situation de jugement du formateur. Le participant est-il légitime pour évaluer la compétence de celui qui le forme ? Permettons-nous d'en douter. En revanche, il est parfaitement légitime pour évaluer le degré de réponse de la formation à ses besoins, de façon générale et pour chacun des éléments de la formation (ici, la capacité du formateur à lui avoir apporté la connaissance attendue).

La question devrait donc plutôt être formulée ainsi :

De façon croissante, les formations sont conçues pour être centrées sur le formé (individualisation des contenus). Il est donc logique que les évaluations de niveau 1 soient conçues dans le même esprit.

Évaluer le niveau 1 : poser uniquement des questions dont les réponses mènent à l'action

Ce premier article de la série consacrée aux pratiques pour construire un bon questionnaire d'évaluation de niveau 1 rappelle la nécessité de poser uniquement des questions dont les réponses mènent à l'action.

Cela peut sembler aller de soi, car c'est bien pertinence des questions dont il s'agit, et pourtant... nous ne comptons plus les questionnaires comportant des questions dont les réponses ne déboucheront sur rien de concret. Par exemple, il est inutile de questionner le participant sur la qualité d'une salle de formation (que l'on sait inappropriée) s'il s'agit de la seule disponible en interne (sauf si vous souhaitez vous aider du taux d'insatisfaction pour négocier l'aménagement d'une nouvelle salle auprès de la direction).

Poser des questions sur des éléments sur lesquels vous ne pourrez intervenir pour améliorer l'efficacité de la formation fait perdre son temps au participant et pourrait même générer chez lui une certaine frustration (car son insatisfaction ne débouchera jamais sur des actions). À terme, cela pourrait discréditer l'intérêt même de l'évaluation et, donc, le taux de retour.

Intervenant récemment chez un client pour optimiser son questionnaire d'évaluation de la satisfaction "historique" (utilisé depuis plusieurs années), j'ai pu remarquer que sur les 33 questions que celui-ci comportait (!), rares étaient celles liées à une action corrective possible. Après avoir appliqué cette bonne pratique, seules 14 questions ont "survécu". Ainsi, il s'agissait de s'interroger systématiquement sur l'utilisation qui serait faite des réponses. Le questionnaire est ainsi plus clair et aéré, plus rapide à compléter pour les participants et, surtout, plus pertinent en termes d'analyses possibles.

D'autres modifications ont été réalisées, dont certaines seront détaillées dans les prochains articles de cette série.

Huit bonnes pratiques pour construire un bon questionnaire d'évaluation de niveau 1 (réactions/satisfaction)

Lorsque nos clients commencent à utiliser Formaeva, nous avons généralement des demandes de deux types en ce qui concerne l'évaluation de niveau 1 (évaluation des réactions ou de la satisfaction, appelée encore en France, à tort, évaluation "à chaud") :

• "Nous avons notre propre questionnaire et nous souhaitons continuer à utiliser celui-ci."
• "Nous avons bien sûr un questionnaire mais il ne nous satisfait pas : pouvez-vous nous aider à en construire un qui soit plus pertinent ?"

Dans le premier cas, nous suggérons tout de même à nos clients des modifications de fond et de forme (qu'ils sont libres d'accepter ou non). Dans le second cas, nous respectons toute une série de bonnes pratiques, notamment développées d'un article de Kenneth Phillips (2007) : "Developing Valid Level 1 Evaluation Forms". L'auteur y liste huit bonnes pratiques pour construire de "bons" questionnaires d'évaluation de niveau 1 :

1. Poser uniquement des questions dont les réponses mènent à l'action
2. Ecrire des questions centrées sur le formé, pas sur le formateur
3. Faire correspondre les questions ouvertes avec les questions fermées
4. Créer des échelles de réponse comportant des numéros à intervalles réguliers et des mots à chaque extrémité
5. Utiliser des échelles de réponse avec un nombre impair de choix
6. Utiliser le plus petit nombre à l'extrémité inférieure ou à gauche de l'échelle et le plus grand nombre à l'extrémité supérieure ou à droite de l'échelle
7. Choisir des échelles de réponse cohérentes avec les questions
8. Inclure au moins une question sur la pertinence du contenu de la formation pour les participants et par rapport à leur travail

Ces huit bonnes pratiques peuvent donc servir pour construire un questionnaire en "partant de rien" ou pour diagnostiquer les forces et faiblesses d'un questionnaire existant (check-list).

Au cours des prochaines semaines, nous développerons chacune d'elles sur ce blog (un article par pratique).

[Formaeva] Lettre d'information n° 25 : une bonne formation commence avant la formation

Vous trouverez à cette adresse la lettre d'information Formaeva n° 25.

L'éditorial de cette lettre met l'emphase sur l'amont de la formation : quelles évaluations peut-on mettre en oeuvre en amont de la formation afin de maximiser l'efficacité de celleci ?

Vous y trouverez également diverses informations sur Formaeva (nouveaux clients, participation à un ouvrage, nouvelles fonctionnalités développées, etc.)

Très bonne lecture !

Comment évaluer les dispositifs ? Un article de Jonathan Pottiez dans la revue Personnel de l'ANDRH

Le numéro 526 de la revue Personnel de l'ANDRH (janvier 2012) propose un dossier ayant pour thème : "Formation interne ou formation externe : quels enjeux ?" (coordonné par André Perret et Denis Cristol).

Dans ce cadre, j'ai été sollicité pour y contribuer. Vous trouverez à cette adresse l'article que j'ai rédigé pour l'occasion, intitulé "Comment évaluer les dispositifs ?", portant sur l'évaluation de l'efficacité des formations, selon qu'elles sont animées par des formateurs internes ou externes.

Ma contribution consiste à se demander si la bonne question n'est pas tant "interne ou externe", que "efficace ou pas efficace" ?

Sortie du Grand Livre de la Formation (Dunod)

J'ai le grand plaisir de vous informer de la parution de l'ouvrage Le Grand Livre de la Formation (éditions Dunod), écrit sous la direction de Michel Barabel, Olivier Meier, André Perret et Thierry Teboul.

Il est présenté par l'éditeur comme devant "permettre au lecteur de comprendre les nouveaux modes d'apprentissage et les enjeux de la formation professionnelle. Il fait le point sur le nouveau cadre réglementaire et budgétaire et ses implications managériales dans le cadre du pilotage de la formation en entreprise."

L'un des chapitres, co-écrit par André Perret et votre serviteur, est consacré à l'évaluation de la formation. Vous y retrouverez un état des lieux des pratiques d'évaluation des formations ainsi que des retours d'expériences et des conseils pour vous aiguiller dans l'évolution de votre dispositif d'évaluation des formations.

Bonne lecture !