Il n'existe pas une manière unique d'évaluer l'efficacité de ses formations. Ainsi, certains de nos clients privilégient la mesure quantitative : leurs questionnaires comprennent une majorité de questions fermées et, parfois, ils suivent attentivement l'évolution de leurs indicateurs de résultats, potentiellement influencés par les formations qu'ils ont mises en oeuvre. D'autres se montrent très sensibles à une mesure plus qualitative et, de ce fait, intègrent dans leur processus d'évaluation davantage de questions ouvertes.
Il me semble qu'un juste équilibre entre les deux est la meilleure manière d'évaluer efficacement ses formations. Le quantitatif permet de chiffrer l'efficacité de la formation (et donc de mieux valoriser en interne ses retombées, surtout auprès des financiers) alors que le qualitatif permet d'analyser plus finement pourquoi la formation a porté ses fruits ou non. Prenons un exemple simple. Une évaluation montre que le taux de satisfaction des participants à une formation est de 92 %. Très bien. Mais pourquoi sont-ils satisfaits ? En creusant, nous pouvons par exemple remarquer qu'ils ont été satisfaits des qualités pédagogiques du formateur (taux de satisfaction de 93 %). Et toujours la même question : pourquoi a-t-il été performant sur le plan pédagogique ? Et là, les réponses aux questions ouvertes ont toutes leur utilité : parce qu'il a tenu compte de chacun dans le groupe, parce qu'il a fait en sorte que chaque participant puisse s'exprimer, parce qu'il a su tenir compte de l'environnement professionnel de chacun, etc. Cette forme d'évaluation se veut ainsi complète, car apportant des réponses aux différentes parties prenantes de la formation.
Si vous souhaitez développer davantage de mesures quantitatives, et que les statistiques ne vous effraient pas trop, voici quelques lectures (de fin de vacances ?) intéressantes pour cela :
La page concoctée par Jean-Yves Baudot sur l'efficacité de la formation : il y décrit le célèbre modèle de Kirkpatrick et montre comment les outils statistiques peuvent être appliqués pour analyser les résultats de la formation.
L'article de François-Marie Gérard intitulé "L'évaluation de l'efficacité d'une formation" : la méthode qu'il suggère pour évaluer l'apprentissage (avant-après "après" formation) ravit de nombreux utilisateurs de Formaeva ! L'auteur vous montre, à partir d'un exemple concret, comment utiliser au mieux celle-ci et comment en analyser les résultats à partir de quelques traitements statistiques.
Très bonnes fins de vacances et bon plan de formation à venir ! :-)
Je m’aperçois que les questions ouvertes dans les évaluations à chaud restent très souvent sans réponse. Il y a plusieurs explications à cela, dont, en premier, les conditions de réalisation de l’évaluation. En effet, elle est souvent faite à la dernière minute, à la fin de la formation. Le stagiaire est pressé de partir et devrait commencer à rédiger… Non, ce n’est plus le moment ! D’autre part, il y a la peur de se mettre en avant, en apportant une critique, quelle qu’elle soit, être jugé par rapport à l’avis donné. Quelle interprétation le line management pourrait en faire s’il venait à le lire ? Les formateurs n’expliquent jamais l’objectif et l’intérêt de l’évaluation.
Les questions ouvertes leur sont plus « accessibles » un fois revenus à leur poste de travail, mais la crainte de l’interprétation managériale demeure.
Rédigé par : Stéphan DURAND | 19 août 2009 à 12:08
Très vrai! Nous tentons de contourner le problème, à Formaeva, par deux moyens:
1. En réalisant ce qu'un de nos clients appelle les évaluations "à tiède". Les participants aux formations reçoivent leur invitation à évaluer par courriel, le lendemain de la session. Ils réalisent l'évaluation quand ils ont le temps, seuls, avec 24h de recul. Les résultats des évaluations à tiède sont généralement moins élevés que ceux des évaluations à chaud mais ô combien plus parlants...
2. Les synthèses d'évaluation, reçues automatiquement par le service RH, le formateur, éventuellement les managers, sont anonymes. Les commentaires ne sont pas nominatifs d'où, parfois, une plus grande liberté de parole.
Rédigé par : FX | 21 août 2009 à 10:58
Après lecture de l'article de Baudot, je souhaiterais apporter quelques remarques.
1/ Petit raccourci à clarifier dans le paragrapahe sur le niveau 1 : une échelle ordinale ne permet pas de calculer des moyennes mais uniquement des rangs, médianes (P50)... Mais effectivement, en psychologie, il est communément admis que les échelles en 5/7 points de type Likert représentent une échelle de rapport, une mesure continue, qui autorise effectivement de calculer des moyennes, comme l'auteur le propose à juste titre.
2/ En psychologie sociale, l'auto-évaluation (self-report) n'est jamais considérée comme une meilleure par rapport à l'hétéro-évaluation (du moins si celle-ci est effectuée par plusieurs juges dont on calcule la corrélation des jugements dit "inter-juges")… en effet de nombreux biais agissent sur les mesures en self-report dont le plus connu est la désirabilité sociale. Différentes variables modèrent la façon de répondre sur soi dans ce contexte d'apprentissage/acquisition : estime de soi, self-efficacy, norme perçue sur l'apprentissage du groupe d'apprenants, contrôle perçu sur l'apprentissage, etc.
Une solution plus adéquate (mais aussi la plus lourde, je l'admets) qui reste subjective est sans aucun doute le croisement des deux types d'évaluation (auto + hétéro). D'une part cela permet d'examiner les écarts éventuels entre les deux points de vue (qui permettent en sus d'observer si l'apprenant manifeste une surestimation de soi ou sous-estimation de soi dans l'apprentissage). D'autre part, ce croisement permet d'avoir une mesure plus proche de la réalité. C'est ce qu'on retrouve dans l'approche 180° ou 360° (lorsque les juges émanent de différentes "composantes" en relation avec l'apprenant)
3/ le modèle de Kirkpatrick est souvent considéré – à tort selon moi – comme un modèle linéraire causal alors que qu'il représente - toujours à mes yeux - un modèle à niveaux. Dans cette perspective, il n'est donc pas forcément opportun d'essayer de quantifier les liens entre les différents éléments du modèle. En se référant à Holton (et al. 2003 - qui a intégré le modèle de K dans une perspective causale plus large) et plus récemment à Devos & Dumay (2006), il est clair que la réaction est un élément contextuel (et non un résultat en soi) qui peut favoriser l'apprentissage mais il est un élément parmi bien d'autres facteurs qui impactent l'apprentissage et le transfert. En isoler l'effet risque donc de mener à des déceptions statistiques… Par ailleurs, les corrélations entre les différents niveaux sont généralement très faibles et dépendent de la méthode d'évaluation (ex. Alliger et al., 1989).
Rédigé par : Arnaud Liégeois | 17 septembre 2009 à 10:40