Comment mesurer l'efficacité de la formation sans vous tromper

Presque tous les programmes de formation sont évalués à l'aide de deux chiffres : le nombre de participants et leur note. Ces deux données sont faciles à collecter et aucune d'entre elles ne corrèle de manière fiable avec la performance. Une session peut être agréable, bien suivie, et laisser le comportement complètement inchangé.

Mesurer l'efficacité correctement signifie répondre à une question plus difficile : par rapport à quoi ? Toute affirmation selon laquelle une formation a fonctionné est une comparaison – par rapport aux mêmes personnes avant, ou par rapport aux personnes qui ne l'ont pas reçue. Sans l'une de ces comparaisons, vous avez une anecdote accompagnée d'un pourcentage.

Le niveau 1 est presque sans valeur en soi mais ne coûte presque rien. Le niveau 2 est celui où la plupart des organisations devraient investir en premier, car il est peu coûteux, objectif, et le nouveau test différé expose le plus grand mode d'échec de la formation en entreprise : le matériel qui a été appris puis oublié en un mois.

Les niveaux 3 et 4 sont ceux qui apportent la crédibilité, et ils nécessitent de décider à l'avance quel indicateur commercial la formation est censée influencer. Si personne ne peut nommer cet indicateur avant le début de la formation, c'est la conclusion.

La ligne de base est l'intégralité de la mesure. Réalisez l'évaluation avant la session, pas après — un score post-seulement vous indique ce que les gens savent, jamais ce qu'ils ont appris. Utilisez le même instrument les deux fois, sinon la comparaison n'a pas de sens.

Deux règles pratiques. Ne montrez pas les bonnes réponses après la ligne de base, sinon vous aurez formé les gens au test plutôt qu'au sujet. Et établissez une ligne de base pour tout le monde, y compris les personnes que vous êtes sûr de connaître déjà ; elles constituent le groupe de contrôle qui vous indique dans quelle mesure le score post-formation est dû à la formation et dans quelle mesure il était déjà présent.

Immédiatement après une session, les scores sont gonflés par l'effet de récence. Tout le monde semble formé. Le chiffre qui prédit le comportement au travail est celui que vous collectez trois à six semaines plus tard, une fois que l'oubli normal a fait son œuvre.

C'est aussi là que la répétition espacée prend tout son sens. Au lieu d'un seul nouveau test, répartissez de courtes sessions de questions à faible effort sur les semaines suivant la formation. Vous obtenez une courbe de rétention plutôt qu'un point unique, et l'acte de retrouver la réponse est lui-même ce qui la fixe — la mesure et l'intervention deviennent la même activité.

Associez ces données à l'unique indicateur commercial que vous avez désigné à l'avance – taux d'erreur, résolution au premier contact, temps de montée en compétence, taux d'escalade, taux de clôture – et vous avez une affirmation défendable. Rapportez l'indicateur commercial même s'il n'a pas évolué ; la crédibilité de chaque rapport futur en dépend.

• Augmentation des compétences : l'amélioration moyenne en points de pourcentage par compétence entre la ligne de base et le nouveau test différé. Rapportez-le par compétence, pas comme un chiffre global – le chiffre global masque le sujet qui n'a pas progressé.
• Couverture : la proportion de participants ayant atteint un seuil de maîtrise défini par compétence, par exemple trois bonnes réponses avec une grande confiance. La couverture est ce qui intéresse un responsable des opérations, car elle répond à la question "puis-je affecter cette équipe à ce poste" plutôt que "les scores ont-ils augmenté".

La plupart des conseils ci-dessus supposent un LMS : un cours, un indicateur d'achèvement et un nouveau test qu'il faut penser à planifier. Metronic n'a aucune métrique d'achèvement. L'efficacité est mesurée en continu, à partir des réponses données pendant la formation elle-même : la mesure et la formation sont une seule et même activité.

Le premier passage dans un programme constitue la référence. Chaque réponse ultérieure à la même question est un test différé, réalisé à l'intervalle choisi par la planification, si bien que la courbe de rétention se construit d'elle-même au lieu de dépendre d'une séance de suivi à organiser. Là où un LMS répond « ont-ils terminé ? », ceci répond « en sont-ils encore capables six semaines plus tard ? ».

• La confiance à chaque réponse : chaque réponse est enregistrée avec le degré de certitude du participant, ce qui permet de distinguer ceux qui savent, ceux qui ont deviné et ceux qui se trompent avec assurance — ce dernier groupe étant celui qui provoque réellement les incidents.
• La maîtrise plutôt que l'achèvement : un sujet n'est validé qu'après plusieurs bonnes réponses données avec un haut niveau de confiance. La part de personnes validées est le chiffre de couverture sur lequel un responsable d'exploitation peut composer une équipe.
• Des résultats par sujet : la progression est rapportée par compétence et par sujet plutôt qu'en un score global, de sorte que le sujet qui n'a pas progressé reste visible.
• Une planification tenant compte de l'interférence : les sujets proches sont espacés et les formats de questions variés, afin que les participants ne puissent pas reconnaître des schémas et gonfler la mesure.
• Des références continues : comme l'évaluation se répète, chaque nouvelle intervention dispose d'un avant/après récent sans qu'il faille organiser un pré-test distinct.

Une équipe support de 40 conseillers doit assimiler une politique de remboursement et d'escalade révisée. Le PDF de la politique est déposé, Metronic génère un pool de questions rattaché à six domaines de compétence, et tous les conseillers sont inscrits. Les sessions durent huit minutes, deux fois par semaine. Personne ne suit un cours et personne n'est marqué « terminé ».

La semaine 0 constitue la référence : à la première rencontre avec une question, la réponse et le niveau de confiance déclaré sont enregistrés. Pendant les six semaines suivantes, le planificateur revient sur ces mêmes questions à intervalles espacés, mélangées à de nouvelles ; la colonne « semaine 6 » n'est donc pas un test de rappel qu'il a fallu organiser, c'est simplement le point atteint par la courbe.

Le gain correspond à l'écart en points de pourcentage par compétence depuis la référence. La couverture de maîtrise est la part des 40 conseillers ayant répondu correctement trois fois avec une confiance élevée : c'est le chiffre sur lequel un responsable d'équipe peut réellement planifier. 72 % de couverture sur les seuils de remboursement signifie que 11 conseillers ont encore besoin d'être supervisés.

Le résultat intéressant ici concerne le traitement des données : seulement 12 points de gain et 55 % de couverture, mais 9 conseillers étaient « sûrs et faux » au départ, et 4 le sont encore. Ce groupe ne demande jamais d'aide : c'est lui qui produit les incidents, et il reste invisible dans tout rapport qui n'affiche qu'une moyenne ou un taux d'achèvement. La correction relève du contenu, pas du volume de sessions : le document est ambigu sur les durées de conservation, ce que le détail par question désigne immédiatement.

Rapproché de l'indicateur métier choisi à l'avance — les escalades liées aux remboursements pour 1 000 contacts, passées de 14 à 9 sur ces six semaines — cela constitue une démonstration défendable, avec l'hypothèse énoncée ouvertement : le changement de politique et la formation sont arrivés ensemble, les deux effets ne peuvent donc pas être totalement séparés.

Le service financier ne veut pas d'un diagramme de Kirkpatrick. Il veut le coût, l'effet et les hypothèses derrière la conversion de l'effet en argent, clairement énoncés pour pouvoir en discuter.

Le coût est simple : coût du contenu et de la plateforme plus heures des participants au coût chargé. L'effet est votre gain de compétence et l'indicateur commercial. La conversion est l'hypothèse — par exemple, qu'une réduction de 3 points du taux d'erreur économise un montant connu de retouches par mois. Présentez l'hypothèse comme une hypothèse. Une estimation transparente qui peut être remise en question survit à l'examen ; un chiffre confiant avec un modèle caché ne le fait pas.

Le taux d'achèvement vous indique si les gens ont cliqué, pas si quelque chose a changé, et l'optimisation de ce taux encourage activement des contenus plus courts et plus faciles. Le nombre d'heures de formation dispensées mesure l'entrée, pas la sortie. La satisfaction au-delà d'une question mesure ce que la session a ressenti.

Aucune de ces données n'est mauvaise à collecter ; elles sont mauvaises à rapporter comme indicateur d'efficacité. Gardez-les comme des contrôles de santé opérationnels et ne les incluez pas dans la diapositive où vous affirmez que la formation a fonctionné.