So messen Sie die Wirksamkeit von Schulungen, ohne sich selbst etwas vorzumachen

Fast jedes Trainingsprogramm wird mit zwei Zahlen gemeldet: wie viele Personen teilgenommen haben und wie sie es bewertet haben. Beides ist leicht zu erheben, und beides korreliert nicht zuverlässig mit der Leistung. Eine Sitzung kann unterhaltsam und gut besucht sein und das Verhalten dennoch völlig unverändert lassen.

Die Messung der Effektivität bedeutet, eine schwierigere Frage zu beantworten: im Vergleich wozu? Jede Behauptung, dass ein Training funktioniert hat, ist ein Vergleich – entweder mit denselben Personen zuvor oder mit Personen, die es nicht erhalten haben. Ohne einen dieser Vergleiche haben Sie eine Anekdote mit einer angehängten Prozentzahl.

Ebene 1 ist allein betrachtet nahezu wertlos, kostet aber fast nichts. Ebene 2 ist der Bereich, in den die meisten Organisationen zuerst investieren sollten, da sie günstig und objektiv ist, und der verzögerte Nachtest den größten Fehlerfall im Firmentraining aufdeckt: Material, das gelernt und dann innerhalb eines Monats wieder vergessen wurde.

Die Ebenen 3 und 4 sind entscheidend für die Glaubwürdigkeit und erfordern eine vorherige Entscheidung, welche Geschäftskennzahl das Training beeinflussen soll. Wenn niemand diese Kennzahl benennen kann, bevor das Training durchgeführt wird, ist das bereits ein wichtiges Ergebnis.

Die Baseline ist die gesamte Messung. Führen Sie die Bewertung vor der Sitzung durch, nicht danach – ein reiner Nach-Score sagt Ihnen, was die Leute wissen, aber niemals, was sie gelernt haben. Verwenden Sie beide Male dasselbe Instrument, sonst ist der Vergleich bedeutungslos.

Zwei praktische Regeln: Zeigen Sie nach der Baseline keine korrekten Antworten, sonst haben Sie die Leute für den Test statt für das Thema trainiert. Und ermitteln Sie die Baseline bei jedem, auch bei Personen, von denen Sie überzeugt sind, dass sie es bereits wissen; sie sind die Kontrollgruppe, die Ihnen sagt, wie viel des Post-Training-Scores das Training war und wie viel bereits vorhanden war.

Unmittelbar nach einer Sitzung sind die Ergebnisse durch die Aktualität verzerrt. Jeder scheint geschult zu sein. Die Zahl, die das Verhalten am Arbeitsplatz vorhersagt, ist die, die Sie drei bis sechs Wochen später erfassen, nachdem das normale Vergessen seine Arbeit getan hat.

Hier kommt auch die spaced repetition ins Spiel. Anstelle eines einzigen Nachtests verteilen Sie kurze, wenig aufwendige Fragesitzungen über die Wochen nach dem Training. Sie erhalten eine Retentionskurve statt eines einzelnen Punktes, und der Akt des Abrufens der Antwort selbst ist das, was sie haften lässt – die Messung und die Intervention werden zu derselben Aktivität.

Kombinieren Sie diese mit der einen Geschäftskennzahl, die Sie im Voraus benannt haben – Fehlerrate, Erstkontaktlösung, Einarbeitungszeit, Eskalationsrate, Abschlussquote – und Sie haben eine fundierte Behauptung. Berichten Sie die Geschäftskennzahl auch, wenn sie sich nicht verändert hat; die Glaubwürdigkeit jedes zukünftigen Berichts hängt davon ab.

• Kompetenzsteigerung: die durchschnittliche prozentuale Verbesserung pro Kompetenz zwischen Baseline und verzögertem Nachtest. Berichten Sie dies pro Kompetenz, nicht als eine gemischte Zahl – die gemischte Zahl verbirgt das Thema, das sich nicht verbessert hat.
• Abdeckung: der Anteil der Teilnehmer, die einen definierten Beherrschungsschwellenwert pro Kompetenz erreicht haben, zum Beispiel drei korrekte Antworten mit hoher Sicherheit. Die Abdeckung ist das, was einen Betriebsleiter interessiert, denn sie beantwortet „Kann ich diese Schicht besetzen?“ statt „Sind die Ergebnisse gestiegen?“.

Fast alle obigen Empfehlungen setzen ein LMS voraus: einen Kurs, ein Abschluss-Häkchen und einen Nachtest, den jemand einplanen muss. Metronic kennt überhaupt keine Abschlussquote. Wirksamkeit wird laufend gemessen – aus den Antworten, die Menschen während des Lernens geben. Messung und Training sind dieselbe Tätigkeit.

Der erste Durchgang durch ein Programm ist die Ausgangsmessung. Jede spätere Antwort auf dieselbe Frage ist ein verzögerter Nachtest im jeweils geplanten Abstand, sodass sich die Behaltenskurve von selbst aufbaut, statt von einem terminierten Folgetermin abzuhängen. Wo ein LMS beantwortet „Haben sie es abgeschlossen?“, beantwortet dies „Können sie es sechs Wochen später noch?“.

• Konfidenz bei jeder Antwort: Zu jeder Antwort wird erfasst, wie sicher sich die Person war. Berichte trennen dadurch Wissen, Raten und selbstsicheres Irren – letztere Gruppe verursacht die Zwischenfälle.
• Beherrschung statt Abschluss: Ein Thema gilt erst nach mehreren richtigen Antworten mit hoher Konfidenz als bestanden. Der Anteil der Bestandenen ist die Abdeckungszahl, mit der eine Betriebsleitung eine Schicht besetzen kann.
• Ergebnisse je Thema: Der Zuwachs wird je Kompetenz und Thema ausgewiesen statt als ein Mischwert, damit das Thema ohne Fortschritt sichtbar bleibt.
• Interferenzbewusste Planung: Ähnliche Themen werden zeitlich getrennt und Fragenformate variiert, damit niemand Muster erkennt und die Messung aufbläht.
• Fortlaufende Ausgangswerte: Weil die Erhebung sich wiederholt, hat jede neue Maßnahme ein aktuelles Vorher und Nachher, ohne dass ein separater Vortest nötig wäre.

Ein Support-Team mit 40 Mitarbeitenden soll eine überarbeitete Erstattungs- und Eskalationsrichtlinie beherrschen. Das Richtlinien-PDF wird hochgeladen, Metronic erzeugt einen Fragenpool, der sechs Kompetenzbereichen zugeordnet ist, und alle werden eingeschrieben. Die Sitzungen dauern acht Minuten, zweimal pro Woche. Niemand absolviert einen Kurs, niemand wird als abgeschlossen markiert.

Woche 0 ist der Ausgangswert: Beim ersten Kontakt mit einer Frage werden Antwort und angegebene Sicherheit erfasst. In den folgenden sechs Wochen kehrt die Planung in verteilten Abständen zu genau diesen Fragen zurück, gemischt mit neuen. Die Spalte „Woche 6“ ist deshalb keine eigens organisierte Wiederholungsprüfung, sondern schlicht der bis dahin erreichte Punkt der Kurve.

Der Zuwachs ist die Veränderung in Prozentpunkten pro Kompetenz gegenüber dem Ausgangswert. Die Beherrschungsabdeckung ist der Anteil der 40 Mitarbeitenden, die eine Kompetenz dreimal mit hoher Sicherheit richtig beantwortet haben — die Zahl, mit der eine Schichtleitung tatsächlich planen kann: 72 % Abdeckung bei Erstattungsgrenzen heißt, 11 Personen brauchen dort weiterhin Aufsicht.

Interessant ist hier der Umgang mit Daten: nur 12 Punkte Zuwachs und 55 % Abdeckung, aber 9 Personen lagen zu Beginn selbstsicher falsch, 4 tun es weiterhin. Diese Gruppe fragt nie nach Hilfe und verursacht deshalb die Vorfälle — in jedem Bericht, der nur Durchschnittswerte oder Abschlussquoten zeigt, bleibt sie unsichtbar. Die Abhilfe liegt im Inhalt, nicht in mehr Sitzungen: Das Dokument ist bei den Aufbewahrungsfristen mehrdeutig, worauf die Auswertung je Frage direkt hinweist.

Zusammen mit der vorab benannten Geschäftskennzahl — erstattungsbezogene Eskalationen je 1.000 Kontakte, die im selben Zeitraum von 14 auf 9 fielen — ergibt das eine belastbare Wirksamkeitsaussage, mit offen genannter Annahme: Richtlinienänderung und Training kamen gemeinsam, beide Effekte lassen sich nicht vollständig trennen.

Die Finanzabteilung möchte kein Kirkpatrick-Diagramm. Sie möchte die Kosten, die Auswirkungen und die Annahmen hinter der Umwandlung der Auswirkungen in Geld, klar genug formuliert, um darüber diskutieren zu können.

Die Kosten sind unkompliziert: Kosten für Inhalte und Plattform plus Teilnehmerstunden zu Vollkosten. Die Auswirkungen sind Ihre Kompetenzsteigerung und die Geschäftskennzahl. Die Umwandlung ist die Annahme – zum Beispiel, dass eine Reduzierung der Fehlerrate um 3 Punkte eine bekannte Menge an Nacharbeit pro Monat einspart. Zeigen Sie die Annahme als Annahme. Eine transparente Schätzung, die jemand anfechten kann, übersteht eine Prüfung; eine selbstbewusste Zahl mit einem verborgenen Modell nicht.

Die Abschlussrate sagt Ihnen, ob die Leute geklickt haben, nicht, ob sich etwas geändert hat, und die Optimierung darauf fördert aktiv kürzere, einfachere Inhalte. Die Anzahl der gelieferten Trainingsstunden misst den Input, nicht den Output. Die Zufriedenheit über eine Frage hinaus misst, wie sich die Sitzung angefühlt hat.

Nichts davon ist falsch zu erheben; es ist falsch, dies als Wirksamkeit zu berichten. Behalten Sie sie als operative Gesundheitschecks bei und halten Sie sie von der Folie fern, auf der Sie behaupten, das Training habe funktioniert.