4. Toetsen of het geland is
Een groep kan je een 8,7 geven en drie weken later precies hetzelfde doen als daarvoor. Andersom komt ook voor: een training die ongemakkelijk voelde omdat mensen op hun eigen gedrag werden aangesproken, levert soms de grootste verandering op. Tevredenheid en effect zijn twee verschillende dingen, gemeten op twee verschillende momenten. Dit hoofdstuk gaat over het tweede.
Na dit hoofdstuk:
- Ken je het verschil tussen een tevredenheidsmeting en een effectmeting.
- Loop je de vier treden van de evaluatietrap langs en weet je wat elke trede kost en oplevert.
- Koppel je elk moet-doel aan een meetvorm en een meetmoment.
- Spreek je een nulmeting af in het intakegesprek, in plaats van hem achteraf te missen.
- Bepaal je aan de hand van wat je terugkrijgt naar welke ontwerpstap je terugstapt.
Effect is iets anders dan een goed gevoel
Effectmeting is het vaststellen of het gedrag uit je doelen ook echt optreedt, en of het probleem uit je probleemstelling daardoor kleiner is geworden. Je meet dus niet de beleving van de deelnemer, maar de uitkomst van je ontwerp. Dat antwoord komt bijna nooit binnen op de laatste dag van de training.
Het gewone evaluatieformulier is daarmee niet waardeloos. Het zegt iets over de zaal, het tempo en jouw energie, en dat is nuttig voor je eigen bijstelling. Het zegt alleen niets over de vraag waarvoor je bent ingehuurd. Wie alleen op dat formulier stuurt, optimaliseert zijn training op prettigheid, en dat is een andere training dan een die gedrag verandert.
De evaluatietrap
Evalueren gaat in vier treden. Hoe hoger de trede, hoe lastiger te meten en hoe meer hij zegt.
Trede 1 is tevredenheid: vond de deelnemer het nuttig en prettig? Je meet het aan het eind van de dag, in vijf minuten. Trede 2 is leren: weet of kan hij nu iets wat hij aan het begin niet kon? Ook aan het eind van de dag te meten, met een korte toets of met een observatie in de kernoefening. Trede 3 is gedrag: doet hij het ook op zijn werk, zes tot acht weken later, als de dagelijkse routine terug is? Trede 4 is resultaat: is het probleem uit je probleemstelling kleiner geworden? Dat meet je in de cijfers van de organisatie, maanden later, en daar heb je een nulmeting voor nodig.
De meeste evaluaties blijven op trede 1 steken, omdat die gratis is. De opbrengst zit vanaf trede 2, en de vraag van je opdrachtgever wordt pas op trede 3 beantwoord.
Per doel een meting en een moment
Je meet niet je hele programma, je meet je moet-doelen. De doelen uit de stapel "zou goed zijn" laat je buiten je meting, anders wordt het een onderzoek in plaats van een evaluatie. Per moet-doel bepaal je het niveau uit hoofdstuk 2, en dat niveau wijst de meting aan. Een kennisdoel meet je met een korte toets aan het eind. Een vaardigheidsdoel meet je met een observatie tijdens de kernoefening. Een gedragsdoel meet je pas op de werkplek, zes tot acht weken later.
Dan formuleer je per doel één concrete vraag. Niet "wat vond je van de training", maar "in welke situatie heb je de drie stappen gebruikt, en wat gebeurde er toen?" Een vraag naar een situatie levert een verhaal op met namen en context. Een vraag naar een oordeel levert een cijfer op dat je nergens mee verder kunt.
Een opdrachtgever wil dat monteurs storingen beter vastleggen in het systeem. De ontwerper kiest twee vormen. Aan het eind van de dag levert elke monteur één ingevulde storingsmelding in van een echte klus van vorige week, beoordeeld op vier verplichte velden. Zes weken later trekt de werkvoorbereider een steekproef van dertig meldingen uit het systeem en telt hoeveel daarvan alle vier de velden gevuld hebben. De nulmeting van vóór de training stond op elf procent.
Zonder die elf procent was elke uitkomst een mening geweest. Met die elf procent is een uitkomst van vierenveertig procent een resultaat, en een uitkomst van vijftien procent een signaal dat er iets anders aan de hand is dan een kennistekort.
Wat je aan het eind van de dag kunt doen
De laatste twintig minuten van je programma lenen zich voor trede 1 en 2, en je kunt daar meer dan een formulier uitdelen. Het waarderingsformulier stelt vijf tot acht vragen over inhoud, tempo, trainer en toepasbaarheid; met één open vraag richting gedrag ("welke situatie ga je deze week anders aanpakken?") haal je er meer uit. De prestatiemeting in de kernoefening kost je niets extra, want je kijkt toch al mee: je telt hoeveel deelnemers de stap uit je moet-doel twee keer zelfstandig zetten. De mondelinge ronde waarin iedereen in één zin zegt wat hij meeneemt, levert woorden op die in geen enkel formulier staan, en je hoort meteen of het kapstokwoord is blijven hangen. De korte kennistoets van vijf vragen werkt bij procedures en regelgeving, waar het antwoord goed of fout is. En bij het opgeleverde product beoordeel je wat de deelnemer inlevert in plaats van zijn mening erover.
Wat je na de training kunt doen
Trede 3 en 4 vragen om een tweede contactmoment, en dat spreek je af in het intakegesprek. Achteraf krijg je het er zelden nog bij. Bij een observatie op de werkplek kijkt de leidinggevende of een collega mee bij drie situaties en scoort op twee of drie punten uit je leerdoel; spreek vooraf af waar hij op let, anders krijg je een algemene indruk terug. Op een terugkommiddag vier tot acht weken later brengt iedereen één situatie mee waarin het lukte en één waarin het niet lukte; je meet en versterkt dan in dezelfde beweging. Bij een belronde bel je vier van de twaalf deelnemers tien minuten en vraag je naar een concrete situatie: "wanneer heb je het voor het laatst gedaan, en wat gebeurde er toen?" Het gesprek met de opdrachtgever zes tot acht weken later levert wat deelnemers zelf niet melden, en hij weet of het probleem kleiner is geworden. En de cijfers uit de organisatie (doorlooptijden, klachtaantallen, foutmeldingen) zijn de zwaarste trede, mits je die nulmeting hebt.
Kies per training maximaal twee vormen voor na afloop. Een uitgebreid meetplan dat niemand uitvoert, levert minder op dan één telefoontje naar vier deelnemers dat wel gepleegd wordt. En zet in dat intakegesprek de zin: "Over zeven weken bel ik vier van je mensen tien minuten. Mag ik daar nu vast een datum voor prikken?" Dat is het verschil tussen een meting en een goed voornemen.
Nadia meet twee dingen. Tijdens de laatste oefenronde telt ze hoeveel van de veertien teamleiders het gesprek openen met hun eigen waarneming in plaats van met een oordeel: elf van de veertien doen het twee keer zichtbaar. Zeven weken later belt ze vier teamleiders en vraagt niet of het geholpen heeft, maar: "wanneer heb je voor het laatst iets aangekaart binnen een week nadat je het zag, en hoe liep dat?" Drie van de vier noemen een concrete situatie met een naam erbij. De vierde zegt dat het er niet van gekomen is omdat zijn team is gereorganiseerd.
Die vierde is het waardevolste antwoord. Nadia heeft nu een casus voor haar gesprek met de directeur: het ontwerp klopt, maar in twee van de zes teams blokkeert de omstandigheid het gedrag. Dat is geen trainingsvraag.
Terug naar het ontwerp
Evalueren is in het circulaire model geen eindpunt maar een scharnier. Wat je terugkrijgt bepaalt waar je terugstapt, en niet elk signaal vraagt om dezelfde reparatie. Waren deelnemers tevreden maar doen ze niets anders, dan leek je oefening te veel op de zaal en te weinig op hun werk; je gaat terug naar de exploratie en haalt echt casusmateriaal op bij de doelgroep. Kunnen ze het wel maar mogen ze het niet, dan blokkeert de werkomgeving het gedrag; dan klopte je probleemstelling niet, want het gat zat niet bij de deelnemer maar in de organisatie, en dat bespreek je met de opdrachtgever en niet met de groep. Liep de kernoefening uit en viel de staart weg, dan is het een fout in je tijdsplanning; je past het draaiboek aan en zet een hard tijdstip bij de start van de kernoefening. En scoorde één blok structureel laag over drie groepen, dan is er een patroon en herbouw je dat blok. Bij één afwijkende groep kijk je eerst naar de omstandigheden van die dag.
Je eigen logboek per trainingsdag
Naast de evaluatie van de deelnemers houd je een tweede lijstje bij: dat over jezelf. Je vult het in binnen een uur na afloop, want daarna vervaagt het. Drie kolommen: wat ging goed, wat vroeg aandacht, en welke wijziging je doorvoert. Die derde kolom is de belangrijkste. Een aandachtspunt zonder ingreep herhaalt zich bij de volgende groep. Schrijf er dus geen constatering in ("de introductie liep uit"), maar een wijziging in je draaiboek: welk onderdeel je inkort, welke vraag je anders stelt, welk materiaal je vooraf meestuurt.
Neem één moet-doel uit je eigen ontwerp en werk het meetplan uit.
- Het moet-doel, letterlijk zoals je het hebt opgeschreven, met het niveau erbij.
- Wat je aan het eind van de training kunt vaststellen, en met welke vorm.
- Wat je alleen op de werkplek kunt vaststellen.
- De ene vraag die je zes weken later stelt, en aan wie je die stelt.
- De nulmeting die je nodig hebt, en aan wie je die in de intake vraagt.
Leg daarna je huidige evaluatieformulier ernaast. Welke vragen meten tevredenheid, en welke meten effect? Kom je op nul in de tweede kolom, schrijf dan één vraag die het wel doet.
Samenvatting
- Effectmeting kijkt of de doelen uit je ontwerp gehaald zijn, niet of de dag prettig verliep. Die twee lopen niet parallel.
- De evaluatietrap heeft vier treden: tevredenheid, leren, gedrag en resultaat. De vraag van je opdrachtgever wordt pas op trede 3 beantwoord.
- Je meet alleen je moet-doelen. Het niveau van het doel wijst de meetvorm en het meetmoment aan.
- Gedrag meet je zes tot acht weken later, als de dagelijkse routine terug is.
- Aan het eind van de dag: een formulier met een open vraag, een prestatiemeting in de kernoefening, een mondelinge ronde, een korte toets of een opgeleverd product.
- Na de training: observatie, terugkommiddag, belronde, een gesprek met de opdrachtgever of cijfers uit de organisatie. Kies er maximaal twee, en spreek ze af in de intake.
- Wat je terugkrijgt brengt je terug naar de exploratie of naar de probleemstelling. Welke van de twee, hangt af van wat er precies misging.
Daarmee is de cirkel rond, en ben je terug bij hoofdstuk 1. Eerst het gat, dan het programma, en daarna het gat opnieuw meten.
Op welke trede van de evaluatietrap wordt de vraag van je opdrachtgever pas echt beantwoord?
Deelnemers waren tevreden, maar zes weken later is er niets veranderd in hun werk. Waar stap je volgens dit hoofdstuk naar terug?
Waarom vraag je de nulmeting al tijdens het intakegesprek?
Klaar voor de volgende stap?
Je hebt de gratis starter van Trainingen ontwikkelen afgerond. Het volgende hoofdstuk in de volledige training is Aansluiten op de drie breinniveaus: Waarop deelnemers je programma in de eerste minuten beoordelen, en hoe je veiligheid in je ontwerp inbouwt.
Volg de 2-daagse training →Vanaf €1250,- excl. btw · met een ervaren trainer erbij