Skip to content

Kirkpatrick’s evaluatiemodel voor vooruitgang

26 augustus 2012

kwaliteitsmanagement
In elke organisatie vinden veranderingen plaats al dan niet beheerst door verandermanagement. Na elke verandering komt de logische vraag: Wat hebben we eigenlijk bereikt? Zoals eerder aangegeven is niet elke verandering een verbetering. Wanneer kunnen we nu spreken van vooruitgang? Ook bij leren is er hopelijk sprake van vooruitgang en ook daar komt de vraag naar voren, hebben we nu daadwerkelijk iets nuttigs geleerd?. In deze blog wil ik daarom een vergelijking maken tussen Kirkpatrick’s leerevaluatiemodel en het bepalen van de effectiviteit van veranderingen.

Reacties
Ten eerste moet een verandering een goed gevoel geven. Bij trainingen wordt het bepaald met evaluatieformulieren of door een mondelinge evaluatie. Ook bij veranderingen worden de reacties meestal wel gepeild. De mate waarin de verandering wordt geaccepteerd en gewaardeerd door de gebruikers bepaalt namelijk het rendement. Het is dus belangrijk te bepalen wat de organisatie vindt van de verandering. We weten dat er veel gefundeerde, maar helaas ook ongefundeerde reacties worden geuit. Deze reacties moeten wel worden gemanaged, om het succes van de verandering te bepalen, maar of het nu daadwerkelijk bepaalt of er vooruitgang is? Daarvoor zijn er teveel verstorende effecten: is de organisatie verandermoe, wat is het vertrouwen in degene die de verandering leidt, voorgaande ervaringen met veranderingen, et cetera. Toch zijn er legio organisaties waar de evaluatie niet verder gaat dan dit niveau: geloven dat er een verandering is, omdat dat beloofd wordt.

Tijdens een project kreeg ik te maken met een grote lekkage die voor vele tienduizenden euro’s aan schade opleverde. Naast het technische mankement was er een behoorlijke humane factor: na de technische storing was de installatie weer opgestart zonder te inspecteren of er schade was. De lekkage bleef daardoor uren onopgemerkt. Het verbeterformulier werd afgesloten met de belofte dat medewerkers beter zouden opletten en de installatie in de gaten zouden houden. De installatie is momenteel in verband met een bouwproject al weken onbereikbaar zonder enige bezwaar of zelfs maar reactie vanuit de operationele leiding. Ondanks de positieve reactie op de verandering is er geen voortuitgang, de vooruitgang is een loze belofte. Hoeveel loze beloftes zijn er in jou organisatie?

Verandering
Na een training kun je de deelnemers een toets laten maken om te kijken of de kennis is overgedragen. In het bovengenoemde voorbeeld kun je jezelf ook afvragen of er daadwerkelijk sprake is van een verandering. Het is een mondelinge toezegging, maar die nergens tastbaar wordt gemaakt. Bij verandermanagement (change control) ga ik altijd op zoek naar een blijvende verandering: is een procedure gewijzigd of is een apparaat aangepast. Maar soms is het niet zo eenvoudig, niet alles wil je in een procedure opnemen. Als je kijkt naar hoog betrouwbare organisaties, dan gaat het ook vooral om de houding van medewerkers ten aanzien van risico’s. In dat geval is het tastbare bewijs minimaal het verslag van het overleg waarin de verandering besproken is. Dit kan tijdens een routinematig overleg, maar ook tijdens een training. De notulen, het trainingsmateriaal en de aanwezigheidsregistratie is dan het bewijs. ISO 6.2.2 eist dat met behulp van registratie van opleiding, training, vaardigheden en ervaring moet worden aangetoond dat medewerkers bewust en bekwaam zijn.

Gedrag
“Ik had ze nog zo gezegd dat ze dat moesten doen/nalaten!” Als de procedure niet wordt toegepast, of de gewijzigde of nieuwe machine niet op de juiste wijze of voor het beoogde doel wordt gebruikt, dan heb je nog steeds geen verandering. Dus wordt de verandering ook daadwerkelijk toegepast, en ik zou daad dus aan willen toevoegen op de juiste wijze toegepast, voor het beoogde doel. Dat zal door de verandermanager, de leidinggevende of een auditor moeten worden vastgesteld. In het bovengenoemde voorbeeld is dit niveau dus nooit bereikt, of misschien hooguit heel even. Dat is dus een ander aspect dat moet worden vastgesteld: is de verandering wel duurzaam. Iedereen weet toch dat oud gedrag heel hardnekkig kan zijn. De vaststelling of een verandering ook daadwerkelijk nog wordt toegepast moet dus enige tijd (half jaar, of een jaar) na de implementatie worden bepaald. Zo kun je zien of het gedrag blijvend is veranderd.

Zelfs bij machines of installaties moet je ook bepalen of de verandering blijvend is. In veel bedrijven is het slecht gesteld met het technisch eigenaarschap van een installatie. Heb je net je machine geïnstalleerd, getest en gekwalificeerd, zet de technische dienst de zaag in een leiding, sleutelt er een onderdeel in of uit (hij werkt zo toch beter), verandert een programmeur de software (het is maar een bug fix). Apparaten moeten worden onderhouden (regelmatig smeren, schoonmaken en preventief vervangen van onderdelen die slijten) om de verbetering blijvend te laten zijn. Of dit daadwerkelijk zo is wordt vastgesteld met verschillende monitoring programma’s: kalibreren, omgevingsmonitoring in clean room of schone ruimtes, statistische proces controles, et cetera. Het is belangrijk om na veranderingen vast te stellen dat de noodzakelijke onderhouds- en monitoringsprogramma’s zijn ingericht.

Zo was ik betrokken bij een verplaatsing van een procesleiding die flinke vertraging opliep omdat een flowmeter in de leiding niet gekalibreerd bleek. We hadden de flowmeter nodig om te kwalificeren dat de leiding en de besturing van de vloeistofstroom door de leiding op de juiste wijze was ingericht. De flowmeter was kritisch, maar was niet opgenomen in het monitoringsprogramma. En zelfs na dit incident koste het mij de nodige moeite om de projectgroep ervan te overtuigen dat zij een verantwoordelijk hebben om bij hun technische projecten ook te regelen dat de noodzakelijke kalibratie en onderhoudsprogramma zijn afgesproken en geïmplementeerd. Stel dat jij over een jaar weer verantwoordelijk ben voor een noodzakelijke verplaatsing van deze leiding, wil je dan wel of niet weer de ellende die deze vertraging ons heeft gebracht?

Resultaat
Maar uiteindelijk gaat het erom om het beoogde doel is bereikt met de verandering. Leuk dat er iets is veranderd, maar hebben we bereikt wat we wilde bereiken. Is de verandering een verbetering, of zijn er toch onvoorziene negatieve neveneffecten?

In engineering worden veranderingen gevalideerd. In farma en medische hulpmiddelen spreekt men van procesvalidatie. Wat is de mate waarin het proces resultaat levert van de beoogde kwaliteit en in welke mate is dit ook reproduceerbaar. Of het proces nu voornamelijk door technische systemen wordt bepaald of door menselijk handelen maakt daarbij feitelijk niets uit. Meten is weten is daarbij het devies. De kunst daarbij is wel weer goed meten. Hoe bewijs je dat je je doel hebt bereikt. Deze vraag moet je jezelf al stellen voordat je überhaupt aan de verandering begint. Als je het effect van de verandering niet kunt vaststellen, wat is dan het nut van de verandering. Niet aan beginnen zou ik zeggen. Pas als je het doel in SMART en dan met name meetbare doelen hebt gedefinieerd kun je aan de verandering beginnen.

Bepaal ook vooraf goed wat je moet meten. Naast de doelen moet je ook de risico’s vooraf in kaart brengen. Wat kunnen ongewenste effecten zijn die maken dat de verandering geen verbetering is, maar een verslechtering. Daar waar de risico’s significant zijn is meting nodig.

Vooruitgang
Er is dus niet zoveel verschil tussen persoonlijke vooruitgang (leren) en de vooruitgang op organisatieniveau. Kirkpatrick’s model is in beide situaties van toepassing. De toepassing van het model binnen verandermanagement maakt dat we daadwerkelijke vooruitgang ook aantoonbaar kunnen maken. Einde aan onderbuikgevoelmanagement, maar feestjes vieren omdat de feiten aantonen dat je iets wezenlijks hebt bereikt.

Advertenties

Geef een reactie

Vul je gegevens in of klik op een icoon om in te loggen.

WordPress.com logo

Je reageert onder je WordPress.com account. Log uit / Bijwerken )

Twitter-afbeelding

Je reageert onder je Twitter account. Log uit / Bijwerken )

Facebook foto

Je reageert onder je Facebook account. Log uit / Bijwerken )

Google+ photo

Je reageert onder je Google+ account. Log uit / Bijwerken )

Verbinden met %s

%d bloggers liken dit: