Evidence Based HRM

Jan Verplaetse’s bedenkingen bij een boek over kritisch denken.

Patrick — Sat, 14 Jan 2012 17:32:40 +0000

Toespraak naar aanleiding van het boek “De Ongelovige Thomas heeft een punt” van Johan Braeckman en Maarten Boudry.

Jan Verplaetse spreekt de auteurs en genodigden bij de boekvoorstelling toe. Gepubliceerd met toestemming van de auteur.

Jan Verplaetse is docent moraalfilosofie bij de vakgroep Grondslagen en Geschiedenis van het Recht (Universiteit Gent) en initiatiefnemer van de onderzoeksgroep The Moral Brain.

Hier volgt meteen een waarschuwing voor wie dit boek koopt. Gesteld dat u een sympathiek iemand bent – ik acht de kans hiertoe niet onbestaand – , dan dreigt er het gevaar dat u dit binnen enkele maanden niet meer bent. Want het moet gezegd: kritisch denken, het onderwerp van dit prachtige boek, heeft iets antipathieks, iets wat velen tegen de borst stuit.

Het heeft iets antipathiek om tegen mensen weer eens te moeten zeggen dat ze mis zijn, dat hun conclusies niet uit hun bevindingen volgen, dat hun diepste intuïties weer eens naast de wetenschappelijke kwestie zitten. Zeg je dit tegen vreemden, dan valt de schade nog mee. Die moeten er ten slotte maar tegen kunnen dat er geen leven na de dood is, dat er geen geest los van het brein bestaat, dat er geen vrij wil is, dat ons geheugen geen harde schijf is en dat plotse genezing geen remedie bewijst. Maar worden vreemden bekenden, dan wordt het lastiger. Neem nu mijn hoefsmid (om daar maar eens over te beginnen). Ik heb alle bewondering voor die jongeman van nog geen 30 jaar: het is zwaar, gevaarlijk en kundig werk. Nu vertrouwde hij mij onlangs toe dat hij tussen zijn 8 en 15 jaar volledig verlamd in bed lag. Hij kon zelfs zijn hoofd niet bewegen. De klassieke geneeskunde gaf hem op, maar een Chinese wonderdokter in Amsterdam redde hem van de dood. Na enkele maanden kon hij weer paardrijden en hoeven kappen. Daar sta je dan. Een verlamde jeugd van 7 jaar lang. Hoe antipathiek moet je niet zijn om hem als een gloeiend ijzer toe te werpen: “misschien heeft die wonderdokter er niets mee te maken. Misschien ben gewoon spontaan genezen. Een genezing bewijst toch geen remedie.” Je weet dat geen enkele dubbelblindproef kan zijn innerlijke ervaring evenaren. Je weet dat twijfel hem flink boos kan maken. Akkoord: een felle discussie kan een relatie verdiepen. Maar wat er ook van zij: je kritisch denken komt niet sympathiek over.

Met kritisch denken maak je geen vrienden. Ik zag dit onlangs nog in mijn lessen ‘argumentatieleer’ voor eerstejaarsstudenten Rechten. Niets is leuker, noch voor student noch voor lesgever, dan een raadseltje dat massaal fout beantwoord wordt. Wanneer het contra-intuïtieve antwoord het juiste is en het intuïtieve antwoord het verkeerd. Hebben ze het allemaal mis, dan kan je zeggen: kijk eens aan hoe onkritisch en dom jullie allemaal zijn. Niets is echter meer vervelend, zeker voor de lesgever, wanneer een student het correcte antwoord weet – dat zie je meteen aan de triomfantelijke blik – en als enige zijn hand opsteekt om te antwoorden. Je kunt hem niet vermijden. Je kunt niemand anders aanwijzen. Een mislukking dreigt. Je dreigt af te gaan. Tot ik hem vraag: maar ben je wel zeker? Ben je heel zeker. Vraag het eens aan de mensen rond je? Zijn medestudenten protesteren. Zij roepen hem toe in dat zijn antwoord contra-intuïtief is en dus wel moet fout zijn. Ik zie hem twijfelen en ik weet meteen: hij is verloren. En inderdaad. Hij verkiest voor het verkeerde, maar solidaire antwoord, niet voor het correcte, maar eenzame antwoord. Liever fout met de groep dan in je eentje juist. Jullie zijn dus gewaarschuwd. Kritisch denken. Je doet er weinig mensen een plezier mee. Je maakt mensen kwaad, je komt als betweterig en wereldvreemd over. Je houdt er alleen maar SKEPP-vrienden aan over.

Maar hoe antipathiek het onderwerp ook is, deze handleiding ‘kritisch denken’ is niettemin een erg sympathiek boek. Niet zozeer omdat de auteurs zulke sympathieke kerels zijn met veel meer dan alleen SKEPP-vrienden, maar ook omdat hun boek zo vlot en soepel leest. Je hoort beide auteurs als het ware praten en grapjes maken. Bij Johan mag je dat letterlijk nemen. Zijn grapjes van op de CD zijn nu eindelijk ook in boekvorm beschikbaar. Ook staat het boek vol met prachtige verhalen en onweerstaanbare weetjes. Over Apple die de shuffle-functie van zijn I-pod aanpaste omdat een afspeellijst zich soms herhaalde, wat volgens klagende klanten geen toeval kon zijn. Of over het feit dat je maar met 23 personen moet zijn om 50% kans te hebben dat 2 aanwezige mensen op dezelfde dag verjaren? Alleen al om die redenen is het boek de moeite waard.

Het boek is vooral sympathiek omdat het geen welles-nietes strijdboek is, geen argumenten-inventaris is tegen pseudowetenschap. Het breekt geen takjes van de boom van onzin en flauwekul, maar richt zich meer fundamenteel op de wortels van dit onkritische denken en de grond waaruit het voorspruit. Het brengt de diepere mechanismen en processen in kaart en is geen louter opsomming van onhoudbare opvattingen. Over alle onwetenschappelijke denkbeelden en theorieën heen zien de auteurs vergelijkbare psychologische processen aan het werk. Veel fundamentele verschillen zijn er niet tussen de hedendaagse fantast die 9/11 ziet als een FBI-complot en de middeleeuwse rechter die heksen vervolgt. Het zijn steeds dezelfde cognitieve processen, drogredenen en immunisatiestrategieën die het fanatisme verklaren waarmee mensen onzin trouw blijven. Ze keren altijd weer terug, vroeger en nu, vandaag en morgen.

Dit laatste brengt mij bij het meest sympathieke element in dit boek. De wereldwijsheid en de bescheidenheid van de auteurs. Als ervaren onzinstrijders weten ze maar al te goed dat flauwekul moeilijk uit te roeien valt. Onbetrouwbare kennis verspreidt zich gemakkelijker en sneller dan betrouwbare. Onzin vaart wel bij onze natuurlijke intuïties en flauwekul kiemt uitstekend in ons onkritisch brein dat niet om waarheidlievende redenen ontstond. De strijd tegen pseudowetenschap verloopt dus ongelijk en zonder hoop op een definitieve overwinning. De vijand is sterk en goed bewapend. Dit realisme geeft het boek rust en overzicht. In die zin is de ondertitel ‘handleiding’ wat misleidend. Verwacht geen stappenplan of actieplan, geen opdrachten met juiste antwoorden verderop in het boek. De handleiding is eerder een rondleiding in een merkwaardig, maar groot land ‘onzin’ genaamd.

Voor één punt had ik iets minder sympathie. Neen, ik ben absoluut geen aanhanger van één van de pseudowetenschappen die de auteurs beschrijven. Ik hoop dat ik echte wetenschap bedrijf, meer bepaald, psychologische wetenschap, waarvan jullie zo uitvoerig gebruikmaken in het blootleggen van mechanismen en processen die het onkritische denken sturen. Nu is het uitgerekend die psychologische wetenschap die momenteel onder vuur ligt. Gedeeltelijk omwille van het falende peer review systeem dat wetenschappelijke fraude slecht of niet detecteert. Denk maar aan de affaire Stapel in Nederland. Gedeeltelijk omwille van modegevoeligheid van deze discipline waardoor modieuze positieve resultaten meer aandacht krijgen dan weinig sexy negatieve resultaten. Met alle gevolgen van dien. Het duurt vaak decennia vooral wetenschap zich corrigeert. Intussen zijn carrières gemaakt en gekraakt. Aan dit interne gevaar mochten jullie gerust wat meer aandacht hebben besteed. Onkritisch denken is een gif of een virus dat de officiële grens tussen wetenschap en pseudowetenschap niet respecteert. Het dringt overal binnen, ook in geneeskunde en psychologie. Ook in wetenschap is er nood aan vervelende mensen die tegen onderzoekers zeggen dat ze mis zijn, dat hun conclusies niet uit hun bevindingen volgen en dat hun diepste intuïties naast de wetenschappelijke kwestie zitten. Ook wetenschap heeft behoefte aan zoiets antipathieks als kritisch denken.

Maar laat ik nu zelf niet te antipathiek gaan doen. Het belangrijkste nieuws is dat er nu voor alle mensen met de vervelende gewoonte om kritisch te denken een boek op de markt is dat nooit verveelt. Op geen enkele pagina. Dat bovendien uiterst betrouwbaar is, steunt op ervaring en deskundigheid, en waarvan je intuïtief aanvoelt dat het een nieuw standaardwerk in het veld wordt. Ik wens dit eigentijds evangelie, ik zou bijna zeggen dat van Johan en zijn apostel Maarten, een eindeloze herdruk en vele vertalingen toe. Mijn felicitaties aan beide heren.

Jan Verplaetse

Verslag van een Evidence Based avond aan de UGent.

Patrick — Sat, 14 Jan 2012 17:21:07 +0000

In oktober 2011 woorde ik een spreekbeurt bij van professor Dr. Bob Briner. Op basis van deze avond en enkele papers van hem en zijn collega’s schreef ik onderstaand artikel.

Patrick Vermeren

Evidence-based management?

Van managers (en zeker van Human Resources managers) zou je mogen verwachten dat zij beslissingen nemen op een zo rationeel mogelijke manier. Het woord ‘economie’ betekent tenslotte een goed of spaarzaam beheer van middelen. Bij HR-beslissingen komt ook de ethische component om de hoek kijken, omdat zij een enorme impact op het zelfbeeld en de carrière van heel wat medewerkers kunnen hebben. Maar hoe rationeel en ethisch zijn deze beslissingen in de praktijk?

Evidence Based Management (EBM) is een relatief nieuwe term in de wereld van management en personeelsaangelegenheden. Volgens professor in de psychologie Rob Briner en zijn collega’s Denise Rousseau en Jeffrey Pfeffer is er een overvloed aan foute praktijken en slechte beslissingen. Managers nemen hun beslissingen vaak op basis van hun dominante positie, door teveel te vertrouwen op het eigen kunnen of oordeel, door nieuwe managementmodelletjes te volgen (Briner: “liefst in mooie kleuren en liefst in 4 categorieën zoals Belbin Team Roles en MBTI”) en… giswerk.

Net zoals in de geneeskunde (1991), de criminologie (2000) en de klinische psychologie (2005) is het nog maar sinds kort dat een beperkt aantal praktijkmensen hun beslissingen beginnen te baseren op degelijke bewijzen. Over HR en management bestaat er nochtans enorm veel wetenschappelijk materiaal. Dat moet niet onder doen voor de wetenschappelijke publicaties in de medische wereld bijvoorbeeld.

Voorbeelden

Naast de voorbeelden van populaire modellen uit de inleiding zijn er ook tal van managementpraktijken van bedenkelijk alooi. Briner noemt ondermeer TQM, emotionele intelligentie-cursussen en talent management als nieuwe modeverschijnselen (fads). De professoren Pfeffer en Rousseau hebben kritiek op veelgebruikte selectiemethoden zoals ongestructureerde selectie-interviews of het combineren van het (subjectieve) oordeel van de manager met gevalideerde tests, terwijl gevalideerde tests op zich veel betrouwbaardere selectiebeslissingen opleveren (Highhouse, 2008). Pfeffer vervolgt:

Ook prestatieloon en bonussen zijn de laatste tijd erg in trek, sla er de kranten maar op na. Omdat prestatieloon werkt in uitzonderlijke en zeer specifieke gevallen, denkt vrijwel elke organisatie dat prestatieloon, variabel loon of bonussen in elke functie zal werken. Ook al tonen tal van wetenschappelijke studies aan dat het in bijna alle gevallen een ineffectieve praktijk is. Het veelvuldig roteren van mensen tussen teams of afdelingen is een andere veelvoorkomende praktijk. Men doet dit onder het mom dat nieuwkomers ‘een frisse blik’ kunnen werpen, terwijl research heeft aangetoond dat gedurende lange tijd deel uitmaken van een team, de effectiviteit en productiviteit enorm ten goede komt.

Veel oorzaken

Heel wat managers zijn niet op de hoogte van wetenschappelijke bevindingen over de beste selectiemethoden, over de beste manieren om tot beslissingen te komen, over de beste manieren om mensen gemotiveerd te houden enz. En de HR-professionals doen het helaas niet beter, zo blijkt uit onderzoek! Dit kan te maken hebben met het feit dat je om manager of HR professional te worden geen specifiek diploma of geloofsbrieven nodig hebt. Laat staan dat ze er zich zouden van bewust zijn hoe onbetrouwbaar de eigen overtuigingen en intuïties zijn. De meeste HR professionals (?) hebben geen enkel idee hoe ze aan degelijke onderzoeksgegevens kunnen komen.

Quick Fixes zijn een ander probleem van deze tijd: managers staan onder druk, snelheid wordt meer gewaardeerd dan accuraatheid en kwaliteit. Naderhand is er ook geen tijd meer voor een evaluatie van de werkzaamheid van de snelle oplossing want het is tijd voor een nieuwe… snelle oplossing. Redeneerfouten en luiheid zijn ook een deel van het probleem. Het kost inderdaad moeite om kritisch te denken om redeneerfouten te vermijden en nog meer moeite om wetenschappelijke onderzoeksresultaten op te zoeken, te lezen en te interpreteren. Managers willen ook vaak simpele oplossingen die in elke situatie werken en houden niet van complexere ‘als… dan…’ antwoorden of veranderende inzichten. Big Consultancy speelt volgens Briner ook een grote rol. Er is volgens hem een hele industrie gebouwd rond deze modegrillen. Hun modellen worden zwaar ondersteund vanuit marketing en verkoop. Ze beloven stevige en snelle resultaten, de modellen zijn eenvoudig (2×2, vier kleuren…) en geven ons het gevoel dat we ‘mee’ zijn. Ze rollen hun model uit bij iedereen tot wanneer het model uit de mode raakt en vervangen wordt door alweer een nieuwe methodiek.

Slechte gevolgen

Zulke modellen en praktijken zijn volgens de drie voorvechters van EBM echter potentieel destructief omdat ze de rentabiliteit van het bedrijf schade kunnen toebrengen door verminderde innovatiekracht (gevolgen van bvb. ISO9000 en benchmarking). Bovendien kunnen ze het welzijn van medewerkers ernstig ondermijnen.

Vijf maal vier

De wetenschappers stellen dat EBM gebaseerd is op 4 ingrediënten die we opnemen in 5 stappen om tot een EBM-aanpak te komen:

1. Formuleer je onderzoeksvraag.

2. Verwerf bewijsmateriaal dat antwoorden oplevert.

Ingrediënt 1: Ga op zoek naar de best beschikbare bewijzen uit peer-reviewed onderzoek en evalueer of de bevindingen in jouw situatie van toepassing zijn;
Ingrediënt 2: Kijk welke data, indicatoren en andere bronnen er in de organisatie aanwezig zijn;
Ingrediënt 3: Put uit je eigen ervaring, maar evalueer deze kritisch aan de hand van methodes die vooroordelen (bias) reduceren.

3. Waardeer het ingezamelde materiaal op kwaliteit en relevantie. Combineer deze 3 voorgaande elementen en onderwerp ze aan kritische vraagstelling.

Ingrediënt 4: Kijk na wat de impact op en het draagvlak van de beslissing zou zijn bij alle stakeholders.

4. Pas je beslissing toe. Doe eventueel een beperkte pilootoefening.

5. Evalueer het resultaat van je beslissing.

(Achteraan deze tekst vind je voor elk van dit ingrediënt een aantal voorbeeldvragen die je kunt stellen.)

Bewijsniveaus

Het is duidelijk dat stap 1 – indien er betrouwbaar wetenschappelijk onderzoek voorhanden is – de grootste garantie geeft op een zo objectief en rationeel mogelijk genomen beslissing. Toch is het belangrijk rekening te houden met een aantal criteria die ons helpen de sterkte van het bewijsmateriaal in te schatten. We geven een overzicht van sterk naar minder sterk.

Het hoogste bewijsniveau in de management- en HR-literatuur zijn systematische reviews, meestal onder de vorm van zogenaamde meta-analyses. Dit betekent dat er al minstens 10 jaar veelvuldig onderzoek is gedaan naar het onderwerp van de meta-analyse. Ga in de wetenschappelijke tijdschriften of databases dus eerst en vooral hiernaar op zoek. Dan hoef je individuele onderzoeken niet meer te bekijken. Dit bespaart je heel wat leeswerk.
Bij gebreke hieraan dient u helaas meerdere RCT-studies over het onderwerp te lezen. Eén studie bewijst immers niets (toeval, kleine aantallen…). Ga na of elk onderzoek beantwoordt aan drie criteria: beschrijft het artikel adequaat of er gewerkt werd met willekeurig (randomised)[i] ingedeelde groepen (onderzoeksgroep en controlegroep, bvb. een placebogroep), of er meerdere studies werden uitgevoerd op verschillende tijdstippen en of er waar mogelijk (dubbel)blind[ii] gewerkt werd?
Een oorzaak-gevolg bewijs wordt het beste verkregen via een studie met controlegroep waarbij voor en na de interventie getest wordt. De bewijzen zijn echter pas robuust na veelvuldige herhaling van het onderzoek met dezelfde resultaten als uitkomst (zie hiervoor).
Cohortstudies volgen verschillende homogeen samengestelde groepen (bvb. op basis van geslacht, leeftijd, genomen medicatie) over langere tijd (longitudinaal).
Cross-sectionale studies testen verschillende hypotheses (die elkaar liefst uitsluiten) in verschillende omstandigheden (bvb. verschillende bedrijfsdomeinen), maar zijn meer onderhevig aan bias.
Gevalstudies kunnen een eerste indicatie opleveren maar zijn quasi waardeloos om oorzaak-gevolg te achterhalen en sterk onderhevig aan bias.
Als er geen bewijzen te vinden zijn, zal je eerder moeten putten uit ervaring, opinies enz. maar eigenlijk is er dan geen sprake meer van echt bewijs.

Kritisch denken

Het is duidelijk dat evidence based management niet kan zonder kritisch denken. Iemand die kritisch denkt beseft hoe ons brein werkt en hoe vatbaar het is voor feilbaar denken (recency effecten[iii], confirmatieneiging[iv], framing effecten[v], hindsight bias[vi] enz.) . Hoe slim je ook bent, je ontsnapt er niet aan. De eerstgenoemde professoren schieten nog wat te kort in hun adviezen over kritisch denken. Dus gaan we maar te rade bij wat twee kritische denkers bij uitstek hierover te vertellen hebben: professor Johan Braeckman en Dr. Maarten Boudry. Allereerst wijzen zij er op dat absolute zekerheid bijna nooit haalbaar is (tenzij in meetkunde, het feit dat de aarde rond is…) maar dat informatie op een continue schaal kan geplaatst worden met aan het ene uiteinde ‘zeer onwaarschijnlijk’ en aan het andere uiteinde ‘zeer waarschijnlijk’ (aan absolute zekerheid grenzend). Om een bewering, theorie of model te toetsen kan je aanvullend volgende vuistregels hanteren:

Hoe complexer en vergezocht een verklaring lijkt, hoe sterker de bewijzen moeten zijn dat deze klopt (die sterke bewijzen zijn er wel voor de complexe evolutietheorie en het draaien van de aarde rond de zon, maar helemaal niet voor de graancirkels). Bestaan er voor een bepaald model ondanks sterke claims geen wetenschappelijke, peer-reviewed artikelen, wees dan dubbel op je hoede.
Wees je er van bewust dat we door de manier waarop ons (sociaal) brein werkt, we meer belang hechten aan autoriteitsargumenten en anekdotes (vooral als ze afkomstig zijn van mensen die we vertrouwen) dan aan systematisch en herhaald onderzoek. Anekdotes hebben echter wetenschappelijk geen enkele bewijskracht voor de kritische denker. Autoriteiten zijn bij nader inzien niet altijd expert op het betrokken gebied.
Indien onderzoeksresultaten in tegenspraak lijken met de ‘harde wetenschappen’ zoals de chemie, de evolutietheorie, de gedragsbiologie, gedragsgenetica enz. moet dit je alarmbel doen rinkelen.

Voorbeeldvragen bij elk van de 4 EBM-ingrediënten:

Ingrediënt 1: Ga op zoek naar de best beschikbare bewijzen uit peer-reviewed onderzoek en evalueer of de bevindingen in jouw situatie van toepassing zijn:

“ Welke studies bestaan er over?”

“ Wat zijn de cijfers over XXX in mijn sector en regio?”

“ Wat leren systematische reviews/meta-analyses mij over de meest voorkomende oorzaken van XXX?”

“ Hoe relevant zijn deze bevindingen voor onze organisatie?”

“ Welke interventies suggereren de systematische reviews om dit probleem op te lossen?”

“ Welke methodes werden er gebruikt?”

“ Werd er wel gewerkt met gevalideerde meetinstrumenten?”

“ Wat zeggen de andere onderzoeksdomeinen?”

“ Waar is er eventueel tegenspraak met de harde wetenschappen?”

“ Hoe goed zouden deze interventies hier werken?”

Ingrediënt 2: Kijk welke data, indicatoren en andere bronnen er in de organisatie aanwezig zijn:

“ Welke cijfers hebben wij hierover in het eigen bedrijf?”

“ Welke andere gegevens hebben we?”

“ Wat zou deze cijfers/gegevens in ons geval verklaren?”

“ Welke praktijken enz. zouden hiervoor kunnen verantwoordelijk zijn?”

“ Wat denken de managers ervan? Wat is er volgens hen aan de hand?”

“ Wat zijn de mogelijke kosten en wat zijn de baten om er iets aan te doen? “

“ Is het dat wel waard?”

Ingrediënt 3: Put uit je eigen ervaring, maar evalueer deze kritisch aan de hand van methodes die vooroordelen (bias) reduceren:

“ Ben ik dit al ooit eerder tegengekomen?”

“ Wat gebeurde er toen?”

“ Komt men dit elders ook tegen?”

“ Hoe relevant is deze ervaring in de huidige situatie?”

“ Wat zijn mijn overtuigingen over de oorzaken?”

“ Waar zitten mijn eventuele vooroordelen?”

“ Wat denk ik dat werkelijke oorzaken kunnen zijn?”

“ Welke mogelijke oplossingen zie ik?”

“ Zijn zij relevant en haalbaar?”

Ingrediënt 4: Kijk na wat de impact op en het draagvlak van de beslissing zou zijn bij alle stakeholders:

“ Hoe zouden medewerkers zich voelen bij de voorgestelde aanpak?”

“ Welke negatieve aspecten of ongewilde negatieve gevolgen vrezen zij?”

“ Hoe staan de managers tegenover deze aanpak?”

“ Denken de mensen die het moeten uitvoeren dat het praktisch haalbaar is?”

“ Welke alternatieven stellen zij eventueel voor?”

(aangepast met toestemming van professor Rob Briner).

Bronnen:

Braeckman, J., & Boudry, M. (2011). De ongelovige Thomas heeft een punt. Een handleiding voor kritisch denken. Uitgeverij Houtekiet.

Briner, R.B, Denyer, D., & Rousseau, D.M. (2009). Evidence-Based Management: Concept Cleanup Time? The Academy of Management Perspectives, 23(4), blz. 19 tot 32.

Lezing van professor Bob Briner in de gebouwen van de Universiteit Gent op 11 oktober 2011.

Highhouse, S. (2008). Stubborn reliance on intuition and subjectivity in employment selection. Industrial and Organizational Psychology: Perspectives on Science and Practice, 1( 3), blz. 333 tot 342.

Pfeffer, J. and Sutton, R.I. (2006). Hard Facts, Dangerous Half-Truths, and Total Nonsense. Boston, Harvard HBS Press.

Pfeffer, J. and Sutton, R.I. (2011). Trust the Evidence, Not Your Instincts. The New York Times, 3 september 2011.

Rousseau, D.M. and Barends, E.G.R. (2011). Becoming an evidence-based HR practitioner. Human Resource Management Journal 21(3), blz. 221 tot 235.

Sutton, R. (2011). Our New York Times Piece on Evidence-Based Management: The Uncut Version. http://bobsutton.typepad.com/

Eindnoten

[i] Als u ooit het letterwoord RCT tegenkomt, weet dan dat dit staat voor Randomized Controlled Trials (vrij: Onderzoek op basis van willekeurig ingedeelde groepen).

[ii] Dubbelblind wordt vooral in de medische wereld gebruikt: noch de arts (of assistent) noch de patiënt weet of er een placebo of het onderzochte medicijn wordt gebruikt. In de sociale wetenschappen is dit criterium niet haalbaar.

[iii] Recency effect: informatie die we recent kregen weegt zwaarder in ons oordeel dan oudere informatie.

[iv]Confirmatieneiging: de neiging om enkel die informatie uit te selecteren die in onze eerdere overtuiging past.

[v] Framing effect: de manier of het kader waarbinnen ons informatie wordt aangeboden, beïnvloedt ons denken. Als de informatie bijvoorbeeld een negatieve emotionele lading heeft (bvb. 10% overlijdensrisico) dan beïnvloedt ons dit sterker als informatie met een positieve lading (bvb. 90% overlevingskans).

[vi] Hindsight bias: onze neiging om altijd (achteraf) verklaringen en verbanden te zoeken en te vinden (ook al zijn deze er in werkelijkheid niet).

Jaarlijks evalueren bij de overheid?

Patrick — Sat, 14 Jan 2012 17:13:09 +0000

Jaarlijks evalueren bij de overheid? Gooi nog wat meer overheidsgeld weg!

Staatsecretaris Hendrik Bogaert vergist zich met de jaarlijkse evaluaties
Het enige wat je kunt verwachten is demotivatie en tijd- en geldverlies

Al jaren proberen een handvol professoren en HR professionals het heilige huisje van het jaarlijkse evaluatiegesprek te doen vallen. In een kort bestek is het onmogelijk om alle problemen (ik zie er minstens acht) die gepaard gaan met jaarlijkse baas-alleen-evaluatie uit de doeken te doen. Ik zal me dan ook beperken tot enkele fundamentele bezwaren die staatssecretaris Bogaert over het hoofd ziet of zelfs als een voordeel voorstelt. Voor alle duidelijkheid: tegen gelijkwaardige samenwerkingsgesprekken waarbij wederzijdse verwachtingen en verzuchtingen worden uitgesproken heb ik natuurlijk niets.

Hendrik Bogaert heeft het instinctmatige aanvoelen van mensen dat evaluaties hoofdzakelijk dienen om een dossier aan te leggen dat bruikbaar is bij een ontslagprocedure schromelijk onderschat. Uit de persberichten blijkt wel degelijk dat het er hoofdzakelijk om gaat slecht functionerende federale ambtenaren sneller de laan te kunnen uitsturen. Het is een hardnekkige misvatting dat een evaluatiesysteem helpt bij een eventuele betwisting voor de rechtbank in het voordeel van de werkgever. In Amerika blijkt uit onderzoek dat evaluatiedossiers voor de rechtbank vaker in het voordeel van de werknemer werken. Ik sprak hierover met een arbeidsrechter uit Oost-Vlaanderen die mij bevestigde dat hetzelfde ongeveer geldt voor België. Het roept vragen op als iemand bijvoorbeeld al vijfmaal een heel positieve evaluatie heeft gekregen en plots twee negatieve evaluaties krijgt, bijvoorbeeld van de nieuwe baas. Ligt het probleem dan wel bij de werknemer? Welke inspanningen deed de organisatie om dit te remediëren? Gebeurde de evaluatie wel objectief en breed genoeg, of gebeurde ze slechts door de directe leidinggevende? Blijft het probleem? Het zuiverste is dan om te documenteren dat de medewerker ondanks hulp en coaching blijft onderpresteren. Dit door ‘het dossier’ gradueel op te bouwen op basis van verslagen van mondelinge gesprekken, interne nota’s, auditrapporten, waarschuwingen en tenslotte aanmanings- en verwittigingsbrieven.

De tweede grote misvatting van Hendrik Bogaert is de gratuite bewering dat “evaluaties heel positief kunnen zijn voor mensen”. In een ander artikel in DS steunt overheidsmanager Frank van Massenhove dit idee ‘omdat een evaluatie vooral een positief instrument is’. De wetenschappelijke feiten geven hen geen gelijk. Een grote meta-analyse uit 1996 toonde immers onomstotelijk aan dat het geven van een oordeel (score) aan een individu geen enkel effect heeft op de prestaties of het gedrag. In dezelfde studie bleek dat feedback die de persoon raakt bijna altijd negatieve effecten opleverde. Wat de moderne motivatiepsychologie bovendien ook aantoont is dat een te grote nadruk op controle van bovenaf of extrinsieke beloningen of straffen de motivatie danig ondermijnt. Mensen verliezen het plezier aan het werk dat ze graag doen, ook zij die goed presteren! Bovendien schatten gezonde mensen zich altijd hoger in dan het gemiddelde, wat logischerwijs natuurlijk niet kan (maar het behoedt ons wel voor depressie). De cijfers? Tussen de 80 en de 84% van de mensen overschatten zich en rekenen zich bij de 20% beste presteerders. Bij universiteitsprofessoren loopt dit cijfer zelfs op tot 94%. De meesten krijgen dus altijd een lagere score (of bonus) dan verwacht en dit leidt tot gevoelens van verlies. Ook de natuurlijke neiging tot sociale vergelijking komt om de hoek kijken. Hoe kan dit dan een positief instrument zijn als je het gros van je medewerkers ontgoochelt?

De continue feedback die van Massenhove propageert is trouwens van een geheel andere orde. Een andere meta-analyse uit 2008 bewees dat een systeem zoals ProMES, waarbij teamleden samen met hun directe baas samen hun doelstellingen vastleggen en bepalen wanneer een resultaat als slecht, voldoende, goed of zeer goed is en er nadien op basis van een zelfopgezet rapportagesysteem maandelijks over vergaderen met een focus op het vinden van oplossingen wel werkt. Maar daarin neemt men duidelijk afstand van individuele beoordelingen en al zeker van het jaarlijks evaluatiegesprek. Wil men de organisatie performanter? Dan is een aangewezen insteek het invoeren van bottom-up evaluaties van de leidinggevenden in plaats van top-down evaluaties van medewerkers. Bij het Braziliaanse Semco of het Zwitserse Nestlé durven ze de slechte leidinggevenden na 2 jaar een demotie geven. Een ploeg goede leidinggevenden is immers een veel grotere hefboom voor welzijn en productiviteit. Dat de FOD Van Massenhove goed functioneert lijdt geen twijfel, maar dat heeft meer dan waarschijnlijk te maken met tal van andere zaken die hij toelicht dan met het formele individuele evaluatiemoment.

Guido Rasschaert van ACOD heeft wel degelijk een punt wanneer hij zegt dat het in de praktijk heel moeilijk is om correct te evalueren en dat het jaarlijks evalueren een stressvol moment is. Baas-alleen-evaluaties zijn op tal van vlakken erg problematisch. Niet alleen staan leidinggevenden vaak ver van het dagelijks werk van hun medewerkers, baas-alleen-evaluaties zijn ver-schrik-ke-lijk subjectief. Eén persoon kan nooit objectief zijn want ons brein is behept met een falend denk- en oordeelsvermogen (bias).

Maar het ergste is in dit verhaal natuurlijk dat iedereen jaarlijks formeel evalueren niet alleen veel tijd en geld kost, men wil blijkbaar ook gaan werken met prestatiebeloning! Aaarch! Daar valt nog veel meer op af te dingen. Prestatiebeloning werkt voor 99% van de functies niet en is nog nefaster voor de motivatie en ethisch werken. Mag ik om de boel helemaal te verzieken nog suggereren dat men op voorhand een geforceerde Gausscurve toepast op de toe te kennen scores? Dat privébedrijven dit doen, tot daar aan toe, maar toch niet met ons belastinggeld!

Patrick Vermeren

Interview met de voorzitter in Trends

Patrick — Fri, 07 Oct 2011 11:05:22 +0000

Klik hier om het artikel te bekijken. Met dank voor de toelating aan Trends.

http://evidencebasedhrm.be/wp-content/uploads/2011/10/TR27-042_VISIE_HR.pdf

Quinn leiderschapsrollen (competing values framework)

Patrick — Fri, 07 Oct 2011 10:53:12 +0000

Wat is het concurrerende waarden model (‘Competing Values Framework’ of CVP)?

Het model pretendeert een organisatiecultuur te kunnen in kaart brengen.

Quinn en Rohrbaugh (1983) lieten zeven academici 30 effectiviteitcriteria beoordelen die door Campbell in 1977 werden naar voor geschoven.

Op basis van twee dimensies, met name focus (intern versus extern) en structuur (flexibiliteit versus stabiliteit) komt men tot vier organisatieculturen:

Adhocracy: flexibiliteit en externe focus. Doel: innnoveren door te creëren en zich aan te passen
Market: stabiliteit en externe focus. Doel: marktaandeel, winstgevendheid, doelgerichtheid door te concurreren
Hierarchy: stabiliteit en interne focus. Doel: efficiëntie, respect voor deadlines en operationeel goed functioneren; door processen en controle
Clan: interne focus en hoge flexibiliteit. Doel: goede sfeer, ontwikkeling van mensen, engagement door samenhorigheid, participatie , samenwerken

Het model werd ook uitgebreid naar leiderschap. De vier kwadranten worden nog eens onderverdeeld in twee segmenten, zodanig dat een cirkel met acht gelijke delen ontstaat.

Onder het kwadrant ‘adhocracy’ vallen twee rollen: de ‘innovator’ en de ‘broker’
Onder het kwadrant ‘market’ vallen de rollen ‘producer’ en ‘director’
Onder het kwadrant ‘hierarchy’ vallen de rollen ‘coordinator’ en ‘monitor’
Onder het kwadrant ‘clan’ vallen de rollen ‘facilitator’ en ‘mentor’.

De stijlen zouden elkaars tegenpolen zijn. De organisatieculturen of leiderschapsrollen zouden daarom eigenlijk met elkaar ‘concurreren’

Wat geloven mensen?

Dat een organisatiecultuur kan gevat worden in vier types.
Dat het model een wetenschappelijke basis, vooral omdat Robert E. Quinn een aantal wetenschappelijke publicaties op zijn naam heeft, en een aantal populariserende boeken heeft geschreven.

Waarom geloven mensen dit?

Omdat het model populair is in veel organisaties (Bandwagon effect: als veel mensen erin geloven zal er wel iets van waar zijn).
Doordat een van de auteurs van de boeken die het model beschrijven een actief academicus is.
Omdat het model ook soms aan bepaalde universiteiten een business schools wordt onderwezen.

Wat zijn de feiten en wat zegt de wetenschap?

Al heel lang is er vanuit academische hoek kritiek op het model. De kritiek sloeg tot op heden vooral op het idee dat de tegenoverliggende velden ook werkelijke tegenpolen zouden zijn. Dat de twee dimensies een hoek van 90° vormen werd betwist. Onterecht werd vaak gesproken van een circumplexsstructuur, maar daar zijn stringente eisen aan verbonden (1. de 8 octanten moeten inderdaad 45° bedragen, 2. de vectoren op basis van de inhoudelijke items van elke octantschaal moeten even lang zijn, vanaf het middelpunt gemeten; 3. de tegenoverliggende velden moeten een negatieve correlatie vertonen, de direct aanliggende velden juist een sterke correlatie – zie ook ‘het interpersoonlijk circumplex’ in dit trefwoordenregister). (o.a. Denison et al., 1995, Belasen & Frank,2008 blz. 134 tot 136). Hooijberg en Choi (2000) vonden maar 6 rollen en denken dat er ruimte is voor een nieuwe rol (goal achievement);

Een zeer recente meta-analyse in het toptijdschrift Journal of Applied Psychology heeft de volgende bevindingen opgeleverd (Hartnell et al., 2011):

er zijn tal van problemen met de theoretische veronderstellingen uit het model:

de clan cultuur vertoont wel degelijk sterkere relaties met bepaalde medewerkers attitudes dan adhocracy en markt culturen;
markt culturen vertonen een sterke correlatie met financiële effectiviteit;
de vermeende verbanden met innovatie kloppen dan weer niet: markt culturen vertonen een sterkere correlatie met innovatie dan adhocracy culturen;
in plaats van dat de adhocracy culturen beste producten zouden leveren, deden juist clan culturen dit (sterkste correlatie). Dit hoeft niet te verwonderen, watn participatie is sterk gelinkt met betere kwaliteit, zo blijkt uit tal van onderzoeken (Manz, Bastien, Hostager, & Shapiro, 1989; Oldham & Cummings, 1996; Tierney, Farmer, & Graen, 1999);

de onderzoekers besluiten:

de validiteit van de indeling van het model is dermate bescheiden (de studie laat gemengde resultaten zien: sommige zaken lijken juist, maar een aantal zijn manifest fout), dat uitspraken over de cultuur basis van dit model voorzichtigheid vereisen. Het identificeren van een dominante cultuur type lijkt niet nuttig, want ze brengen de organisatiecultuur niet voldoende breed in kaart;
de door de theorie voorspelde verbanden tussen cultuurtypes en effectiviteit is niet consistent;
de resultaten uit de meta-analyse geven aan dat de kwadranten niet concurrerend of paradoxaal zijn, zoals de theorie beweert;. In feite bestaan ze naast elkaar en werken ze samen.
de meta-analyse geeft geen steun aan het voorspelde patroon van relaties tussen cultuurtype’s;
cultuur is wellicht een veel complexer ding: een patroon waarin veronderstellingen, overtuigingen, waarden, normen en gedragingen leiden tot een bepaalde som die wij dan de unieke cultuur noemen.

Deze meta-analyse toont opnieuw aan dat het indelen in types, of het nu gaat om organisaties of om mensen, geen goede praktijk is, omdat zij de complexe werkelijkheid veel te vereenvoudigd voorstelt en niet kan vatten.

Wat de meta-analyse ook opnieuw aantoont (en wat de auteurs in de loop van het artikel stelt) is dat men een relatief goede test kan bouwen naar psychometrische normen, zonder dat de theorie klopt. De meta-analyse had juist tot doel na te gaan of de theorie wel klopte. In de Cotan-beoordelingen kijkt men eerst en vooral na of de theoretische grondslag wel klopt. Als deze niet klopt, heeft het in feite weinig zin een vragenlijst te ontwikkelen. Iedereen kan een ‘theorie’ formuleren en er dan vragen bij formuleren die men psychometrisch betrouwbaar en valide kan maken (dit zou men ook kunnen met een horoscoop). Maar dat de test psychometrisch betrouwbaar en valide is zegt op zich nooit iets over de onderliggende theoretische juistheid. En daar zit nu net het probleem met CVF.

“To date, the CVF’s nomological validity has not been examined. Additionally, the CVF is predicated on the assumption of competing or contradictory values among different types of organizational culture. This assumption has not been confirmed, which leaves an equivocal interpretation about the nature of the interrelationship between culture types.” (blz. 678)

Onze conclusie luidt dat dit model niet bruikbaar is in organisaties wegens deze problemen. Het is geen bewezen theorie, integendeel dus.

De wetenschap maalt traag, maar uiteindelijk is wetenschap toch een zelfreinigend proces.

Bronnen:

Belasen, A., & Frank, N. (2008) Journal ArticleCompeting values leadership: Quadrant roles and personality traits. Leadership & Organization Development Journal, 29(2), 2008, blz. 127 tot 143.

Cameron, K. S., & Quinn, R. E. (1999) Diagnosing and changing organizational culture: Based on the competing values framework. Reading, MA: Addison-Wesley.

Denison, D. R., Hooijberg, R., & Quinn, R. E. (1995) Paradox and performance: Toward a theory of behavioral complexity in managerial leadership. Organization Science, 6, blz. 524 tot 540.

Gilson, L.L., & Shalley, C.E. (2004). A little creativity goes a long way: An examination of teams’ engagement in creative processes. Journal of Management, 30, blz. 453 tot 470.

Hartnell, C. A., Ou, A.Y., & Kinicki, A. (2011) Organizational culture and organizational effectiveness: A meta-analytic investigation of the competing values framework’s theoretical suppositions.Journal of Applied Psychology, 96(4), blz. 677 tot 694.

Hooijberg, R., Choi, J. (2000) Which leadership roles matter to whom? An examination of rater effects on perceptions of effectiveness. The Leadership Quarterly, 11(3), blz. 341 tot 364.

Manz, C.C., Bastien, D.T., Hostager, T.J., & Shapiro, G.L. (1989). Leadership and innovation: A longitudinal process view. In A. Van de Ven, H.L. Angle, & M. Poole (Eds.), Research on the management of innovation: The Minnesota Studies. Blz.1 tot 23. New York: Harper & Row.

Oldham, G. R., & Cummings, A. (1996). Employee creativity: Personal and contextual factors at work. Academy of Management Journal, 39, blz. 607 tot 634.

Quinn, R. E., Faerman, S. R., Thompson, M. P., & McGrath, M. R. (2003) Becoming a Master Manager: A Competency Framework (3 Ed.). New York: John Wiley and Sons.

Shipton, H.J., West, M.A., Parkes, C.L., Dawson, J.F., & Patterson, M.G. (2006). When promoting positive feelings pays: Aggregate job satisfaction, work design features, and innovation in manufacturing organizations. European Journal of Work and Organizational Psychology, 15,blz. 404 tot 430.

Tierney, P., Farmer, S.M., & Graen, G.B. (1999). An examination of leadership and employee creativity: The relevance of traits and relationships. Personnel Psychology, 52, blz. 591 tot 620.

Vilkinas, T., Shen, J., & Cartan, G. (2008) Predictors of leadership effectiveness for Chinese managers. Leadership & Organization Development Journal, 30(6), blz. 577 tot 590.

West, M.A., & Anderson, N. (1996). Innovation in top management teams. Journal of Applied Psychology, 81, blz. 680 tot 693.

Concurrerende-waarden-model van Robert Quinn

Patrick — Fri, 07 Oct 2011 10:52:35 +0000

Wat is het concurrerende-waarden-model (‘Competing Values Framework’ of CVP)?

Het model pretendeert een organisatiecultuur in kaart te kunnen brengen en het zou ook gebruikt kunnen worden om de effectiviteit van een organisatie te beoordelen.

Quinn en Rohrbaugh (1983) lieten zeven academici 30 effectiviteitcriteria beoordelen (deze werden door Campbell in 1977 naar voor geschoven).

Op basis van twee dimensies, met name focus (intern versus extern) en structuur (flexibiliteit versus stabiliteit) kwamen Quinn en Rohrbaugh tot vier organisatieculturen:

Adhocracy: flexibiliteit en externe focus. Doel: innnoveren door te creëren en zich aan te passen
Market: stabiliteit en externe focus. Doel: marktaandeel, winstgevendheid, doelgerichtheid door te concurreren
Hierarchy: stabiliteit en interne focus. Doel: efficiëntie, respect voor deadlines en operationeel goed functioneren; door processen en controle
Clan: interne focus en hoge flexibiliteit. Doel: goede sfeer, ontwikkeling van mensen, engagement door samenhorigheid, participatie , samenwerken

Het model werd ook uitgebreid naar leiderschap. De vier kwadranten worden daarbij nog eens onderverdeeld in twee segmenten, zodanig dat een cirkel met acht gelijke delen ontstaat. Quinn stelde vervolgens – op basis van dit cirkelvormig model - dat er 8 managementrollen nodig zouden zijn om een organisatie te laten functioneren.

Onder het kwadrant ‘adhocracy’ vallen twee rollen: de ‘innovator’ en de ‘broker’
Onder het kwadrant ‘market’ vallen de rollen ‘producer’ en ‘director’
Onder het kwadrant ‘hierarchy’ vallen de rollen ‘coordinator’ en ‘monitor’
Onder het kwadrant ‘clan’ vallen de rollen ‘facilitator’ en ‘mentor’.

De stijlen zouden elkaars tegenpolen zijn. De organisatieculturen of leiderschapsrollen zouden daarom met elkaar ‘concurreren’

Wat geloven mensen?

Dat een organisatiecultuur kan gevat worden in vier types.
Dat het model een wetenschappelijke basis heeft, vooral omdat Robert E. Quinn een aantal wetenschappelijke publicaties op zijn naam heeft en een aantal populariserende boeken heeft geschreven.

Waarom geloven mensen dit?

Omdat het model populair is in veel organisaties (Bandwagon-effect: als veel mensen erin geloven zal er wel iets van waar zijn).
Omdat één van de auteurs van de boeken die het model beschrijven een actief academicus is.
Omdat het model soms aan bepaalde universiteiten en business schools wordt onderwezen.

Wat zijn de feiten en wat zegt de wetenschap?

1. de 8 octanten moeten 45° bedragen;

2. de vectoren op basis van de inhoudelijke items van elke octantschaal moeten even lang zijn vanaf het middelpunt gemeten;

3. de tegenoverliggende velden moeten een negatieve correlatie vertonen, de direct aanliggende velden juist een sterke correlatie

(zie ook ‘het interpersoonlijk circumplex’ in dit trefwoordenregister).

Hooijberg en Choi (2000) vonden bovendien maar 6 rollen en denken dat er ruimte is voor een nieuwe rol (goal achievement);

Een zeer recente meta-analyse in het toptijdschrift Journal of Applied Psychology heeft de volgende bevindingen opgeleverd (Hartnell et al., 2011):

er zijn tal van problemen met de theoretische veronderstellingen uit het model:

de clan cultuur vertoont wel degelijk sterkere relaties met bepaalde medewerkersattitudes dan adhocracy en marktculturen;
marktculturen vertonen een sterke correlatie met financiële effectiviteit;
de vermeende verbanden met innovatie kloppen dan weer niet: marktculturen vertonen een sterkere correlatie met innovatie dan adhocracy-culturen;
in plaats van dat de adhocracy-culturen beste producten zouden leveren, deden juist clanculturen dit (sterkste correlatie). Dit hoeft niet te verwonderen want participatie is sterk gelinkt met betere kwaliteit, zo blijkt uit tal van onderzoeken (Manz, Bastien, Hostager, & Shapiro, 1989; Oldham & Cummings, 1996; Tierney, Farmer, & Graen, 1999);

de onderzoekers besluiten:

de validiteit van de indeling van het model is dermate bescheiden (de studie laat gemengde resultaten zien: sommige zaken lijken juist maar een aantal zijn manifest fout), dat uitspraken over de cultuurbasis van dit model voorzichtigheid vereisen. Het identificeren van een dominant cultuurtype lijkt niet nuttig want het brengt de organisatiecultuur niet voldoende breed in kaart;
de door de theorie voorspelde verbanden tussen cultuurtypes en effectiviteit is niet consistent;
de resultaten uit de meta-analyse geven aan dat de kwadranten niet concurrerend of paradoxaal zijn zoals de theorie beweert: In feite bestaan ze naast elkaar en werken ze samen.
de meta-analyse geeft geen steun aan het voorspelde patroon van relaties tussen cultuurtype’s;
cultuur is wellicht een veel complexer ding: een patroon waarin veronderstellingen, overtuigingen, waarden, normen en gedragingen leiden tot een bepaalde som die wij dan de unieke cultuur noemen.

Wat de meta-analyse ook opnieuw aantoont (en wat de auteurs in de loop van het artikel stellen) is dat men een relatief goede test kan bouwen naar psychometrische normen, zonder dat de theorie klopt. De meta-analyse had juist tot doel na te gaan of de theorie wel klopte. In de Cotan-beoordelingen kijkt men eerst en vooral na of de theoretische grondslag wel klopt. Als deze niet klopt, heeft het in feite weinig zin een vragenlijst te ontwikkelen. Iedereen kan een ‘theorie’ formuleren en er dan vragen bij formuleren die men psychometrisch betrouwbaar en valide kan maken (dit zou men ook kunnen met een horoscoop). Maar dat de test psychometrisch betrouwbaar en valide is zegt op zich nooit iets over de onderliggende theoretische juistheid. En daar zit nu net het probleem met CVF.