Home » Nieuws » Verslag van een Evidence Based avond aan de UGent.

14-01-2012

 In oktober 2011 woorde ik een spreekbeurt bij van professor Dr. Bob Briner. Op basis van deze avond en enkele papers van hem en zijn collega’s schreef ik onderstaand artikel.

Patrick Vermeren

 

Evidence-based management?

Van managers (en zeker van Human Resources managers) zou je mogen verwachten dat zij beslissingen nemen op een zo rationeel mogelijke manier. Het woord ‘economie’ betekent tenslotte een goed of spaarzaam beheer van middelen. Bij HR-beslissingen komt ook de ethische component om de hoek kijken, omdat zij een enorme impact op het zelfbeeld en de carrière van heel wat medewerkers kunnen hebben. Maar hoe rationeel en ethisch zijn deze beslissingen in de praktijk?

 Evidence Based Management (EBM) is een relatief nieuwe term in de wereld van management en personeelsaangelegenheden. Volgens professor in de psychologie Rob Briner en zijn collega’s Denise Rousseau en Jeffrey Pfeffer is er een overvloed aan foute praktijken en slechte beslissingen. Managers nemen hun beslissingen vaak op basis van hun dominante positie, door teveel te vertrouwen op het eigen kunnen of oordeel, door nieuwe managementmodelletjes te volgen (Briner: “liefst in mooie kleuren en liefst in 4 categorieën zoals Belbin Team Roles en MBTI”) en… giswerk.

 Net zoals in de geneeskunde (1991), de criminologie (2000) en de klinische psychologie (2005) is het nog maar sinds kort dat een beperkt aantal praktijkmensen hun beslissingen beginnen te baseren op degelijke bewijzen. Over HR en management bestaat er nochtans enorm veel wetenschappelijk materiaal. Dat moet niet onder doen voor de wetenschappelijke publicaties in de medische wereld bijvoorbeeld.

 Voorbeelden

Naast de voorbeelden van populaire modellen uit de inleiding zijn er ook tal van managementpraktijken van bedenkelijk alooi. Briner noemt ondermeer TQM, emotionele intelligentie-cursussen en talent management als nieuwe modeverschijnselen (fads). De professoren Pfeffer  en Rousseau hebben  kritiek op veelgebruikte selectiemethoden zoals ongestructureerde selectie-interviews of het combineren van het (subjectieve) oordeel van de manager met gevalideerde tests, terwijl gevalideerde tests op zich veel betrouwbaardere selectiebeslissingen opleveren (Highhouse, 2008). Pfeffer vervolgt:

Ook prestatieloon en bonussen zijn de laatste tijd erg in trek, sla er de kranten maar op na. Omdat prestatieloon werkt in uitzonderlijke en zeer specifieke gevallen, denkt vrijwel elke organisatie dat prestatieloon, variabel loon of bonussen in elke functie zal werken. Ook al tonen tal van wetenschappelijke studies aan dat het in bijna alle gevallen een ineffectieve praktijk is. Het veelvuldig roteren van mensen tussen teams of afdelingen is een andere veelvoorkomende praktijk. Men doet dit onder het mom dat nieuwkomers ‘een frisse blik’ kunnen werpen, terwijl research heeft aangetoond dat gedurende lange tijd deel uitmaken van een team, de effectiviteit en productiviteit enorm ten goede komt.

Veel oorzaken

Heel wat managers zijn niet op de hoogte van wetenschappelijke bevindingen over de beste selectiemethoden, over de beste manieren om tot beslissingen te komen, over de beste manieren om mensen gemotiveerd te houden enz. En de HR-professionals doen het helaas niet beter, zo blijkt uit onderzoek! Dit kan te maken hebben met het feit dat je om manager of HR professional te worden geen specifiek diploma of geloofsbrieven nodig hebt. Laat staan dat ze er zich zouden van bewust zijn hoe onbetrouwbaar de eigen overtuigingen en intuïties zijn. De meeste HR professionals (?) hebben geen enkel idee hoe ze aan degelijke onderzoeksgegevens kunnen komen.

Quick Fixes zijn een ander probleem van deze tijd: managers staan onder druk, snelheid wordt meer gewaardeerd dan accuraatheid en kwaliteit. Naderhand is er ook geen tijd meer voor een evaluatie van de werkzaamheid van de snelle oplossing want het is tijd voor een nieuwe… snelle oplossing. Redeneerfouten en luiheid zijn ook een deel van het probleem. Het kost inderdaad moeite om kritisch te denken om redeneerfouten te vermijden en nog meer moeite om wetenschappelijke onderzoeksresultaten op te zoeken, te lezen en te interpreteren. Managers willen ook vaak simpele oplossingen die in elke situatie werken en houden niet van complexere ‘als… dan…’ antwoorden of veranderende inzichten. Big Consultancy speelt volgens Briner ook een grote rol. Er is volgens hem een hele industrie gebouwd rond deze modegrillen. Hun modellen worden zwaar ondersteund vanuit marketing en verkoop. Ze beloven stevige en snelle resultaten, de modellen zijn eenvoudig (2×2, vier kleuren…) en geven ons het gevoel dat we ‘mee’ zijn. Ze rollen hun model uit bij iedereen tot wanneer het model uit de mode raakt en vervangen wordt door alweer een nieuwe methodiek.

 

Slechte gevolgen

Zulke modellen en praktijken zijn volgens de drie voorvechters van EBM echter potentieel destructief omdat ze de rentabiliteit van het bedrijf schade kunnen toebrengen door verminderde innovatiekracht (gevolgen van bvb. ISO9000 en benchmarking). Bovendien kunnen ze het welzijn van medewerkers ernstig ondermijnen.

 

Vijf maal vier

De wetenschappers stellen dat EBM gebaseerd is op 4 ingrediënten die we opnemen in 5 stappen om tot een EBM-aanpak te komen:

1. Formuleer je onderzoeksvraag.

2. Verwerf bewijsmateriaal dat antwoorden oplevert.

  • Ingrediënt 1: Ga op zoek naar de best beschikbare bewijzen uit peer-reviewed onderzoek en evalueer of de bevindingen in jouw situatie van toepassing zijn;
  • Ingrediënt 2: Kijk welke data, indicatoren en andere bronnen er in de organisatie aanwezig zijn;
  • Ingrediënt 3: Put uit je eigen ervaring, maar evalueer deze kritisch aan de hand van methodes die vooroordelen (bias) reduceren.

3. Waardeer het ingezamelde materiaal op kwaliteit en relevantie. Combineer deze 3 voorgaande elementen en onderwerp ze aan kritische vraagstelling.

  • Ingrediënt 4: Kijk na wat de impact op en het draagvlak van de beslissing zou zijn bij alle stakeholders.

4. Pas je beslissing toe. Doe eventueel een beperkte pilootoefening.

5. Evalueer het resultaat van je beslissing.

 

 (Achteraan deze tekst vind je voor elk van dit ingrediënt een aantal voorbeeldvragen die je kunt stellen.)

 

Bewijsniveaus

Het is duidelijk dat stap 1 – indien er betrouwbaar wetenschappelijk onderzoek voorhanden is – de grootste garantie geeft op een zo objectief en rationeel mogelijk genomen beslissing. Toch is het belangrijk rekening te houden met een aantal criteria die ons helpen de sterkte van het bewijsmateriaal in te schatten. We geven een overzicht van sterk naar minder sterk.

  • Het hoogste bewijsniveau in de management- en HR-literatuur zijn systematische reviews, meestal onder de vorm van zogenaamde meta-analyses. Dit betekent dat er al minstens 10 jaar veelvuldig onderzoek is gedaan naar het onderwerp van de meta-analyse. Ga in de wetenschappelijke tijdschriften of databases dus eerst en vooral hiernaar op zoek. Dan hoef je individuele onderzoeken niet meer te bekijken. Dit bespaart je heel wat leeswerk.
  • Bij gebreke hieraan dient u helaas meerdere RCT-studies over het onderwerp te lezen. Eén studie bewijst immers niets (toeval, kleine aantallen…). Ga na of elk onderzoek beantwoordt aan drie criteria: beschrijft het artikel adequaat of er gewerkt werd met willekeurig (randomised)[i] ingedeelde groepen (onderzoeksgroep en controlegroep, bvb. een placebogroep), of er meerdere studies werden uitgevoerd op verschillende tijdstippen en of er waar mogelijk (dubbel)blind[ii] gewerkt werd?
  • Een oorzaak-gevolg bewijs wordt het beste verkregen via een studie met controlegroep waarbij voor en na de interventie getest wordt. De bewijzen zijn echter pas robuust na veelvuldige herhaling van het onderzoek met dezelfde resultaten als uitkomst (zie hiervoor).
  • Cohortstudies volgen verschillende homogeen samengestelde groepen (bvb. op basis van geslacht, leeftijd, genomen medicatie) over langere tijd (longitudinaal).
  • Cross-sectionale studies testen verschillende hypotheses (die elkaar liefst uitsluiten) in verschillende omstandigheden (bvb. verschillende bedrijfsdomeinen), maar zijn meer onderhevig aan bias.
  • Gevalstudies kunnen een eerste indicatie opleveren maar zijn quasi waardeloos om oorzaak-gevolg te achterhalen en sterk onderhevig aan bias.
  • Als er geen bewijzen te vinden zijn, zal je eerder moeten putten uit ervaring, opinies enz. maar eigenlijk is er dan geen sprake meer van echt bewijs.

  

Kritisch denken

Het is duidelijk dat evidence based management niet kan zonder kritisch denken. Iemand die kritisch denkt beseft hoe ons brein werkt en hoe vatbaar het is voor feilbaar denken (recency effecten[iii], confirmatieneiging[iv], framing effecten[v], hindsight bias[vi] enz.) . Hoe slim je ook bent, je ontsnapt er niet aan. De eerstgenoemde professoren schieten nog wat te kort in hun adviezen over kritisch denken. Dus gaan we maar te rade bij wat twee kritische denkers bij uitstek hierover te vertellen hebben: professor Johan Braeckman en Dr. Maarten Boudry. Allereerst wijzen zij er op dat absolute zekerheid bijna nooit haalbaar is (tenzij in meetkunde, het feit dat de aarde rond is…) maar dat informatie op een continue schaal kan geplaatst worden met aan het ene uiteinde ‘zeer onwaarschijnlijk’ en aan het andere uiteinde ‘zeer waarschijnlijk’ (aan absolute zekerheid grenzend). Om een bewering, theorie of model te toetsen kan je aanvullend volgende vuistregels hanteren:

  • Hoe complexer en vergezocht een verklaring lijkt, hoe sterker de bewijzen moeten zijn dat deze klopt (die sterke bewijzen zijn er wel voor de complexe evolutietheorie en het draaien van de aarde rond de zon, maar helemaal niet voor de graancirkels). Bestaan er voor een bepaald model ondanks sterke claims geen wetenschappelijke, peer-reviewed artikelen, wees dan dubbel op je hoede.
  • Wees je er van bewust dat we door  de manier waarop ons (sociaal) brein werkt, we meer belang hechten aan autoriteitsargumenten en anekdotes (vooral als ze afkomstig zijn van mensen die we vertrouwen) dan aan systematisch en herhaald onderzoek. Anekdotes hebben echter wetenschappelijk geen enkele bewijskracht voor de kritische denker. Autoriteiten zijn bij nader inzien niet altijd expert op het betrokken gebied.
  • Indien onderzoeksresultaten in tegenspraak lijken met de ‘harde wetenschappen’ zoals de chemie, de evolutietheorie, de gedragsbiologie, gedragsgenetica enz. moet dit je alarmbel doen rinkelen.

 

 

 

Voorbeeldvragen bij elk van de 4 EBM-ingrediënten:

 

  • Ingrediënt 1: Ga op zoek naar de best beschikbare bewijzen uit peer-reviewed onderzoek en evalueer of de bevindingen in jouw situatie van toepassing zijn:

“ Welke studies bestaan er over?”

“ Wat zijn de cijfers over XXX in mijn sector en regio?”

“ Wat leren systematische reviews/meta-analyses mij over de meest voorkomende oorzaken van XXX?”

“ Hoe relevant zijn deze bevindingen voor onze organisatie?”

“ Welke interventies suggereren de systematische reviews om dit probleem op te lossen?”

“ Welke methodes werden er gebruikt?”

“ Werd er wel gewerkt met gevalideerde meetinstrumenten?”

“ Wat zeggen de andere onderzoeksdomeinen?”

“ Waar is er eventueel tegenspraak met de harde wetenschappen?”

“ Hoe goed zouden deze interventies hier werken?”

 

  • Ingrediënt 2: Kijk welke data, indicatoren en andere bronnen er in de organisatie aanwezig zijn:

“ Welke cijfers hebben wij hierover in het eigen bedrijf?”

“ Welke andere gegevens hebben we?”

“ Wat zou deze cijfers/gegevens in ons geval verklaren?”

“ Welke praktijken enz. zouden hiervoor kunnen verantwoordelijk zijn?”

“ Wat denken de managers ervan? Wat is er volgens hen aan de hand?”

“ Wat zijn de mogelijke kosten en wat zijn de baten om er iets aan te doen? “

“ Is het dat wel waard?”

 

  • Ingrediënt 3: Put uit je eigen ervaring, maar evalueer deze kritisch aan de hand van methodes die vooroordelen (bias) reduceren:

“ Ben ik dit al ooit eerder tegengekomen?”

“ Wat gebeurde er toen?”

“ Komt men dit elders ook tegen?”

“ Hoe relevant is deze ervaring in de huidige situatie?”

“ Wat zijn mijn overtuigingen over de oorzaken?”

“ Waar zitten mijn eventuele vooroordelen?”

“ Wat denk ik dat werkelijke oorzaken kunnen zijn?”

“ Welke mogelijke oplossingen zie ik?”

“ Zijn zij relevant en haalbaar?”

 

  • Ingrediënt 4: Kijk na wat de impact op en het draagvlak van de beslissing zou zijn bij alle stakeholders:

“ Hoe zouden medewerkers zich voelen bij de voorgestelde aanpak?”

“ Welke negatieve aspecten of ongewilde negatieve gevolgen vrezen zij?”

“ Hoe staan de managers tegenover deze aanpak?”

“ Denken de mensen die het moeten uitvoeren dat het praktisch haalbaar is?”

“ Welke alternatieven stellen zij eventueel voor?”

 

(aangepast met toestemming van professor Rob Briner).

 

 

Bronnen:

 

Braeckman, J., & Boudry, M. (2011). De ongelovige Thomas heeft een punt. Een handleiding voor kritisch denken. Uitgeverij Houtekiet.

 

Briner, R.B, Denyer, D., & Rousseau, D.M. (2009). Evidence-Based Management: Concept Cleanup Time? The Academy of Management Perspectives, 23(4), blz. 19 tot 32.

 

Lezing van professor Bob Briner in de gebouwen van de Universiteit Gent op 11 oktober 2011.

 

Highhouse, S. (2008). Stubborn reliance on intuition and subjectivity in employment selection. Industrial and Organizational Psychology: Perspectives on Science and Practice, 1( 3), blz. 333 tot 342.

 

Pfeffer, J. and Sutton, R.I. (2006). Hard Facts, Dangerous Half-Truths, and Total Nonsense. Boston,  Harvard HBS Press.

 

Pfeffer, J. and Sutton, R.I. (2011). Trust the Evidence, Not Your Instincts. The New York Times, 3 september 2011.

 

Rousseau, D.M. and Barends, E.G.R. (2011). Becoming an evidence-based HR practitioner. Human Resource Management Journal 21(3), blz. 221 tot 235.

 

Sutton, R. (2011). Our New York Times Piece on Evidence-Based Management: The Uncut Version. http://bobsutton.typepad.com/

 

 

 

Eindnoten



[i] Als u ooit het letterwoord RCT tegenkomt, weet dan dat dit staat voor Randomized Controlled Trials (vrij: Onderzoek op basis van willekeurig ingedeelde groepen).

[ii] Dubbelblind wordt vooral in de medische wereld gebruikt: noch de arts (of assistent) noch de patiënt weet of er een placebo of het onderzochte medicijn wordt gebruikt. In de sociale wetenschappen is dit criterium niet haalbaar.

[iii] Recency effect: informatie die we recent kregen weegt zwaarder in ons oordeel dan oudere informatie.

[iv]Confirmatieneiging: de neiging om enkel die informatie uit te selecteren die in onze eerdere overtuiging past.

[v] Framing effect: de manier of het kader waarbinnen ons informatie wordt aangeboden, beïnvloedt ons denken. Als de informatie bijvoorbeeld een negatieve emotionele lading heeft (bvb. 10% overlijdensrisico) dan beïnvloedt ons dit sterker als informatie met een positieve lading (bvb. 90% overlevingskans).

[vi] Hindsight bias: onze neiging om altijd (achteraf) verklaringen en verbanden te zoeken en te vinden (ook al zijn deze er in werkelijkheid niet).

Deel deze pagina

Zoek op de website

Nieuwsbrief

Schrijf u hier in op onze nieuwsbrief. Nooit commercieel, maar altijd informatief!

Evidence Based Partners (klik door)

ad ad ad ad ad ad ad ad ad ad ad