Home » Nieuws » Hoe weet ik hoe deugdelijk een wetenschappelijk artikel is?

02-07-2013

Hoe de kwaliteit van een wetenschappelijk artikel beoordelen?

 Heel wat mensen zitten met de handen in het haar wanneer ze wetenschappelijke kennis over een bepaald domein willen opdoen. Ze vragen zich af hoe eraan te beginnen, vooral als ze daarin niet geschoold/getraind zijn.

Een relatief snelle weg om dit te doen is de volgende:

1/ je zoekt eerst naar A1 publicaties, bij voorkeur systematische reviews (meest voorkomend zijn meta-analyses). Over hetzelfde onderwerp moet je in principe heel wat studies vinden die dezelfde resultaten opleveren. Als er te vaak tegenstrijdige resultaten worden gevonden, is het gevaarlijk om van deugdelijk bewijs te spreken.

2/ Je kijkt of het tijdschrift of de tijdschriften waarin de artikels verschenen hoog staan aangeschreven. De meeste gebruikelijke weg is de citatie-index (JCR impact factor).

3/ je gaat eventueel na hoeveel aanzien de wetenschapper geniet.

4/ je laat er een aantal ‘scancriteria’ op los die aan het eind van dit artikel worden uitgelegd.

 

Hierna volgen meer details.

Wat zijn “A1 publicaties”?

Om een idee te hebben wat bedoeld wordt, kan u bijvoorbeeld de classificatie van het FWO (Fonds voor Wetenschappelijk Onderzoek – www.fwo.be of van de UGent (https://archive.ugent.be/input/home?func=faq) raadplegen.

Om te kunnen spreken van een wetenschappelijke publicatie moet aan een aantal voorwaarden worden voldaan:

  • Het moet gaan om een publicatie gebaseerd op onderzoek dat een goed omschreven, logische en gevalideerde methodologie gebruikt om empirische (meestal meetbare) gegevens te verzamelen, die evidence (bewijzen) aandragen voor of tegen een hypothese. Dit vergt dat een hypothese zodanig geformuleerd is dat ze in principe empirisch toetsbaar is (dwz. via toepassing van een wetenschappelijke methodologie en daaruit voortvloeiende evidentie tegensprekelijk/weerlegbaar is).
  • Het gaat om nieuw of gerepliceerd onderzoek dat telkens nuttige informatie oplevert – om de vooruitgang van het wetenschappelijk domein te bevorderen (advancement of science)
  • De publicatie moet gedaan worden in een vorm die andere wetenschappers toelaat de resultaten te verifiëren of gebruiken in een nieuwe studie.
  • Ze moet in principe door alle andere wetenschappers kunnen begrepen worden en beschikbaar zijn – dit sluit betaling niet uit. Daardoor is Engels de internationale voertaal.
  • Ze bevat alle bibliografische data (verwijzingen naar bronnen, ander onderzoek…).
  • De publicatie werd voor publicatie beoordeeld en aanvaardbaar geacht via “peer review”.

In de praktijk betekent dit dat publicaties met de benaming A1 tot A3 aan de echte criteria van een wetenschappelijke paper beantwoorden.

 

De internationale afspraken zijn daarom:

 A = papers of  wetenschappelijke onderzoeksartikels

A1-publicaties:

  • Beantwoorden aan de hiervoor vermelde criteria
  • Bevatten meestal ongepubliceerd materiaal
  • Zijn ‘peer-reviewed’ of het proces waarbij collega-onderzoekers van hetzelfde domein de publicatie evalueren op zijn wetenschappelijke waarde.
  • De internationaal erkende tijdschriften hebben een ‘ISSN’-code
  • Psychologie-artikels vind je via de ISI Web of Sciencedatabanken
    • Science Citation Index
    • Social Science Citation Index
    • Arts and Humanities Citation Index
    • Het kan gaan om: artikels, systematische reviews zoals meta-analyses, proceedings, letters (snelle mededelingen omwille van hun bijzonder belang), en notes.

A2-publicatie:

  • Soms klasseert men systematische reviews hieronder, maar dit is niet meest gebruikelijk
  • Artikel in een internationaal wetenschappelijk tijdschrift met peer review, dat niet inbegrepen is in (A1)

 A3-publicatie: Artikel in een nationaal tijdschrift met peer review, dat niet inbegrepen is in (A1) of (A2)

A4-publicatie: Artikel in een tijdschrift niet inbegrepen in (A1), (A2) of (A3) (noot: zonder peer review)

B = books of boeken

B1-publicatie: wetenschappelijk boek als auteur of co-auteur, geen (doctorale) dissertaties of conferentie-abstracts.

B2-publicatie: Hoofdstuk in een wetenschappelijk boek als auteur of co-auteur, geen conferentie proceedings (zie P)

B3-publicatie: Boekeditor of co-editor, inclusief conference proceedings (zie hierna).

 

P = Proceedings

P1-publicatie: Proceedings zijn een collectie academische artikels die gepubliceerd werden binnen de context van een academische conferentie en die werden opgenomen in één van de ISI Web of Science databanken (zie hiervoor); het kan gaan om artikels, review articles, proceedings paper, maar ze zijn niet onder de rubriek A1 opgenomen.

C = conference

C1-publicatie: Artikels in proceedings van wetenschappelijke congressen, die niet inbegrepen zijn in (A1) of (A2) of (A3) of (P1) (volledige artikels met uitsluiting van abstracts, ongepubliceerde lezingen, posters, …)

 C3-publicatie: Conference – meeting abstract, ongepubliceerde lezingen, posters,…

D = dissertation

D1-publicatie: Doctoraatsverhandeling (valt ook soms onder C2)

V = Varia

V-publicatie: Alle andere publicaties zoals kranten- of magazineartikels, bibliografieën, biografisch items, boekbesprekingen, correcties, redactionele artikels, tentoonstellingsbesprekingen, lemmata, rapporten, tekstedities, theaterbesprekingen, enz.

 

Is dit voldoende?

Neen, helaas niet, want er zijn ook A1 publicaties over tal van theorieën, die vaak hun eigen tijdschriften hebben. Twee voorbeelden zijn de tijdschriften die handelen over de achterhaalde psychoanalyse (de meerderheid van psychologen en wetenschapsfilosofen denkt er zo over, alsook quasi alle biologen) en tijdschriften die bijvoorbeeld enkel handelen over de typologieën van Carl Gustav Jung.

Daarom zijn er diverse andere bijkomende classificatiesystemen in het leven geroepen. De bekendste is de Thompson-Reuters ISI Impact Factor (JCR: Journal Citation Reports). De meeste tijdschriften vermelden deze impact factor. Het is een berekening die een indicatie oplevert hoe vaak artikels van dat tijdschrift in andere artikels werden geciteerd. Zo krijgt u een idee van de belangrijkheid van het tijdschrift in zijn vakdomein (relatief tegenover de anderen). Men hanteert hiervoor de citaties van de voorbije twee jaar.

Meer lezen: http://wokinfo.com/essays/impact-factor/ .

Enkele voorbeelden:

  • Nature: impact factor 36.28, ranking 1/55
  • Nature reviews cancer: 37.54, ranking 2/194

(http://www.nature.com/npg_/company_info/impact_factors.html )

  •  Science: 31.20

Het hoeft niet te verwonderen dat in de sociale wetenschappen de impactfactoren heel wat lager liggen en dat Amerikaanse tijdschriften (hoofdzakelijk door de voertaal Engels) hoger scoren:

  •  Journal of Management Review: 7.89 (2012); rank 1/325
  • Journal of Management: 6.07 (2012): rank 2/325
  • International Journal of Management(IJM): 3.54
  • Psychological Bulletin: 14.45 (2011)
  • Journal of Applied Psychology: 4.75 (2012); rank 5/325
  • Journal of Personality and Social Psychology: 5.07 (2011)
  • American Psychologist: 6.68 (2011)
  • Psychological Review: 7.75 (2011)
  • Academy of  Management Journal: 5.09 (2012): rank 3/325
  • The Leadership Quarterly: 3.78 (5-year impact factor)
  • European Journal of Work and Organizational Psychology: 1.96 (2011)

Sommige populaire tijdschriften halen ook een impact factor: zo haalt Harvard Business Review een impact factor van 1.27

Er is ook nog de JIF of de ‘Journal Impact Factor’ als grote concurrent van de ISI  JCR impact factor.

Er is wel veel kritiek op het systeem, omdat het nogal kan gemanipuleerd worden (bijvoorbeeld via afspraken tussen wetenschappers onderling).

Google Scholar kan ook helpen om het aantal citaties per artikel te vinden. Zo  heeft het artikel “The productivity measurement and enhancement system: A meta-analysis” van Pritchard, Harrell, & Granados 53 citaties op 25/6/2013.

 

Er bestaan tenslotte ook nog manieren om de belangrijkheid van de auteur te vinden. Dit wordt opnieuw georganiseerd door organisaties zoals Thompson-Reuters, maar ook via Google Scholar is veel te vinden.

Enkele voorbeelden (26/6/2013):

  •  Psycholoog en Nobelprijswinnaar Daniel Kahneman: + 200.000, waarvan 1 artikel 26.318 keer.
  • Evolutionair psycholoog Steven Pinker: + 40.000 citaties (er is een gebruikersprofiel door hem aangemaakt: daardoor kennen we het exacte cijfer: 40.787)
  • Evolutionair bioloog Richard Dawkins: +35.000 citaties
  • Evolutionair psycholoog John Tooby: + 20.000 citaties
  • Organisatiepsycholoog Edwin Locke:  +40.000 citaties
  • Evolutionair bioloog Robert Trivers: 26.727 (profiel)
  • De Belgische persoonlijkheidspsycholoog Filip de Fruyt: 4298 (profiel)

 

Hoe betrouwbaar zijn de onderzoeksresultaten?

Een erg belangrijke stap is na te gaan of de artikels betrouwbare informatie opleveren. Hierna enkele richtsnoeren:

  • Een eerste onderzoek in de sociale wetenschappen vormt geen bewijs, hoogstens een indicatie. Vooral in de sociale (en medische) wetenschappen worden veel vals positieve resultaten gevonden omdat men zich vaak baseert op statistische technieken. Hier zijn de laatste tijd zowel van binnen het veld als van buiten het veld heel wat kritische publicaties over verschenen. Een van de oplossingen bestaat er in vooral te kijken naar ‘effect sizes’ en niet alleen meer met ‘statistical significance’ wat in het echte leven (echte cijfers) vaak niets voorstelt/de. De score van een groep mensen die bijvoorbeeld zijn loontevredenheid 7,3/10 scoort tegenover een groep die dit 7,5 scoort, kan een ‘statistisch significant’ verschil zijn, maar in werkelijkheid zal dit verschil geen tastbaar ander resultaat opleveren.
  • Zijn er voldoende mensen in het onderzoek betrokken: hoe lager het aantal deelnemers, hoe lager de statistische ‘power’, m.a.w. hoedt u om te gaan extrapoleren of om dit als wetenschappelijk vaststaand te beschouwen. Zogenaamd ‘single case’ onderzoek kan nuttig zijn om bijvoorbeeld bij één individu na te gaan of een behandeling werkt, maar dat maakt de behandeling niet algemeen geldend – daarvoor is meer en grootschaliger onderzoek nodig.
  • Kijk naar de onderzoeksmethoden: type onderzoek (RCT of Randomized Control trial, longitudinaal, kwalitatief…),werd gewerkt met controlegroep, labo-onderzoek, met studenten, met volwassenen, veldonderzoek enz. Dit vergt wat opleiding en een zin voor kritisch denken – inclusief zich verzetten tegen de natuurlijke neiging om confirmerende evidentie meer gewicht te geven (de confirmatieneiging: ik zoek naar die uitkomsten die mijn overtuiging bevestigen en negeer de andere) en cherry picking (enkel die artikels aanhalen die in mijn kraam passen).
  • Replicatie is nodig: doen andere onderzoekers (elders ter wereld) het onderzoek opnieuw en komen zij tot dezelfde bevindingen? Hoe meer replicaties, hoe groter de kans op deugdelijk bewijs.
  • Systematische reviews zoals meta-analyses, waarbij de gegevens van deugdelijke studies worden verzameld zijn nog beter. Maar ook hier moet men alert blijven: zijn de inclusiecriteria juist, zijn de statistische methodes juist, zijn de mogelijke verklaringen volledig? Je kan immers op basis van data verschillende ‘interpretaties’ doen, daar zit hem vaak het probleem. Niet de data maar de uitleg ‘achteraf’ is vaak discutabel.
  • Staan de bevindingen en conclusies haaks op de wetenschappen die ‘hardere’ gegevens opleveren of niet?  De basis van alles vormt de fysica, vervolgens de chemie (bouwt verder op fysica), dan de biologie (bouwt verder op chemie en fysica)  en psychologie moet noodzakelijkerwijze voortbouwen op biologie (wij zijn immers biologische wezens met een aangeboren natuur). Als voorbeeld kunnen we een van de uitgangspunten van psychoanalyse nemen, namelijk dat we als een ‘onbeschreven blad’ worden geboren en dat we alles leren. De eerste drie jaar zijn daarbij belangrijk, vooral voor trauma’s. Deze veronderstellingen zijn ondertussen weerlegd en de bewijzen dat wij beschikken over een aangeboren menselijke natuur (instincten) zijn ondertussen overweldigend. Of erger nog, de assumpties van Jung die ondermeer uitgaan van het bestaan van een parallelle wereld waarin archetypes heersen en waar wij op onverklaarbare manier toch (onbewuste) kennis hebben, maar ook het geloof in het paranormale zit verweven in zijn Jungiaanse types.
  • Zoekt men naar de meest ‘spaarzame verklaringen’? Spaarzaam betekent steunend op zo weinig mogelijk assumpties – bijvoorbeeld in evolutietheorie is de meest spaarzame verklaring voor natuurlijke selectie dat het zich afspeelt op niveau van de genen (die proberen te overleven in de genenpoel) – meer complexe verklaringen zoals ‘goed voor het overleven van een soort’ vergden veel meer assumpties en complexiteit en blijken minder verklarende kracht te hebben dan de spaarzame verklaring dat het zich op niveau van de genen afspeelt. Complexe verklaringen (die steunen op veel assumpties) vergen meestal uitzonderlijk sterk bewijs.

Met dank aan prof. dr. Omer Vandenbergh voor zijn redactionele en inhoudelijke suggesties.

Deel deze pagina

Zoek op de website

Nieuwsbrief

Schrijf u hier in op onze nieuwsbrief. Nooit commercieel, maar altijd informatief!

Evidence Based Partners (klik door)

ad ad ad ad ad ad ad ad ad ad ad