Als je weet dat ruim 80% van de observationele studies geïndexeerd in PubMed een significante p-waarde heeft (p<0.05) [1], kun je niet anders dan concluderen dat er sprake is van publicatie bias (“publication bias”). Maar wat is nu precies publicatie bias en waarom is dit van belang?
Wat is publicatie bias?
Publicatie bias is een vertekening die ontstaat doordat niet alle studies gepubliceerd worden. De aanname is dat studies met een kleine steekproefgrootte en die geen, of een negatief, significant effect tonen, minder vaak gepubliceerd worden dan (al dan niet significante) studies van een grote steekproef. Zowel vanuit het perspectief van de auteurs als de editors van de journals is dit begrijpelijk, maar vanuit transparantie in wetenschap is dit verwerpelijk. Of een studie gepubliceerd wordt hangt veelal af van de richting van het effect en de grootte van de studie [2], terwijl het slechts af zou moeten hangen van kwaliteit.
Maar waarom is het van belang om te weten of er sprake is van publicatie bias?
Publicatie bias is met name van belang als je over meerdere studies heen gaat kijken, zoals bijvoorbeeld in een meta-analyse, of wanneer je beleid wilt formuleren op basis van wetenschappelijk bewijs. Als alleen de studies die een (positief) significant effect tonen gepubliceerd zijn en je daarop je meta-analyse uitvoert, dan is het effect berekend in de meta-analyse wellicht een overschatting van het daadwerkelijke effect. Oftewel de resultaten van de interventies worden rooskleuriger weergegeven dan dat ze in het echt zullen zijn.
Als je medisch beleid baseert op de gepubliceerde literatuur, dan is het van essentieel belang dat de resultaten van alle kwalitatief goede onderzoeken, of ze positief, negatief of geen effect laten zien, beschikbaar zijn [2]. Alleen dan kun je een objectieve conclusie vormen die als basis dient voor je beleidsbeslissing.
Hoe kun je weten of er sprake is van publicatie bias?
Een manier om vast te stellen of er publicatie bias is, is om na te gaan of de resultaten uit ongepubliceerde studies verschillen van de resultaten in gepubliceerde studies. Helaas is het achterhalen van ongepubliceerde resultaten lang niet altijd mogelijk. Wat je wel kunt doen, is kijken of er trials gedaan zijn (via clinicaltrials.gov) en of deze resultaten beschikbaar zijn. Wat je ook kunt doen is een Funnel plot maken van de gepubliceerde literatuur om te beoordelen of er asymmetrie is die zou kunnen duiden op publicatie bias.
Een leerzame TED talk van Ben Goldacre over publicatie bias.
Referenties
- Schuemie MJ, Ryan PB, Hripcsak G, Madigan D, Suchard MA. Improving reproducibility by using high-throughput observational studies with empirical calibration. Philos Trans A Math Phys Eng Sci. 2018;376(2128):20170356
- Dickersin K. The existence of publication bias and risk factors for its occurrence. JAMA. 1990;263(10):1385-1389.