226 Forskningspublikasjoner. Kritisk lesning (REV 092)

Øyvind Palm

Læringsmål REV 092

Leseteknikk

Å lese artikler fra medisinske vitenskapelige tidsskrift er essensielt for leger i spesialistutdanning, men også for godt etablerte klinikere og forskere. Hver studie som publiseres i fagfelle-vurderte internasjonale tidsskrift (og registres i PbMed) har gjennomgått og bestått en møysommelig publiserings og seleksjonsprosess.

Publiserte forskningsstudier er bygget opp ganske likt på tvers av fag. En kort sammenfatning (abstract) ender med en konklusjon. Selve publikasjonen har hoveddelene: Innledning, Metode, Resultater, Diskusjon og Referanseliste. Oppbyggingen gjør det lettere for leseren å finne frem raskt. Litteraturen gir oss oversikt over allerede har av publisert kunnskap, forståelse av hva som ennå er usikkert og hva en mangler troverdige data på.

Interesse for publikasjoner er flere: Ofte ønsker leseren oppdatering innen et spesielt felt eller diagnose. Iblant letes etter bestemte resultater, for eksempel dosering av et legemiddel ved en spesiell sykdom eller om beskrevne symptomer passer med en mistenkt diagnose. Kanskje ønskes støtte i litteraturen for synspunkter eller leseren vil imponere andre med ny kunnskap.

Antall publiserte studier har over tid økt nesten eksponentielt. En kan ikke lese alt, selv innen et begrenset fag. Det er imidlertid tidsbesparende å lese bare en liten del av en publikasjon.

En kan være fristet til bare å få med konklusjonen på abstractet. Dessverre er det da man ofte kommer feil ut. Vi skal se at leseren gjør klokt i kritisk å vurdere kvaliteten og studienes budskap. Forskning tyder faktisk på at nær halvparten av alle publiserte studier tar feil i sin konklusjon, slik at etterfølgende forskning korrigerer konklusjonen.

Feil konklusjon

Vi husker fra COVID-19 epidemien studien som tidlig viste at hydroksyklorokin (Plaquenil) kunne redusere et alvorlig forløp (med ARDS). Konklusjonen var imidlertid basert på at in vitro observasjoner og ble i media ekstrapolert til mennesker (Yao X, 2020). Senere har mer omfattende studier vist at hydroksyklorokin ikke forbedrer prognosen ved COVID-19 infeksjon in vivo (Fiolet T, 2021) .

Et annet eksempel av revmatologisk interesse omfatter rituksimab (biologisk legemiddel) mot fatigue ved Sjøgrens syndrom. En placebokontrollert studie i 2008 tydet på effekt av rituksimab (Das S, 2008). Forfatterne konkluderte med at flere studier burde gjøres, men resultatene ble uansett mottatt med stor entusiasme. Flere studier ble etter hvert utført. Dessverre bekreftet ikke disse at rituksimab hjelper på fatigue ved Sjøgrens (Herman A-M, 2019).

Epidemiologen John Ioannidis fant i sitt prosjekt «Why Most Published Research Findings are False” fra 2005 (Ioannidis J, 2005) at hele 80% av ikke-randomiserte studier endte i feil konklusjon. Det var færre feil når en så på randomiserte, kontrollerte studier (RCTs), men selv der fant han at en av fire publikasjoner hadde konklusjoner som senere forskning avkreftet.

Metaanalyser

I metaanalyser slås resultatene fra mange studier sammen, forutsatt at de er tilstrekkelig like. Resultatene har derfor god tyngde. Likevel skal den oppmerksomme leser ha i mente at vesentlige studier likevel kan være utelatt. Det gjelder i første rekke ikke-publiserte resultater, særlig de med negativt funn. Det er ikke tvil om at både forskere og tidsskriftene ønsker å publisere studier som viser interessante, nye funn. Resultater som ikke bekrefter en hypotese blir lettere lagt bort upublisert På den måten kan metaanalyser være skjevfordelte mot studier som viser positive funn (publikasjonsskjevhet), selv om disse kan være mer tilfeldige (Pripp AH, 2021).

Massemedia

Situasjonen blir ikke bedre at media har en forkjærlighet for uventede resultater og sensasjonelle, nye oppdagelser basert på enkeltstudier. Forskere som trenger oppmerksomhet for å sikre finansiering for sin videre forskning bidrar også. Dette er i kontrast til den klassiske vitenskapelige tilnærmingen som innebærer å tolke data med forsiktighet, påpeke metodiske begrensinger og svakheter og avvente endelige konklusjoner før flere studier foreligger. I publikasjonen «Why Most Biomedical Findings Echoed by Newspaper Turn Out to be False” viser Gonon F, 2012 at blant de ti i pressen mest omtalte innledende studiene om ADHD på 1990-tallet, viste senere forskning at åtte hadde kommet til feil resultater eller at effekten var overdrevet. Disse ti studiene ble omtalt i 223 avisartikler, mens de etterfølgende 67 studiene som viste at de innledende studiene var feil bare ble omtalt i bare 57 artikler.

Kritisk lesning

I sin studie påpeker Ioannidis noen årsaker til feil resultater og hva den kritiske leseren bør være spesielt oppmerksom på:

  1. Små studier. Jo mindre studiene er, desto større er sannsynligheten for at resultatene ikke er korrekte.
    • Det er dermed smart å se på antall pasienter inkludert og hvor mange som resultatene baseres på.
  2. Små forskjeller. Selv om små forskjeller de fremstår statistisk signifikante, øker sannsynligheten for feil tolkning.
    • Se på mål for signifikans og konfidensintervaller og vurder hvor solide konklusjonene er.
  3. Befolkningsstudier. I store materialer, slik som befolkningsstudier med tusenvis av inkluderte personer er sannsynligheten for tilfeldige, statistisk signifikante forskjeller stor når en gjør mange tester.
    1. Sjekk at resultatene gjenspeiler på forhånd definerte mål med prosjektet.
  4. Metoden. Jo mindre spesifikt metoden, studie-design, definisjoner, resultatmål og modeller for analyse er beskrevet, desto mer skeptisk bør en være til resultatene.
  5. Bindinger. Jo sterkere finansielle bindinger, andre interessekonflikter og på forhånd inntatte standpunkter forfatterne har, desto mindre sannsynlig er resultatene sanne.
    1. Uventede funn bør kontrolleres med en ny studie fra en annen forskergruppe.
  6. Først med det siste. Jo «hottere» et forskningsfelt er (mange konkurrerende teams), desto større er risikoen for feil resultat.

Så hvordan bør man lese vitenskapelige publikasjoner?

Dette er det faktisk publisert anbefalinger for. De fleste begynner, naturlig nok, med artikkelens overskrift. Deretter konklusjonen i «Abstract» eller til sist i «Discussion». Hvis en kommer til at overskrift og konklusjon er innenfor interesse, anbefaler Subramanuam RV, 2013 deretter følgende:Sjekk artikkelen / publikasjonens design. Case-reports og ikke-randomiserte studier uten kontrollgruppe tillegges mindre vekt enn randomiserte kontrollerte studier (RCT), systematiske reviews, metaanalyser og velbegrunnede guidelines.I stedet for å begynne øverst i artikkelen, bør en så sjekke om artikkelen viser til klart beskrevne mål og hypoteser og om disse er innenfor det en var ute etter. I så fall anbefales å lese hele artikkelen.

Samlet sett; erfaring tilsier at troen på resultater fra enkelt-studier ofte er overdrevet. Usannsynlige hypoteser og uventede resultatene må spesielt tolkes med nøkternhet, selv om medias interesse er størst nettopp for sensasjoner. Studier som er først med det siste, tar ofte feil. Klinikeren bør i alle fall være varsom med å endre praksis på en slik bakgrunn.

Artikkelen bygger delvis på Gunnar R Tjomlids kronikk i Journalen 2016/4 (og Håndbok i Krisemaksimering).

Litteratur

Subramanuam RV, 2013

Gonon F, 2012

Ioannidis J, 2005

License

Grans Kompendium i Revmatologi for leger i spesialistutdanning Copyright © 2021 by Øyvind Palm. All Rights Reserved.

Share This Book