Lav tillit til medisinsk forskning

Generelt bør man anta at medisinsk forskning i utgangspunktet ikke er gjennomført og rapportert på troverdig måte, med mindre det foreligger dokumentasjon om det motsatte. Det mener Richard Smith, tidligere mangeårig sjefredaktør av Den britiske legeforeningens prestisjetidsskrift BMJ.¹

Tekst Iver Mysterud

Kort fortalt

Artikkelen omtaler de viktigste argumentene fra et blogginnlegg Richard Smith, tidligere mangeårig sjefredaktør av BMJ, publiserte 5. juli. Han mener det foreligger omfattende grad av uredelighet og juks i medisinsk forskning. Situasjonen er så ille at man nå bør anta at forskningen er falsk inntil det foreligger troverdig dokumentasjon som støtter at den er gjennomført og ærlig rapportert.

Smith diskuterte temaet i et tankevekkende blogginnlegg 5. juli, og det burde vært omtalt i pressen over hele verden. I stedet ”druknet” budskapet i sommerferie og en situasjon der verdens politikere, helsetopper og pressen utelukkende fokuserte på massevaksineringskampanjen mot koronaviruset.

Den erfarne redaktøren tok utgangspunkt i at helseforskning er basert på tillit. Folk som leser medisinske fagartikler, inkludert redaktører av medisinske fagtidsskrifter, antar stort sett at kliniske forsøk faktisk har skjedd og at resultatene blir rapportert på en troverdig måte. Ifølge en australsk professor i obstetrikk og gynekologi, Ben Mol, er dette imidlertid ikke tilfellet i rundt 20 prosent av forskningen. Smith har i 40 år vært bekymret for at det forekommer forskningsfusk og uredelighet i medisinsk forskning, og han ble ikke overrasket over et slikt høyt anslag. Det fikk ham imidlertid til å foreslå at tiden kan være moden for ikke alltid å anta at forskning faktisk er blitt gjennomført og rapportert på ærlig måte. I stedet bør vi anta at forskningen er falsk inntil det foreligger troverdig dokumentasjon som støtter at den er gjennomført og ærlig rapportert.

Den britiske professoren i epidemiologi, Ian Roberts, begynte i sommer å tvile på at forsøk var rapportert på ærlig vis etter at en kollega hadde spurt om han visste at studiene i en spesifikk oversiktsartikkel han hadde publisert, faktisk hadde vært gjennomført. I slike oversiktsartikler vurderer en forsker en rekke studier om et gitt tema og analyserer dem samlet. I dette tilfellet viste oversiktsartikkelen at sukkeralkoholen mannitol hadde halvert dødsraten fra hodeskader, og kollegaen påpekte at forsøkene faktisk ikke var blitt gjennomført. Roberts hadde ingen anelse om dette, men han begynte straks å undersøke forsøkene og oppdaget at kollegaen hadde rett. Forsøkene hadde aldri vært gjennomført. Alle studiene hadde samme hovedforfatter, som oppga å komme fra en institusjon som ikke eksisterer og som dessuten noen år senere hadde begått selvmord. Forsøkene var publisert i anerkjente fagjournaler i nevrokirurgi og hadde en rekke medforfattere. 

Det viste seg at ingen av medforfatterne hadde bidratt med pasienter til forsøkene, og noen visste ikke at de var medforfattere før de så artiklene publisert. Da Roberts kontaktet redaktøren i ett av tidsskriftene, svarte han at han ikke ville ha stolt på dataene i en av disse artiklene. Roberts lurte da på hvorfor i all verden han hadde publisert forsøket. Ingen av forsøkene har vært trukket tilbake av tidsskriftet, altså annullert.

Smith skriver at Roberts senere gjennomførte en systematisk gjennomgang av faglitteraturen på to stoffgrupper (kolloider versus krystalloider) og oppdaget at også der var mange av studiene ikke gjennomført. Roberts er nå blitt skeptisk til alle systematiske gjennomganger, særlig de som gir oversikt over mange mindre forsøk. Den opprinnelige tanken bak systematiske litteraturgjennomgangen kan sammenliknes med å lete etter diamanter – verdifulle funn som kun var tilgjengelig ved å sette sammen studier i en felles analyse. Nå forestiller Roberts seg at en slik metode snarere tilsvarer å søke gjennom vitenskapelig søppel uten spor av diamanter. Han har derfor foreslått at små forsøk fra samme institusjon bør utelates fra systematiske oversikter. De bør ikke kombineres med andre forsøk i systematiske litteraturgjennomganger.

Også Mol har gjennomført systematiske litteraturgjennomganger og oppdaget at de fleste inkluderte forsøkene hadde data som var totalt upålitelige, enten var beheftet med alvorlige problemer eller ikke kunne festes lit til. Hvor stort kan dette problemet være? Selv om det trekkes tilbake stadig flere artikler, er bare 0,04 prosent av samtlige biomedisinske studier blitt trukket tilbake. Dette kan tilsynelatende indikere at problemet er lite. Imidlertid har den britiske anestesiologen John B. Carlisle analysert 526 forsøk som var sendt inn til tidsskriftet Anaesthesia.² Han oppdaget at 73 studier (14 %) hadde falske data, og han kategoriserte 43 studier (8 %) som basert på totalt upålitelige data. Mol var i stand til å undersøke individuelle pasientdata i 153 av studiene. Da fant han at 67 (44 %) inneholdt data man ikke kan stole på, mens 40 (26 %) var totalt upålitelige. Mange av studiene kom fra de samme landene: Egypt, Kina, India, Iran, Japan, Sør-Korea og Tyrkia. 

Da den amerikanske professoren John Ioannidis (f. 1965) undersøkte individuelle pasientdata fra forsøk som ble sendt inn til Anaesthesia i løpet av ett år, fant han at mange var falske: Hele 100 prosent (7/7) fra Egypt, 75 prosent (3/4) fra Iran, 54 prosent (7/13) fra India, 46 prosent (22/48) fra Kina, 40 prosent (2/5) fra Tyrkia, 25 prosent (5/20) fra Sør-Korea og 18 prosent (2/11) fra Japan. De fleste av forsøkene hadde data som var totalt upålitelige. Ioannidis konkluderte at det finnes hundretusenvis av forsøk basert på totalt upålitelige data publisert bare fra disse landene.³

Smith påpeker at andre forskere har funnet tilsvarende resultater. Ifølge Mols vurdering er 20 prosent av forsøk falske. Svært få av dem blir trukket tilbake.

Smith mener at vi nå er kommet til et punkt der de som gjennomfører systematiske litteraturgjennomganger, må begynne å anta at en studie er falsk inntil det foreligger en viss dokumentasjon på det motsatte. Dette kan innebære at et forsøk er blitt registrert og godkjent av en etisk komité. Det er også utviklet en sjekkliste på rundt 40 punkter som kan brukes som verktøy til å avdekke falskneri.⁴ Denne sjekklista er brukt for å oppdage studier som senere er blitt trukket tilbake, men har ifølge Smith ikke vært gjennom en full evaluering, noe som man bør forvente av et slikt klinisk verktøy.

Et problem på systemnivå

Ifølge Smith er forskningsfusk ofte blitt oppfattet som et problem med ”dårlige epler”, altså at man ved å fjerne de dårlige eplene fra en kurv, kan nyte resten av eplene uten forbehold. Forskeren Barbara K. Redman ved Universitetet i New York mener imidlertid omfanget er mye mer omfattende og handler om et problem på systemnivå. Selve forskningssystemet gir insentiver for å publisere uredelig forskning og har ikke egnete rutiner for å oppdage falskneri. Forskere blir anerkjent ved å publisere forskning, og fordi publiseringssystemet er basert på tillit og anonyme kollegers vurdering av forskningen ikke er utformet for å oppdage juks, er det lett å publisere falsk forskning.

Forretningsmodellen til fagtidsskrifter og forlagshus avhenger av publisering, helst ved at et stort antall studier publiseres så billig som mulig. De har intet incentiv til å undersøke hvorvidt det foreligger juks. De har snarere en innebygd refleks som tilsier et ønske om ikke å skade sitt rykte og muligens løpe en juridisk risiko ved å trekke tilbake studier. 

Bevilgende institusjoner, universiteter og andre forskningsinstitusjoner har på tilsvarende vis incentiver til å finansiere og publisere studier og unngår å lage oppstyr om falsk forskning som de kan ha finansiert eller gjennomført på sin institusjon. Dette kan til og med tenkes å gjelde en av sine egne ”stjerneforskere”. Reguleringsmyndigheter mangler ofte juridisk kompetanse og ressurser til å respondere på hva som klart er omfattende falskneri. Det er svært krevende, kompleks og tidkrevende å bevise at noe er falskneri – i motsetning til bare å mistenke det. Smith legger til at et ytterligere problem er at forskning i økende grad gjennomføres med internasjonale deltakere fra mange institusjoner i mange land. Hvem vil ta på seg den lite misunnelsesverdige oppgaven å undersøke hvorvidt det foreligger falskneri? Smith mener derfor at vitenskapen virkelig trenger global overvåkning/styring.

Roberts har konkludert at alle involverte i forskningsprosessen tjener på publisering, men at mange pasienter lider ved at de får behandling basert på falske data.

Smiths forgjenger som sjefredaktør i BMJ, Stephen Penford Lock (f. 1929), var bekymret for forskningsfusk allerede på 1980-tallet, men de fleste oppfattet hans meninger som sære. Forskningsautoriteter insisterte på at fusk forekom sjelden, og det hadde heller ingen praktisk betydning fordi forskningen er en selvkorrigerende prosess. Ingen pasienter hadde tilsynelatende heller lidd på grunn av fusk i medisinsk forskning. Ifølge Smith har alle disse grunnene til ikke å ta forskningsfusk på alvor, vist seg å være feilaktige. Førti år etter Locks bekymringer erkjenner stadig flere at problemet er omfattende. Systemet oppmuntrer til falskneri og mangler egnete metoder for å håndtere dette på. På denne bakgrunn mener Smith at tiden er moden for å erstatte antakelsen om at medisinsk forskning er gjennomført og rapportert på ærlig vis, til å anta at den ikke er til å stole på inntil det foreligger dokumentasjon for det motsatte.

Kommentar

Etter Helsemagasinets vurdering er Richard Smith en mann vi bør lytte til. Han har omfattende erfaring med forskningsprosessen i medisin. Siden han ikke lenger er redaktør i et av verdens mest anerkjente medisinske fagtidsskrifter, kan han skrive fritt uten at det får konsekvenser for jobbsituasjonen eller hans videre karriere.

Smith er imidlertid ikke alene blant sentrale redaktører om å kritisere medisinsk forskning. Mest kjent er legen og forfatteren Marcia Angell (f. 1939), tidligere sjefredaktør i et annet av verdens mest prestisjefylte medisinske fagtidsskrifter, New England Journal of Medicine. Da hun gikk av som redaktør, tok hun bladet fra munnen og fortalte om det hun hadde erfart gjennom mange år:⁵ En stor andel av medisinske studier var beheftet med omfattende problemer, og farmasøytisk industri er en viktig aktør som bedrar oss. I parentes bemerket er dette den samme industrien de fleste har full tillitt til når det gjelder vaksiner og medikamenter under pandemien. Den danske professoren i medisin, Peter C. Gøtzsche (f. 1949) har dokumentert at virksomheten til farmasøytisk industri best kan beskrives som organisert kriminalitet.^6,7 Dette er et viktig bakteppe for å vurdere medisinsk forskning.

Kilder:

1 Smith R. Time to assume that health research is fraudulent until proven otherwise? The BMJ Opinion 5.7.2021. https://blogs.bmj.com/bmj/2021/07/05/time-to-assume-that-health-research-is-fraudulent-until-proved-otherwise/

2 Carlisle JB. False individual patient data and zombie randomised controlled trials submitted to Anaesthesia. Anaesthesia 2021; 76: 472–9. https://associationofanaesthetists-publications.onlinelibrary.wiley.com/doi/abs/10.1111/anae.15263

3 Ioannidis JPA. Hundreds of thousands of zombie randomised trials circulate among us. Anaesthesia 2021; 76: 444–7. https://associationofanaesthetists-publications.onlinelibrary.wiley.com/doi/epdf/10.1111/anae.15297

4 Grey A, Bolland MJ, Avenell A mfl. Check for publication integrity before misconduct. Nature 2020; 577: 167–9. https://www.nature.com/articles/d41586-019-03959-6

5 Angell M. The truth about the drug companies: How they deceive us and what to do about it. New York: Random House, 2004.

6 Gøtzsche PC. Deadly medicines and organised crime: How big pharma has corrupted healthcare. London: Radcliffe Publishing, 2013. Dansk versjon: Dødelig medicin og organiseret kriminalitet: Hvordan medicinalindustrien har korrumperet sundhedsvæsenet. People’s Press, 2013.

7 Gøtzsche PC. Skremmende om farmasøytisk industri. VOF 2014; 5 (3): 80–3.