Hvordan skille god forskning fra dårlig?
Jeg har glemt hvem foreleseren var, men personen presenterte i alle fall følgende to BBC-artikler:
Samme avis, samme år, samme tema, men to vidt forskjellige konklusjoner. Begge kan ikke være sanne samtidig. Det er grunn til å stole mest på den til høyre. Mer om det til slutt.
God versus dårlig forskning
La det være sagt med en gang: Å skille god fra dårlig forskning er ingen enkel øvelse og vil alltid inneholde subjektive vurderinger. Når forskere går grundig til verks bruker de gjerne den såkalte GRADE-tilnærmingen og kan krangle lenge om hvordan vurderingene er gjort.
Hva gjør du når du verken har tid eller lyst til å sette deg inn i GRADE? Jeg tror en sjekk av følgende to ting vil gjør deg langt bedre rustet til å vurdere holdbarheten av forskningen:
Det ene er hvor stor studien er. Studier med få deltakere som rapporterer store effekter, er det god grunn til å være skeptisk til. Det er en grunn til at medikamenter må testes på tusenvis av pasienter før de kan slippes på markedet.
Det andre er hvor godt forskerne har kontrollert for ting som kan påvirke resultatet. I stor grad handler det om å lære seg å skille mellom ulike typer forskning. Her kan det såkalte evidenshierarkiet fungere som en veileder.
Evidenshierarkiet
Når vi skal si noe om årsakssammenhenger, stoler vi vanligvis minst på det som er nederst og mest på det som er øverst. Du trenger ikke nødvendigvis vite hva alle disse betyr. Det viktigste å vite er at desto lenger ned i hierarkiet du beveger deg, jo større spillerom får faktorer som kan påvirke resultatet.
Systematiske oversikter
Systematiske oversikter er oppsummeringer og kvalitetssjekk av all tilgjengelig forskning innenfor et område eller forskningsspørsmål. Disse kan også inkludere metaanalyser. Metaanalyser slår sammen resultatene fra flere studier. Slik får man vanligvis et langt mer robust resultat enn gjennom enkeltstudiene alene. Derfor troner denne kategorien over enkeltstudiene som utgjør resten av pyramiden. Lurer du på hvor og hvordan du finner systematiske oversikter, bør du ta en titt på dette innlegget.
Randomiserte, kontrollerte studier
Randomiserte, kontrollerte studier (gjerne forkortet RCT) undersøker effekten av et spesifikt tiltak ved å fordele deltakerne tilfeldig (randomisering) i grupper som får og ikke får tiltaket. Slike studier er gullstandarden når man skal forsøke å si noe om årsakssammenhenger, for eksempel effekten av en ny medisin. I slike studier fordeles studieobjektene, for eksempel en gruppe pasienter, tilfeldig til å få medisinen eller en narremedisin. Siden pasientene blir fordelt tilfeldig, kan man anta at eventuelle forskjeller i hvor raskt pasientene blir bedre eller hvilke bivirkninger de får skyldes medisinen.
Ikke-randomiserte studier
Ikke-randomiserte studier undersøker effekten av et spesifikt tiltak ved å sammenligne grupper som får og ikke får tiltaket, men uten å fordele tilfeldig til gruppene. I en slik studie vil pasienten kanskje selv velge om de vil ta medisinen eller ikke. Da blir det vanskeligere å tolke eventuelle forskjeller mellom gruppene. Hvis det viser seg at pasientene som tok medisinen ble friskere, kan det være andre årsaker til det enn selve medisinen. Kanskje var det for eksempel slik at de som valgte å ta medisinen også benyttet seg av andre behandlingstilbud samtidig og at disse er årsaken til bedringen.
Obervasjonsstudier
Observasjonsstudier er studier der forskerne kun observerer deltakerne de studerer. «Observere» betyr i denne sammenhengen stort sett at de stirrer på et datasett. I en observasjonell studie av et medikament ville man ha samlet inn informasjon om pasienter som tar medisinen, og kanskje ha sammenlignet dem med liknende pasienter som ikke tar medisinen. Slike studier har enda mer av problemene til de ikke-randomiserte studiene. Det er et lite hav av mulige forskjeller mellom de som tar medisin, og de som ikke gjør det. De som tar medisinen er kanskje mer motiverte eller var friskere til å begynne med enn dem som ikke tok medisinen, kanskje er det aldersforskjeller mellom gruppene, eller kjønnsforskjeller, forskjeller i utdanningsnivå, eller noe annet. Forskere forsøker vanligvis å ta hensyn til dette i analysene sine, men det er nærmest umulig å være sikker på at har klart å fange opp alle mulige alternative forklaringer.
Kasusstudier
Kasusstudier er kartlegginger av enkeltpersoners opplevelser. I en kasusstudie kunne pasientene som har tatt medisin blitt intervjuet for å få et innblikk i hvordan de har opplevd å ta medisinen og hvilken effekt de føler det har hatt. I slike studier er antallet ofte få, og det er uunngåelig at de subjektive (og noen ganger feilaktige) tolkningene til både studiedeltakerne og den som intervjuer farger resultatene.
Eksperters meninger
Eksperters meninger er uttalelser fra et menneske vi anser som en ekspert. Vi bør ofte høre på dem, men ikke alltid. Eksperter er tross alt bare mennesker, de også. Mennesker kan rammes av interessekonflikter, for stor selvsikkerhet, bekreftelsesfeller og andre tankefeller. Det betyr ikke at man ikke skal lytte til eksperter. Dersom du lurer på om det har noen effekt å ta en medisin, bør du heller spørre fastlegen, enn onkel Lars som roper sterke meninger fra sofaen, med venstrehånden i en pose ostepop og høyrehånden rundt en halvliter. Men om onkel Lars smeller en systematisk oversikt i bordet, da kan det være du bør lytte.
Obligatorisk forbehold
For ordens skyld: Det er selvfølgelig unntak fra denne graderingen. Det fins systematiske oversikter som er elendige, og det fins observasjonelle studier som har endret verden (det var gjennom slike vi fant ut at røyking var farlig). Vi trenger også alle studietypene over. De fyller ulike, viktige formål. En viktig kritikk av de kontrollerte studiene er for øvrig at kontrollen kan gå utover generaliserbarheten av studiene. Hvis man kontrollerer for alt mellom himmel og jord, hvor representative blir resultatene for det vi ønsker å si noe om i den virkelig verden?
Men likevel, om du har hastverk og skal gjøre raske søk for å sjekke en påstand eller antakelse, kan det være lurt å starte på toppen av pyramiden.
Mer enn fem om dagen?
Så var det de to artiklene om effekten av å spise frukt og grønt. Artikkelen som konkluderer med at mer enn fem om dagen antakelig ikke reduserer dødelighet, er en systematisk oversikt. Den andre er en observasjonell studie. Jeg ville ha stolt mest på den første, men oppfordrer selvfølgelig alle til å grave i detaljene selv:
Dette innlegget er et omskrevet utdrag fra boken min, “Bedre beslutninger”.
