Quasi tre mesi fa il podcast Freakonomics Radio del giornalista statunitense Stephen J. Dubner ha pubblicato un episodio dal titolo “Perché ci sono così tante frodi nel mondo accademico?”. Partendo dallo scandalo di Francesca Gino e Dan Arieli, il podcast illustrava esempi di articoli accademici con elementi falsi – i dati erano manipolati e c’erano molti altri elementi poco chiari. Il giornalista cercava di esplorare come e perché questo accada e provava a immaginare qualche soluzione. Su Sensible medicine l’oncologo Vinay Prasad raccoglie le sue riflessioni sulle domande sollevate da Freakonomics Radio: le fragilità della ricerca accademica non riguardano solo la falsificazione e manipolazione dei dati. Su Stop and Think  il cardiologo John Mandrola risponde che le fragilità non sono rare, ma sono la normalità degli studi clinici quanto nella pratica clinica.

Frodi nella ricerca accademica
di Vinay Prasad e John Mandrola
(pubblicato ilpunto.it il 12 febbraio 2024)
(Questo articolo è la traduzione del post di Vinay Prasad pubblicato su Sensible Medicine con il titolo “Fraud, Distorsion, and Truth in Science”. Per gentile concessione di Sensible Medicine)

Frodi, distorsioni e verità nella scienza
di Vinay Prasad (medico onco-ematologo, Department of epidemiology and bostatistics, University of California San Francisco, USA)

Nella puntata di Freakonomics Radio, un ospite afferma di sospettare che il 5 per cento della scienza contenga dati fraudolenti. Si tratta di una stima audace, anche se ammetto che si allinea con la mia intuizione, ma è sicuro che – al momento – non abbiamo prove valide a supporto di questa affermazione. Non sappiamo quanto spesso si verifichi la frode – cioè la falsificazione dei dati.

Ciò che spesso viene tralasciato nella discussione è che la frode non rappresenta la minaccia più grande per la scienza. Essa rappresenta un estremo, in cui le conclusioni non sono né vere né utili perché i dati sono manipolati. Ciò che è molto più pericoloso nella scienza è che quasi tutte le conclusioni che riportiamo non sono né vere né utili, non a causa di frodi, ma perché manca l’impegno nel condurre lavori di alta qualità, sufficientemente potenti e predefiniti.

La triste verità è che ben poco della scienza è autentico e utile.

Come è possibile? Innanzitutto consideriamo che la maggior parte della scienza biomedica riguarda due cose: descrivere il mondo e migliorarlo. Permettetemi di affrontare questi due aspetti nell’ordine opposto.

Per cambiare il mondo è necessario (a) avere un progetto e (b) essere abbastanza sicuri che la sua attuazione migliori le cose. La parte più facile è avere un piano. Molte persone, dai geni ai folli, hanno un piano e ragioni per credere che potrebbe funzionare. La parte difficile è la causalità. Il mondo è pieno di collegamenti – per lo più spuri. Ma come si fa a capire quali di essi funzionano proprio come si vorrebbe?”

Viviamo in un mondo di attivisti. Giovani che vogliono fare del bene. Purtroppo, in genere sono così poco formati al pensiero critico e al nesso di causalità, che circa il 100 per cento di quanto propongono non porta alcun valore. Molte delle proposte sono addirittura dannose.

Non c’è nulla di più pericoloso di una persona desiderosa di fare il bene, ma che non sa cosa davvero funzioni.

La scienza, quindi, offre un aiuto appena sufficiente. Molti studi mancano di controlli, molti sono irrimediabilmente compromessi da fattori di confondimenti o da bias. La maggior parte degli accademici trae conclusioni causali che non sono vere. E anche quando lo sono, non possono essere trasferite nella pratica; non sono valide quando applicate su larga scala. Questo divario viene chiamato “the efficacy effectiveness gap”, divario tra efficacia ideale ed efficacia.

Consideriamo ora la seconda questione: descrivere il mondo. Anche qui falliamo. In genere, affermiamo che qualcosa predice o è associata a un risultato negativo, ma non abbiamo trattato adeguatamente tutti gli altri elementi che sono già noti per prevedere quel risultato negativo. Sosteniamo di aver trovato qualcosa di nuovo, ma non stiamo aggiungendo nulla.

L’intero campo della scienza è pieno di carrieristi che sfornano studi di dubbia credibilità, un fenomeno che suscita stupore. Solo in circostanze estreme, caratterizzate da forti pressioni per ottenere risultati e da un controllo di qualità scadente, le persone “fabbricano” apertamente dati; ma anche nei casi più comuni le conclusioni non sono né vere né utili.

La scienza, come costrutto sociologico, spesso sembra meno incentrata sulla verità e più legata ad un particolare programma di benessere per i figli di genitori benestanti che hanno ottenuto buoni risultati a scuola.

Un’ultima riflessione. Il recente post di Adam Cifu su Peter Marks e Bob Califf è molto interessante. Per me il nodo fondamentale è che entrambi sarebbero perfettamente in grado di far eseguire a Pfizer lo studio randomizzato, ma si rifiutano. Questa situazione rappresenta l’emblema del più grande fallimento della scienza.

Quindi, nonostante il mio apprezzamento per Freakonomics, mi piacerebbe che si discutesse maggiormente del problema più profondo che affligge la scienza.

Il problema non è alle estremità ma al centro della curva
di John Mandrola (cardiologo elettrofisiologo, Baptist health Louisville, Kentucky, USA)
(Questo articolo è la traduzione del post di John Mandrola pubblicato sul suo blog Stop and think con il titolo “The problem in science and medicine is not at the tails but in the middle of the curve”. Per gentile concessione dell’autore)

Le frodi vere e proprie attirano sempre la nostra attenzione, che si tratti di scienziati che inventano dati o di medici che impiantano troppi stent. E, ovviamente, si tratta di fatti gravi. Tuttavia, Vinay ha ragione: la frode vera e propria non è il problema principale, né della ricerca clinica né dell’assistenza sanitaria.

Occupiamoci prima della ricerca scientifica. Vinay scrive che manca la buona ricerca. Cita, ad esempio, studi condotti per pubblicare articoli, come gli studi osservazionali che non hanno alcuna possibilità di verificare una relazione di causalità. Ogni settimana scuoto la testa di fronte a questi studi. Mi chiedo: perché qualcuno dovrebbe fare queste ricerche? All’elenco di Vinay aggiungerei il problema di quelle ricerche che già nascano con un preciso intento. Alle scuole superiori impariamo che il fine della scienza è porsi domande sulla natura delle cose. Ma il problema nella ricerca clinica è che molti studi nascono con lo scopo di dimostrare che qualcosa funziona (e solitamente è qualcosa di redditizio).

Il centro della curva delle sperimentazioni cliniche è pieno di studi disegnati per dimostrare che un farmaco o un dispositivo medico remunerativo supera una certa soglia stabilita. In quanto tali, gli esperimenti sono fallaci: non è che siano fraudolenti, è che non sono veramente scientifici. Ad esempio, vogliamo sapere se un dispositivo che ripara le perdite ematiche della valvola tricuspide aiuti il paziente. Di per sé il quesito di partenza è valido.

Ma l’esperimento che realizzeremo testerà il dispositivo eseguendo una procedura invasiva in un gruppo di pazienti e somministrando il farmaco nell’altro gruppo. Nessun placebo. Inoltre l’esperimento misura un endpoint soggettivo. Chiunque leggerà questo studio sa che sostanzialmente è inutile, anche i ricercatori che lo hanno disegnato e condotto lo sanno. Eppure eccolo lì, pubblicato sul New English Journal of Medicine, destinato a essere utilizzato dalla FDA e poi nel materiale di marketing.

La scienza medica è piena di studi di questo genere. Quasi mai risultano fraudolenti; ma troppi di questi studi sono difettosi al punto da essere inutili.

Il problema della ricerca medica sta nella parte centrale della curva, cioè nella media.

Ed è così anche nella pratica clinica. In un una zona rurale, un cardiologo viene arrestato per aver impiantato degli stent quando di fatto non c’era alcuna condizione clinica che giustificasse l’intervento. Questo è penale e fa notizia. Ma è un caso isolato. Il vero problema è l’abuso quotidiano, l’eccesso di diagnosi e la medicalizzazione. Pensiamo ad esempio alla scansione del calcio coronarico in persone anziane che già assumono statine, alla scintigrafia miocardica nelle persone che hanno il pannolone, alla mammografia o colonscopia in anziani con demenza, oppure all’uso in anziani fragili ricoverati di farmaci per insufficienza cardiaca, la cui efficacia è stata dimostrata in pazienti ambulatoriali giovani.

È sotto gli occhi di tutti un’assistenza dannosa di scarso livello. Ormai è la norma – forse perché è una pratica redditizia. Forse perché i medici non prestano sufficiente attenzione alla valutazione critica. Forse perché i medici vogliono solo sfangarla. Nessuno vuole fare notizie sull’ordinaria quotidianità delle stupidaggini che si trovano nel mezzo della curva, è troppo difficile.

Diffondere il valore della valutazione critica è uno dei miei obiettivi, l’ho fatto qui, su Sensible Medicine, su Cardiology Trials e su This Week in Cardiology. Quando esaminiamo con attenzione le evidenze, diventiamo più umili nel valutare cosa ci si può aspettare dai nostri interventi. Non sono un nichilista: la medicina è una disciplina straordinaria che io amo.

Tuttavia il nostro principale problema non è il comportamento sbagliato che è l’eccezione, ma la cura e assistenza di basso valore che stanno sotto gli occhi di tutti.