Fare le pulci alla scienza: i (nascosti) bias della ricerca scientifica
Commento a: De Fiore Luca (2024) Sul pubblicare in medicina; impact factor, open access, peer review, predatory journal e altre creature misteriose, Il Pensiero Scientifico editore 2024, Presentazione di Richard Smith
Lo trovo un libro appassionante
, chiaro e assolutamente essenziale non solo per chi frequenta l'ambito scientifico ma per tutta la popolazione e direi per la democrazia.
Nello stesso tempo è un libro difficile da presentare: si dedica ad analizzare i molti limiti della ricerca scientifica. In una epoca in cui le polarizzazioni sono crescenti lacerando drammaticamente il quadro delle relazioni sociali e in cui il paranoidismo diventa un fenomeno di massa dando vita a correnti di idee complottiste e negazioniste, fare le critiche e mettere a nudo gli errori che si annidano nel lavoro della ricerca scientifica rischia di essere immediatamente accolto con entusiasmo da quelle parti di società che credono in fesserie come il terrapiattismo.
Il libro infatti tratta un tema molto sensibile anche se purtroppo finora relegato a una minoranza di esperti. Mettere in piazza gli errori del mondo della ricerca scientifica è rischioso, ripeto, perché è possibile che si sollevi un coro di, noi lo abbiamo sempre saputo che sono tutti venduti. Di converso è possibile che dall’altro lato vi sia chi preferisce negare e occultare.
A presentare questo libro mi sento a mio agio per una serie di ragioni. L’autore non è sospettabile, appartiene a pieno titolo al mondo della scienza e a quella scuola italiana sulla Qualità in medicina che si rifà a Liberati, pioniere della trasparenza e delle evidenze di cui, italiani, siamo orgogliosi.
In secondo luogo la ricchezza degli apparati e della documentazione su cui si basa il volume è tale da suscitare un sentimento di riconoscimento ad un autore che ha avuto il coraggio di parlare chiaro mettendo il dito su una piaga dello stesso mondo di cui fa parte.
Nonostante io stesso abbia molto più modestamente introdotto il tema i9n vari consessi, qui mi limito ad appoggiarmi ai dati che porta De Fiore, la bibliografia che usa è estesa è convincente.
Poi ancora i referee che si espongono ad apprezzare il lavoro di De Fiore sono numerosi e autorevoli, si va da Victor Montori a Woloshin Grisham, Davoli, Saracci, Addis, Forastiere, Alleva, tutti scienziati di valore.
Infine Richard Smith firma una chiarissima introduzione. Richard Smith, per chi non lo sapesse, è stato direttore del British Medical Journal pertanto della materia di cui tratta il libro è conoscitore in prima persona quanto pochi altri.
Ci sarebbe allora da sperare che, aperta la finestra, ora si apra un dibattito che consenta di ripulire l’atmosfera che si è generata attorno al mondo della scienza. C’è da temere che molti preferirebbero tenere l’argomento nascosto sotto il tappeto per non mettere in discussione pratiche e interessi molto corposi.
Questa mia recensione è finalizzata a dare un piccolo contributo al dibattito.
Da non molto tempo è sorta e progressivamente ha guadagnato l'attenzione di tutta la popolazione medica e degli stakeholder la medicina basata sulle evidenze che ha provocato l'esigenza di dotare di ricerche, di dati e di progressive importanti basi epidemiologiche per potere dar valore alle pratiche cliniche. E’ il crinale che distingue la pratica secondo tradizione, o quella ruspante e quella improvvisata e cialtronesca, da quella serie, aggiornata e, auspicabilmente, efficace.
Nasce con la medicina basata sulle evidenze la Qualità in medicina che vuol dire offrire ai pazienti le cose migliori possibili. Esse evidentemente hanno come retroterra una ricerca dotata di evidenze, scusa il bisticcio di parole, ma sono le evidenze, la quantità e la qualità dei dati che distinguono la buona pratica clinica da quella scadente.
Con l’andare del tempo, ma di questa epoca il tempo corre velocemente, quindi diciamo meglio, negli ultimi trenta anni, si è creato un grandissimo mercato che ha dato vita a colossi della editoria che hanno inglobato progressivamente i piccoli editori creando un numero sterminato di riviste scientifiche tipo Elsevier, il più grande editore scientifico del mondo, che pubblica più di 2900 riviste. Alcune di esse, le più significative tipo The Lancet (o New England Journal of Medecine, proprietà della Massachusset Medica Society) diventano capofila di una serie di riviste tematiche collegate Elsevier fa parte ora di Relx la società che ha una capitalizzazione di mercato di ottantadue miliardi di dollari che nel duemilaventitre ha pubblicato più di 630mila articoli.
L’editoria scientifica è un grande mercato. Oggi ammonta a oltre 30 miliardi di sterline con più di 36000 riviste e con più di 5 milioni di articoli scientifici pubblicati ogni anno.
La quantità delle pubblicazioni ha preso il sopravvento; la qualità interessa spesso molto poco.
Basti pensare che ci sono un numero crescente di autori che pubblicano più di 70 articoli all'anno.
Stanford University pubblica giusto nel mese di gennaio del 2024 una ricerca secondo la quale al mondo ci sono stati 1200 ricercatori che hanno pubblicato (nel solo 2022, si badi) un articolo scientifico peer-review ogni 5 giorni: cioè più di 60 articoli scientifici in un anno!
In pratica pubblicare un articolo scientifico ogni 5 giorni evidentemente lascia spazio a possibili malpractice (cattive condotte); enorme quantità forse non va di pari passo con buona qualità.
L'editoria scientifica dovrebbe essere ripensata dalle sue fondamenta.
In realtà è (dovrebbe essere) un'attività prevalentemente di servizio in quanto è di supporto alla carriera dei professionisti sanitari e di sostegno all'innovazione farmaceutica all'industria alimentare, alle tecnologie sanitarie.
Industria farmaceutica, industria alimentare, produttori di bio-tecnologie sanitarie sono di gran lunga i principali finanziatori delle ricerche; il che finisce col creare un circolo perverso dove i beneficiari dei finanziamenti, i ricercatori, hanno bisogno di fare ricerca per pubblicare e per fare carriera. Quindi alimentano il mercato dell'editoria scientifica inondandole di articoli.
Spesso le medesime grandi imprese controllano tutto il circuito.
Accettando che tutta questa massa di lavori fosse basata su dati validi e attendibili, comunque saremmo in presenza di una pericolosa epidemia editoriale, una “infodemia” così come l’ha definita il direttore generale dell'OMS Tedros Ghebreyesus: l'eccesso di informazione ha fatto si che, a seguito dello scoppio della pandemia, già solo nel novembre 2020, fosse pubblicato un articolo sul COVID-19 ogni 3 minuti. Si andava avanti a oltre 450 articoli scientifici al giorno; e tutti sul Covid-19.
Con il passaggio alle pubblicazioni online le cose sono anche peggiorate, se si può; nel senso che non c'è più un numero limitato di articoli da pubblicare ogni numero di rivista come invece una rivista a stampa ha il dovere di avere, se no altro per ragioni economiche; e non c'è neanche un numero massimo di pagine a cui un autore deve limitarsi. Oggi con l’online si può scrivere a dismisura.
Si è in presenza di una vera e propria cascata epidemica di notizie a volte falsamente scientifiche
Che il mercato si sia ibridato e diversificato, contaminando di fatto la scienza, si osserva anche dal fatto che i grandi editori di iniziative scientifiche non seguono linee culturali particolari, non hanno visioni della scienza, ma semplicemente si occupano di pubblicare qualsiasi cosa possa rendere il loro vantaggio economico. Sono imprese come le altre che pensano soilo a rimpinguare i bilanci e aumentare gli utili.
Ad esempio Cochrane che è la rete idealmente più legata all'approccio della medicina basata sulle evidenze perché vorrebbe raccogliere solo ricerche che hanno prove di validità di livello molto elevato, in realtà pubblica anche libri e riviste di omeopatia.
Preoccupa che perseguire il vantaggio economico si correla alla logica di estensione del reparto commerciale dell'industria del farmaco.
Pubblicare costa molto caro. Quindi gli autori non solo corrono per pubblicare, spesso pagano per essere pubblicati.
A volte vengono richieste migliaia di euro all'autore.
Un collega che ha diretto una bella iniziativa innovativa in una Asl del nord Italia, taccio il nome perché non gradirebbe questa messa a conoscenza, si è visto chiedere oltre 4000 euro per potere pubblicare i risultati dell'esperienza che ha diretto. Non potendo beneficiare di finanziatori, finisce che quella iniziativa benemerita e innovative non trova la possibilità di essere diffusa nelle diverse reti di banche dati perché l'autore non ha i mezzi finanziari per pagarselo.
Ora il caso vuole che questa persona è onesta e non si vende. Ma se fosse disposto a rivedere i propri dati, potrebbe darsi che una qualche industria del farmaco o impresa di biotecnologie mettesse la mano al portafoglio per pagargli la pubblicazione. Senza sponsor, senza soldi, non pubblichi, se non pubblichi non acquisisci punti, senza punti non fai carriera.
Il panorama è veramente triste e a volte avvilente e crea un senso di sfiducia che finisce col danneggiare moltissimo sia la scienza sia l'interesse della democrazia, perché la gente ha bisogno di sapere come le cose stanno ed è bene che quello che viene offerto alle loro cure sia la soluzione migliore possibile. Ma se i dati su cui si basano le evidenze migliori sono falsati o si riferiscono a gruppi di popolazione che non rappresentano il caso della persona da trattarsi e gli vengono propinate soluzioni che sono basate su errori concettuali o metodologici è evidente che la sua possibilità di guadagnare salute si riduce.
Per fortuna c’è da augurarsi che la gran parte dei lavori siano impeccabili; praticamente tutte le società scientifiche hanno codici di comportamento che enfatizzano l’etica e la trasparenza; ed è sicuro che molti ricercatori siano devoti alla scienza. Ma il mercato che li circonda, e di cui inevitabilmente se vogliono pubblicare vengono a fare parte, funziona con le regole del mercato, non con quelle della scienza.
Con gli inizi degli anni '90 nasce la più grande biblioteca online che accoglie gran parte delle pubblicazioni scientifiche, PubMed - Medline a cui tutti possono accedere e trovarvi il materiale scientifico accreditato che ha superato le revisioni che consentono di giudicare qualitativo il materiale lì postato
Da allora la medicina basata sulle evidenze è diventata una specie di pietra angolare con cui confrontare l'esperienza clinica nel singolo sanitario e condividere con i malati le decisioni sulla cura basate sulle migliori evidenze.
Una grande operazione di elevamento della qualità delle cure offerte dai diversi sistemi curanti.
Il disastro è che dall'inizio degli anni '90 ad oggi si sono accumulati milioni di articoli scientifici pubblicati da una miriade decrescente di riviste scientifiche, o a volte apparentemente scientifiche, e si è arrivati alla situazione paradossale che sulle medesime materie appaiano diverse Linee-Guida tutte basate sulle evidenze anche se tra loro contradditorie.
Questo bias cognitivo accade perché nelle ricerche quasi mai viene spiegato con correttezza il tipo di popolazione studiata, le sue caratteristiche, non solo demografiche o antropologiche ma anche direttamente cliniche o sulle motivazioni alla cura sulle quali vengono poi esercitate le iniziative mediche e che conseguentemente vengono poi studiate e repertoriate come basate sulle evidenze. Raramente sono targettate, dettagliate, tailorate sulla popolazione specifica studiata mentre invece vengono poi presentate valide per tutta la popolazione generale creando un bisa scognitivo pazzesco.
Ad esempio un servizio opera una selezione all’accesso per identificare chi assistere oppure no; conduce su quegli assistiti la ricerca, poi diffonde i dati ottenuti da quel campione come dati validi per la popolazione generale.
La bella idea della medicina basata sull'evidenza è stata nel corso di questi anni in maniera crescente e tumultuosa dirottata al punto che è lecito chiedersi se sia ancora possibile fidarsi di un'offerta così abbondante fatta da fonti molte volte assai poco credibili.
Infatti spiega De Fiore che numerose sono le ricerche che si sono rivelate con errori o false, cioè basate su bias di ricerca con dati di bassa qualità o manipolati che portano evidentemente a conclusioni che non sono affatto basate sulle evidenze ma che servono a dare credibilità all'autore e eventualmente al finanziatore della ricerca che è alla base della pubblicazione.
Molte volte gli autori di un articolo sono tanti, un comitato di redazione, e non è detto che siano effettivamente coloro i quali hanno concretamente redatto gli articoli. Si formano dei comitati di redazione composti da un numero rilevantissimo di autori alcuni dei quali possono trovarsi lì solo per sfruttare la pubblicazione o per fare aumentare la credibilità del contenuto o per altre ragioni. De Fiore offre al lettore una dettagliata bibliografia a conferma di questi metodi.
La questione del publish or perish (pubblica o sparisci) è drammatica.
Per fare carriera devi pubblicare e nell'epoca che vorrebbe essere della qualità e quindi della precisione e dell'esattezza in realtà è la massificazione della scienza al più basso livello possibile, più veloce, più economico, più garantito possibile, dove quel che conta non è la qualità dell'innovazione e dell’importanza ma il numero di ricerche. Più pubblichi più fai punteggio e per questo succede che un numero crescente di ricercatori pubblichino ogni cosa e ovunque spesso pagando anche cifre rilevanti pur dl essere pubblicati: publish or parish, appunto.
Il numero delle pubblicazioni o delle loro citazioni finiscono col determinare il valore della persona autrice: altro parametro della massificazione.
In realtà non esistono scorciatoie fatte di numeri per valutare la qualità della ricerca. un autore che facesse una ricerca fondamentale ma non producesse più di uno o due articoli di resoconto godrebbe di pochissima stima.
I furbetti invece fanno ricerche facili e le spezzettano in tante parti in modo da ricavarne più articoli, fanno il cosiddetto slice salami.
Il bosco delle pubblicazioni è pieno di lupi che cercano di trarre vantaggio personale di carriera o economico.
Per poter innalzare il valore personale finisce che le persone tendono a citare se stessi sempre più spesso oppure a citare i colleghi di un circolo nel quale ci si sostiene a vicenda.
In un recente simposio un collega di un certo peso ha citato solo 2 autori, richiamandoli ognuno una decina di volte. Uno era Freud, l’altro lui stesso! Ovvio che questo modello è eticamente molto discutibile.
Purtroppo però è un metodo diffuso perché più si è citati e più si diventa credibili, aumenta l’impact factor.
Purtroppo gli studi dimostrano che l'italia è, assieme alla Colombia, l'Egitto, l'Indonesia, l'Iran, la Malesia, il Pakistan, la Romania, la Russia, l’Arabia Saudita e la Thailandia, una nazione dove il fenomeno delle auto-citazioni è più elevato.
Si potrebbe dire che i ricercatori italiani sono più narcisisti di quelli degli altri Paesi Occidentali e perciò si inabrierebbero di se stessi, oppure che hanno trovato una scorciatoia eticamente discutibile per aumentare il loro valore apparente.
La scienza è il luogo nel quale si possono trovare le risposte a qualcuna delle tante incertezze che caratterizzano la vita in generale e la condizione clinica in particolare.
Ma in un bosco siffatto, con così tanti bias cognitivi e così diffuse pratiche scorrette ci si può veramente riferire con fiducia di avere le risposte che si desiderano?
La produzione scientifica è il principale indicatore di performance accademica e la pressione a pubblicare è elevatissima soprattutto per chi vuole fare carriera. Questo può portare a scorciatoie verso la pubblicazione a trovare delle soluzioni anche verso riviste poco accreditate, l'importante è pubblicare tant'è che durante il periodo di studio 2004- 2022 condotto da un gruppo del British Medical Journal guidato da Candal-Pedreira C. Ross JS, Ruano-Ravina pubblicato dal BMJ nel giugno 2022 (Retracted papers originating from paper mill: cross-sectional study, BMJ 2022; 379:e071517) ha repertoriato 58.278.163 articoli: Di essi 33741 sono stati successivamente ritirati dopo l’avvenuta pubblicazione per le motivazioni più diverse, fatti con vizi sostanziali, frode, plagio o con dati di poco valore o manipolati, in pratica disonesti. Nel 2019 vi è stato il picco di questa malpractice: 10,6 articoli ogni 100mila sono stati ritirati (Candal Pedreira, BMJ 2022).
Tra i molteplici aspetti disorientanti ma che merita particolare attenzione vi è che la ricerca scientifica trascura praticamente totalmente i medici di medicina generale e i pediatri di libero scelta che invece sarebbero coloro i quali confrontano il maggior numero di casi della quotidianità. Impegnati nella quotidianità clinica praticamente mai partecipano come autori di ricerca.
Perché costoro vengono trascurati? perché la ricerca parte dagli interessi dei ricercatori e non dalle esigenze dei clinici. I clinici di frontiera sono considerati come i portatori di acqua nel ciclismo, compilano al più schede predisposte dai ricercatori.
Pure questo è un grandissimo problema che segnala come tra il mondo della ricerca il mondo della pratica vi sia un gap difficilmente superabile.
La ricerca vale per se stessa, serve per fare ricerche e pubblicare le ricerche. Mentre chi fa la pratica clinica vede i casi nella maniera tradizionale se si vuole un po' sporca ma di chi ha la pratica come vettore principale.
Sono molto ingaggiato nel tentativo di fare diventare i clinici di base attori attivi nella ricerca anche per motivi personali che voglio condividere: poco dopo la partenza dei primi servizi del territorio si fece una ricerca sull'inserimento di bambini “handicappati” (si diceva così) come Regione Emilia Romagna era il ‘73.
Da allora ho sempre pensato che la ricerca dovesse servire alla clinica e quindi dovesse nascere da una domanda clinica.
La scienza è un motore, il motore principale, dello sviluppo sociale. Grazie alla ricerca scientifica si sono ottenuti risultati straordinari che hanno migliorato le condizioni di vita delle persone e delle comunità. La scienza come metodo per esplorare lo sconosciuto, allargare il raggio della conoscenza e vedere aumentare i punti di contatto col mistero.
Da quando nel 1992 avvenne la straordinaria rivoluzione nel campo delle scienze con la istituzione di PubMed Medline, una banca dati che raccoglie tutto il materiale scientifico peer review, è avvenuto un effetto valanga che lascia attoniti gli stessi scienziati e che pone inevitabilmente esigenze di bonifica e regolamentazione.
L’intenzione era di disboscare la scena scientifica dai tanti bla-bla che non hanno basi di evidenza e creano false cognizioni non solo nella popolazione generale ma anche tra i professionisti.
Dalla idea di catalogare all'interno di questa banca dati solo le ricerche che potessero avere una elevata evidenza scientifica tale da poter ispirare i comportamenti clinici in tutto il mondo, si è arrivati alla circostanza per cui oggi vi sono repertoriati circa 9 milioni di articoli scientifici che, pur se suddivisi per le diverse discipline, fanno sì che nel campo della salute mentale si sia in presenza dell'esigenza di conoscere circa un milione di articoli scientifici (chi volesse essere davvero update dovrebbe saperli!).
Il che è palesemente una distorsione.
Un fenomeno simile è avvenuto anche nelle altre grande banche-dati, seppur minori di PubMed, quindi sì secondarie ma pure di grande valore e significato come Psycinfo o Cinhal; in esse pure si è nella fattispecie di repertoriare milioni di articoli scientifici.
La banca scientifica di APA, che è la principale società scientifica in materia di salute mentale (di cui sono socio), repertoria in PsycNet oltre 5.400.000 articoli scientifici tutti nell'ambito della psicologia, psichiatria, salute mentale.
La ricerca scientifica è il motore per la prevenzione delle malattie, per l’avanzamento della qualità e delle efficacia delle cure e, più in largo, della civiltà. Vi lavorano alcune fra le migliori menti che ha l’umanità. Evviva quindi l’espansione delle attività di ricerca; evviva i governi che la sostengono e gli istituti di ricerca che la favoriscano.
Una massificazione e una mercantilizzazione come è accaduto negli ultimi decenni rischiano di non giovare alla sua qualità.
Le regole del mercato fatte di appeal, commercializzazione, guadagno, speculazione non le giovano.
Chi ama la scienza vorrebbe che fosse sempre seria impegnata austera e gioiosa, motivata dal desiderio di ampliare il suo raggio.
Non c’è più acerrimo nemico di chi sofistica il vino del produttore di vino di qualità; sente il bisogno di pulire il campo per mantenere non solo alta la credibilità ma per difendere l’integrità professionale.
Lungi dall’essere un libro contro la scienza o che si diverte a irridere ai suoi “peccati”, Sul pubblicare in medicina è un inno al valore e alla necessità di crescere ancor di più il valore della scienza.
Sul pubblicare in medicina di De Fiore è' un libro che dovrebbe essere messo a disposizione nelle bibliografie dei corsi di laurea in medicina e nelle altre professioni sanitarie e che dovrebbe essere conosciuto e dibattuto in tutti i contesti che si occupano di pianificazione della salute.
Più in generale è utile anche a tutta la popolazione perché la qualità della scienza è strumento per migliorare la qualità della vita di tutta la popolazione e per diffondere la democrazia.
(citazione Nizzoli Umberto, in www.umbertonizzoli.it)