FARSI UN’IDEA

Documentazione per la ricerca

L’attività di ricerca è una componente essenziale delle professioni sanitarie: medici, infermieri, farmacisti, fisioterapisti, dirigenti, non esiste un ambito che possa prescindere da un’attenzione costante al miglioramento professionale, che trae grande vantaggio dai risultati di una ricerca utile e condotta in modo metodologicamente rigoroso.

Però, negli ultimi anni e soprattutto in esito di una serie di studi pubblicati su una rivista di grande prestigio come il Lancet, è stato puntato il dito sullo spreco di risorse che riguarda anche gli investimenti nella ricerca. Fino all’85% del denaro speso per disegnare e svolgere trial potrebbe essere sperperato.

I fattori che convergono a determinare un quadro così preoccupante sono diversi:

• molti trial sono mal concepiti oppure il disegno di studio non è coerente con l’obiettivo che si intende raggiungere;
• i ricercatori non si sono premurati di considerare e rispettare i requisiti regolatori, oppure il loro lavoro è stato gravato da un insieme di procedure amministrative oneroso e sostanzialmente inutile;
• troppi studi non sono registrati nelle banche dati che aiutano a tenere traccia dell’avvio, dello svolgimento e delle conclusioni dei trial e, in linea con questa mancanza di trasparenza, un’ampia quota di essi non è pubblicata sulle riviste accademiche;
• i rapporti prodotti in conclusione di molte ricerche sono poco comprensibili, di cattiva qualità o non sono trasferibili alla pratica assistenziale;
• quello che è forse il punto principale, però, è che troppe volte l’interrogativo di ricerca al quale i nuovi studi avviati vogliono dare risposta è futile, di scarsa o nulla importanza per i malati oppure altri trial si sono già posti la stessa domanda e, pertanto, ripetere uno studio analogo è del tutto superfluo.

Farsi un’idea degli sprechi nella ricerca

Il dossier sugli sprechi nella ricerca pubblicato sul Lancet è articolato in diversi importanti contributi, alcuni dei quali elencati di seguito.
Macleod MR, Michie S, Roberts I, Dirnagl U, Chalmers I, Ioannidis JP, Salman RA, Chan AW, Glasziou P. Biomedical research: increasing value, reducing waste. Lancet. 2014;383(9912):101-4.
Salman RA, Beller E, Kagan J, Hemminki E, Phillips RS, Savulescu J, Macleod M, Wisely J, Chalmers I. Increasing value and reducing waste in biomedical research regulation and management. Lancet 2014;383(9912):176-85.
Chalmers I, Bracken MB, Djulbegovic B, Garattini S, Grant J, Gülmezoglu AM, Howells DW, Ioannidis JP, Oliver S. How to increase value and reduce waste when research priorities are set. Lancet 2014;383(9912):156-65.

Un articolo di riferimento sul problema della qualità della ricerca è quello di Douglas Altman uscito nel 1994 sul BMJ. E’ disponibile il PDF tramite la National library of medicine (Pubmed) a questo link.

Altman DG. The scandal of poor medical research. BMJ 1994;308(6924):283. (sito del BMJ)

Quando Archibald Cochrane scrisse il proprio libro (Random reflection on health services) stigmatizzando l’establishment accademico, responsabile di non sintetizzare in modo sistematico I risultati degli studi controllati randomizzati (era il 1979), ogni giorno erano pubblicati circa 15 nuovi trial. Oggi la situazione è diversa e già nel 2010 un articolo che ha fatto scalpore indicava in 75 I nuovi studi che quotidianamente erano pubblicati sulle riviste internazionali (Bastian, Glasziou, Chalmers, 2010).

Chi lavora nella sanità si trova dunque nella difficile situazione di dover restare aggiornato su quanto viene pubblicato e, allo stesso tempo, di vigilare sulla qualità e l’affidabilità delle informazioni proposte. La serie di articoli pubblicati sul Lancet prima citata aggiunge però ulteriori perplessità riguardo la validità delle fonti primarie: purtroppo, molto spesso gli articoli originali che documentano metodi e risultati di progetti di ricerca sono poco utili proprio perché gli studi che sono alla base sono stati condotti in modo non rigoroso, su popolazioni esigue o poco rappresentative. Non è infrequente che gli studi subiscano condizionamenti che possono originare sia dall’influenza di chi ha finanziato la ricerca, sia dagli stessi autori, interessati per esempio a giungere a risultati “positivi” che possono ottenere di essere pubblicati con maggiore facilità.

Il progetto Testing treatments promosso da Sir Iain Chalmers – un ricercatore inglese che è stato, agli inizi degli anni Novanta del secolo scorso, tra i fondatori della Cochrane Collaboration – spiega perché ci si dovrebbe avvicinare con prudenza a un articolo isolato reperito in letteratura: “un singolo studio raramente può fornire prove sufficienti per indirizzare le scelte terapeutiche in ambito sanitario.” La valutazione della letteratura preliminare all’avvio di un percorso di ricerca – come anche a qualsiasi cambiamento nelle abitudini cliniche – dovrebbe essere basata sulla revisione sistematica di tutte le evidenze considerate rilevanti e affidabili: prove di efficacia, di sicurezza o di danno. “La mancata considerazione dei risultati provenienti dalle revisioni sistematiche – conclude Testing treatments – ha causato danni evitabili ai pazienti e uno spreco di risorse per la sanità e la ricerca.”

Fare ricerca è importante ma può pertanto rivelarsi un esercizio inutile: occorre interrogare la ricerca già svolta sintetizzata in revisioni sistematiche che possano chiarire a quali interrogativi sia già stata data risposta e riguardo quali, invece, sia necessario cercare ancora.

Farsi un’idea della Cochrane e del progetto Testing treatments

L’articolo sulla numerosità degli studi pubblicati:
Bastian H, Glasziou P, Chalmers I. Seventy-five trials and eleven systematic reviews a day: how will we ever keep up?. PLoS medicine. 2010 Sep 21;7(9):e1000326.

Cos’è la Cochrane Collaboration?
La scheda della National library of medicine.
La storia della Cochrane Collaboration sul sito Cochrane.
Il progetto Testing treatments in italiano.

Come premessa a un progetto di ricerca, le sintesi di letteratura sono dunque ciò che possiamo trovare di più utile (Cook, 1997). Eppure, nonostante le revisioni sistematiche e i rapporti di health technology assessment abbiano un impatto potenzialmente molto maggiore sulla pratica clinica o sulle strategie di sanità pubblica, la letteratura scientifica offre ancora un numero limitato di revisioni sistematiche e le rassegne di tipo narrativo sono una tra le forme prevalenti di pubblicazione. La differenza risiede soprattutto nel lavoro preparatorio, durante il quale gli autori cercano e selezionano le fonti da considerare sulla base di criteri predefiniti ed espliciti. “Può accadere che diverse revisioni sistematiche che rispondono ad una domanda apparente identica sui trattamenti possano giungere a conclusioni differenti – spiega Chalmers in Testing treatments. I motivi possono essere molteplici: potrebbe essere dovuto al fatto che i quesiti clinici sono in realtà leggermente diversi o che i metodi utilizzati dai ricercatori per riassumere le informazioni siano dissimili, o che i ricercatori abbiano enfatizzato diversamente i risultati ottenuti nelle revisioni sistematiche. Per questo, è importante individuare le revisioni che rispondano al quesito clinico di nostro interesse, che abbiano la maggiore probabilità di essere state eseguite in modo da limitare gli effetti degli errori sistematici e del caso, e di giungere a conclusioni corrette che riflettono le prove di efficacia presentate.”

La selezione dei lavori da includere in una revisione è un aspetto molto delicato, forse il più importante nell’intero processo. Per cautelarsi, quasi sempre gli autori di una systematic review ripetono individualmente il percorso, così che competenze ed esperienza di ciascuno siano in certa misura messe alla prova dal lavoro in team. E’ una metodologia raccomandata anche dalla guida Cochrane per i revisori. Una procedura di questo tipo è consigliabile anche per i gruppi che intendessero avviare un nuovo progetto di ricerca: definito l’interrogativo, diversi “autori” dovrebbero verificare individualmente la letteratura disponibile sull’argomento, confrontando successivamente l’esito delle ricerche.

La ricerca delle revisioni sistematiche può essere eseguita con successo anche utilizzando l’interfaccia più conosciuta dai professionisti sanitari: Pubmed. Sono disponibili diversi tutorial e si può fare riferimento a un’esperienza condotta da ricercatori esperti della McMaster University, in Canada (Montori, 2005).

Farsi un’idea sulle revisioni sistematiche della letteratura

La guida Cochrane per i revisori: http://training.cochrane.org/handbook

Un classico articolo sull’importanza delle revisioni sistematiche:
Cook DJ, Mulrow CD, Haynes RB. Systematic reviews: synthesis of best evidence for clinical decisions. Annals of internal medicine. 1997 Mar 1;126(5):376-80.

Il lavoro della McMaster University sull’uso di Pubmed per il reperimento di revisioni sistematiche:
Montori VM, Wilczynski NL, Morgan D, Haynes RB. Optimal search strategies for retrieving systematic reviews from Medline: analytical survey. Bmj 2005;330(7482):68.

In questa breve panoramica sulla documentazione per la ricerca non si può non fare cenno a un aspetto importante e attuale che riguarda sia i produttori di ricerca sia gli utilizzatori della stessa. Si tratta dell’accesso ai dati. Come hanno fatto rilevare anche gli autori delle rassegne sugli sprechi in sanità, una quota troppo elevata dei risultati della ricerca non è pubblicata oppure lo è in maniera inadeguata. La comunità scientifica si è dotata di linee-guida costantemente aggiornate che possono guidare chi produce documenti di ricerca e chi ne fruisce: CONSORT, STARD, PRISMA, ARRIVE (sulla ricerca condotta su animali), sono solo alcune delle checklist costruite con l’obiettivo di garantire che gli standard qualitativi dei rapporti di ricerca siano mantenuti elevati. La descrizione non esauriente o inaccurata dei metodi di studio può tradursi nell’impossibilità di replicare le ricerche descritte. Altro problema importante è la determinazione di esiti di ricerca che, a posteriori, possano permettere un confronto fra gli studi eseguiti (Gargon, 2015). Questo aspetto è al centro dell’attività della COMET Initiative.

Una ricerca migliore significa anche una ricerca più accessibile, riportata in maniera più completa e fruibile, correttamente collegata ai dati grezzi raccolti nel corso degli studi.

L’attenzione che la comunità dei ricercatori sta prestando ai periodici pubblicati in modalità open access è un segnale positivo: forse non è “la soluzione” (dopotutto le istituzioni si trovano comunque a dover sostenere il costo della disseminazione della ricerca), ma è un forte indicatore di una forte domanda di trasparenza e accessibilità alle conoscenze scientifiche (Glasziou, 2014).

Farsi un’idea sugli strumenti per la qualità della ricerca

Una panoramica sulla non-pubblicazione della ricerca come fonte di sprechi:
Glasziou P, Altman DG, Bossuyt P, Boutron I, Clarke M, Julious S, Michie S, Moher D, Wager E. Reducing waste from incomplete or unusable reports of biomedical research. Lancet 2014;383(9913):267-76.

Guida alle principali checklist per la documentazione della ricerca:
Moher D, Liberati A, Tetzlaff J, Altman DG, Prisma Group. Preferred reporting items for systematic reviews and meta-analyses: the PRISMA statement. PLoS medicine 2009;6(7):e1000097.
Schulz KF, Altman DG, Moher D. CONSORT 2010 statement: updated guidelines for reporting parallel group randomised trials. BMC medicine 2010;8(1):18.
Gargon E, Williamson PR, Altman DG, Blazeby JM, Clarke M. The COMET initiative database: progress and activities update (2014). Trials 2015;16(1):515.
Kilkenny C, Browne WJ, Cuthill IC, Emerson M, Altman DG. Improving bioscience research reporting: the ARRIVE guidelines for reporting animal research. PLoS biology 2010;8(6):e1000412.
Glsziou P. The role of open access in reducing waste in medical research. PLoS medicine. 2014 May 27;11(5):e1001651.