Come (non) condurre una revisione sistematica: il caso di bevacizumab e ranibizumab

L’esempio di una recente revisione induce a riflettere sull’importanza del metodo nel condurre una revisione sistematica affidabile

Premessa

E’ stata recentemente pubblicata sull’International Journal of Ophthalmology¹ una revisione sistematica della letteratura che confronta il profilo di efficacia e sicurezza di bevacizumab e ranibizumab nel trattamento della degenerazione maculare senile. Zhang e colleghi hanno raccolto i dati da 4 studi controllati e randomizzati e 11 studi osservazionali per un totale di oltre 4000 pazienti trattati, concludendo che l’efficacia dei trattamenti è sovrapponibile, ma che il ranibizumab è più sicuro del bevacizumab. Per quanto riguarda gli eventi di infiammazione oculare gli autori hanno trovato infatti per il ranibizumab un rischio relativo di 0,45 (limiti di confidenza al 95% da 0,23 a 0,89), per la trombosi venosa un rischio relativo di 0,27 (limiti di confidenza al 95% da 0,08 a 0,89). Tale revisione sistematica presenta tuttavia numerosi limiti metodologici, riassunti nel presente articolo.

Ricerca della letteratura non aggiornata

Il periodo di ricerca della letteratura si esaurisce a ottobre 2012, escludendo dall’analisi tra l’altro gli studi clinici randomizzati MANTA² e GEFAL³, e limitando l’utilizzo dei dati dello studio IVAN⁴, tra i più importanti in quanto studio multicentrico condotto in Gran Bretagna e durato 2 anni, alle sole analisi preliminari pari a un anno di follow up.

Metodologia di metanalisi criticabile

L’analisi statistica (la cosiddetta metanalisi) è stata condotta con metodologie criticabili. Questa revisione sistematica combina infatti tra loro i risultati provenienti da studi controllati e randomizzati con quelli provenienti da studi osservazionali. Alcuni autori raccomandano di escludere gli studi osservazionali dalle metanalisi, altri consigliano di includerli solo se in presenza di una documentata e valida motivazione (per esempio assenza di studi controllati e randomizzati, dimensione campionaria/lunghezza del follow up degli studi controllati e randomizzati insufficiente a osservare l’effetto in studio, eccetera): in ogni caso l’analisi separata dei due tipi di studio è sempre fortemente consigliata⁵. Nel caso limite in cui si decida di combinare studi controllati e randomizzati e studi osservazionali sarebbe quantomeno necessario utilizzare una metodologia appropriata e conservativa, l’analisi a effetti casuali, che produce intervalli di confidenza più ampi di quelli prodotti con l’analisi a effetto fisso in virtù della maggiore eterogeneità presente tra le due tipologie di studio. Nel caso specifico, per la morte per ogni causa e l’infiammazione oculare gli autori hanno utilizzato l’analisi a effetto fisso, nonostante abbiano combinato studi osservazionali con studi controllati e randomizzati.

Mancanza di analisi di sensibilità e dell’influenza

Manca completamente una qualsivoglia analisi della sensibilità e dell’influenza, la prima che valuti la robustezza dei risultati in base alla scelta dei diversi metodi di analisi (effetto fisso rispetto a effetti casuali) e la seconda che valuti l’influenza dei singoli studi inclusi sulla stima totale.

Dati rianalizzati per infiammazione oculare e trombosi venosa

Per quanto riguarda l’infiammazione oculare, rianalizzando i dati con la metodologia a effetti casuali si ottiene un rischio relativo di 0,60 (limiti di confidenza al 95% da 0,18 a 2,07), statisticamente non significativo (visti i limiti di confidenza che passano attraverso l’1) e clinicamente inconcludente. Inoltre, un’analisi della sensibilità e dell’influenza mostra che il risultato finale è fortemente condizionato da un unico studio, quello di Sharma e colleghi⁶: tale studio è osservazionale, presenta delle stime non aggiustate per i potenziali fattori di confondimento, utilizza pazienti con indicazioni di uso diverse dalla degenerazione maculare senile ed è finanziato dall’azienda prouttrice di ranibizumab. Escludendo tale studio si ottiene un rischio relativo di 0,91 (limiti di confidenza al 95% da 0,37 a 2,25), né statisticamente né clinicamente significativo. Per questi motivi è conservativo ritenere che la riduzione del rischio di infiammazione oculare a favore di ranibizumab trovata nella revisione sia quantomeno inattendibile.
Per quanto concerne invece la trombosi venosa il risultato è dovuto alla combinazione di due studi clinici randomizzati, CATT⁷ e IVAN⁸, il secondo dei quali presenta dati incompleti a causa della ricerca di letteratura non aggiornata. Rianalizzando il rischio di eventi di trombosi venosa utilizzando i dati di IVAN⁹ più aggiornati, con follow up a 2 anni, si ottiene un rischio relativo di 0,43 (limiti di confidenza al 95% da 0,16 a 1,07), né statisticamente né clinicamente significativo. Va infine ricordato che l’intera metanalisi andrebbe ricalcolata per ogni evento includendo gli studi controllati e randomizzati pubblicati nel 2013.

Il pericolo della diffusione di revisioni sistematiche di bassa qualità

Le carenze di questa revisione portano a pensare a un processo di peer review di scarsa qualità da parte dell’International Journal of Ophthalmology: la sua pubblicazione su una rivista indicizzata in Medline la rende tuttavia disponibile ai ricercatori di tutto il mondo. Può capitare così che tale revisione venga citata nel documento sottoscritto da 16 esperti e inviato al ministro della salute Beatrice Lorenzin nella quale si esprimono criticità sul parere del Consiglio Superiore di Sanità (CSS) in merito all’equivalenza dei due farmaci¹⁰. Il CSS si era pronunciato infatti in data 15 aprile 2014 concludendo che i due farmaci “non presentano differenze statisticamente significative dal punto di vista dell’efficacia e della sicurezza nella terapia delle degenerazione maculare senile”¹¹. Inoltre in data 5 maggio 2014 sono stati resi noti i risultati preliminari della revisione sistematica condotta dalla Cochrane Collaboration, organizzazione nota nel mondo per la produzione di revisioni sistematiche indipendenti e di elevata qualità metodologica, secondo i quali non ci sarebbero differenze nel profilo di sicurezza tra i due farmaci nella cura della degenerazione maculare senile¹² (rischio relativo 1,11 per mortalità e 1,05 per eventi avversi gravi, entrambi statisticamente non significativi). Per la revisione Cochrane, al contrario di quella condotta da Zhang, è disponibile il protocollo dettagliato dello studio¹³ contenente l’elenco degli outcome principali e secondari.
Per una sintesi esauriente dell’intera vicenda si rimanda comunque al numero di maggio 2014 di Focus Farmacovigilanza.