REVISIONES SISTEMATICAS Y META-ANALISIS

Regresar a Tutorial MBE

Las revisiones sistemáticas (también llamadas "overviews") son investigaciones que analizan los resultados de estudios concurrentes según un protocolo previamente especificado, para encontrar una respuesta concluyente a alguna pregunta de interés asistencial o sanitario. Se denominan "sistemáticas" porque aplican una serie de herramientas del método científico para minimizar los posibles sesgos. Este es el aspecto fundamental que diferencia este tipo de síntesis de las tradicionales revisiones "narrativas" (las clásicas actualizaciones) que se basan en criterios muchas veces extremadamente subjetivos para arribar a conclusiones y recomendaciones finales (5).

En los últimos años, las revisiones sistemáticas han surgido como una estrategia de invalorable utilidad para el profesional en Salud, ya que permiten sopesar la enorme cantidad de información conflictiva disponible y obtener repuestas concretas a preguntas de índole asistencial o sanitario. Estas preguntas suelen estar referidas a un contexto específico (5) (CUADRO Nº1):

Las revisiones sistemáticas pueden a su vez ser "cualitativas" o "cuantitativas". Un meta-análisis es un tipo particular de revisión sistemática de estudios, que no se limita a resumir los hallazgos cualitativamente, sino que utiliza procedimientos estadísticos para expresar los resultados en forma cuantitativa (5) (7) . Las revisiones sistemáticas son investigaciones en sí mismas, sólo que los sujetos de estudio no son individuos sino a su vez otras investigaciones, por lo que el meta–análisis se ha dado en llamar "estudio de estudios" (1) .

UTILIDAD DEL META-ANALISIS

Si bien el gran ensayo clínico randomizado o "mega–ensayo" (6) (12) sigue siendo el "standard de oro" para valorar la efectividad de distintas conductas terapéuticas, las diferencias en estudios clínicos suelen ser sutiles o moderadas y pasan desapercibidas para estudios con tamaños muestrales pequeños. Aún diseñando un mega-ensayo, su realización puede ser poco factible o sus conclusiones pueden llegar demasiado tarde para problemas urgentes. La principal ventaja del meta-análisis es precisamente salvar estas dificultades, sumando las potencias estadísticas de varios estudios al analizarlos en conjunto. De esta manera, permite detectar diferencias de efectos pequeñas o en subgrupos de pacientes. Además, al combinar los resultados de todos los estudios disponibles acerca del mismo tema, el meta-análisis salva otro gran conflicto de la práctica médica, transformando las conclusiones de estudios discordantes en recomendaciones concluyentes y claras para la acción (13) (14) (15) .

Las principales utilidades del meta–análisis consisten entonces en sus dos funciones específicas que son: resumir información y reconocer patrones. Pero su utilidad no se limita al médico asistencial, sino que también orienta a los investigadores al resumir la información disponible y guiar la elaboración de hipótesis que merecen ser testeadas, optimizando de esta manera los recursos destinados a la investigación. Según estos criterios, podrían enumerarse algunas indicaciones y contraindicaciones para desarrollar un meta-análisis (16) (CUADROS Nº 2 y 3):

ETAPAS EN LA REALIZACION DE UN META-ANALISIS

Para asegurar la obtención de conclusiones confiables, el emprendimiento de una revisión sistemática o un metanálisis requiere cumplimentar una serie de pasos (7) (17) basados es el método científico y análogos a las etapas necesarias en cualquier investigación, ya que de hecho son investigaciones en sí mismas.

· Un primer paso esencial para realizar un buen meta-análisis (al igual que para cualquier investigación) es formular la pregunta adecuada. Debido a lo laborioso que resulta un gran emprendimiento de este tipo, deben concentrarse los esfuerzos en preguntas que se refieran a temas prioritarios como efectos comunes de tratamientos ampliamente utilizados (especialmente si son costosos) para enfermedades frecuentes, o evaluaciones de avances tecnológicos o métodos de diagnóstico de reciente aparición, o bien factores pronósticos de eventos frecuentes o severos. Las mejores preguntas son aquellas que se refieren a algún tema para el cual existe incertidumbre colectiva, y cuya respuesta puede cambiar conductas futuras. Para formular correctamente una pregunta destinada a una revisión sistemática deben incluirse en la misma cuatro componentes: el tipo de sujeto o situación sanitaria o administrativa a estudiar, el tipo de estudio (terapéutico, diagnóstico, de riesgo, de pronóstico o preventivo), el tipo de control utilizado para la comparación y el resultado o efecto a considerar.

· La formulación precisa de la pregunta debe estar seguida del desarrollo de un protocolo en el que se planifique cuidadosamente qué estudios se incluirán, qué datos se extraerán, qué resultados se analizarán y cómo se procesarán.

· Focalizando la atención en la pregunta formulada, deben definirse (igual que en cualquier estudio clínico) los criterios de inclusión y exclusión relativos a los sujetos de estudio que se seleccionarán, en este caso los estudios que se incluirán en el metanálisis. Estos criterios deberán ser suficientemente amplios como para permitir la generalización de los resultados pero también suficientemente precisos como para ser verificables. Utilizar criterios de inclusión muy amplios generaría una gran heterogeneidad dentro de la revisión, mientras que criterios muy selectivos acabarían produciendo información relativa a subgrupos de pacientes que serían poco generalizables. Se ha sugerido también calcular de antemano el tamaño muestral requerido para asegurar que un metanálisis logre evidencia concluyente.

· Debe asegurarse el control de calidad de la evidencia que se analiza (preferentemente estudios randomizados si se trata de evaluar terapéuticas) para minimizar la posibilidad de sesgos, y que todos los estudios incluidos respondan a la misma pregunta. ( En este punto se deben aplicar todas las indicaciones que expusimos al hablar de la calidad de los distintos tipos de estudio). Deben incluirse todos los estudios relevantes disponibles al momento de efectuar el análisis, sin limitación por idioma original, y hayan o no sido publicados (18) (19).

· La estrategia de búsqueda constituye una de las mayores dificultades del meta-análisis, ya que muchos estudios que no llegan a detectar diferencias estadísticamente significativas nunca se publican, conduciendo a un sesgo de publicación que tendería a sobrestimar la respuesta a la terapéutica testeada. (Este sesgo de publicación se produce por 3 mecanismos: a) los investigadores son renuentes a publicar resultados negativos o no significativos, sobre todo si son de pocos casos; b) los financiadores de los trabajos, no siempre apoyan la publicación de resultados que no avalen positivamente sus productos; c) los editores de revistas científicas prefieren la publicación de trabajos con resultados positivos.)

Para obtener un meta-análisis confiable, debe realizarse el mayor esfuerzo para localizar toda la información disponible acerca de la pregunta en cuestión, que no se limite a las bases de datos habituales (Medline, EMBASE, Lilacs) sino que además de artículos publicados localice resúmenes, investigaciones no publicadas y aún datos originales provistos por investigadores. Esta es una ardua tarea, que incluye la planificación y ejecución de una búsqueda exhaustiva, y luego el análisis crítico de la información obtenida, ya sean datos primarios o secundarios ([2]0). La iniciativa internacional denominada Cochrane Collaboration , de la que ya hemos hablado, puede ayudar mucho para esa búsqueda.

INFORME E INTERPRETACION DE UN META-ANALISIS

La interpretación de un meta-análisis es una tarea compleja, fundamentalmente porque hemos sido entrenados para basar nuestra práctica en guías de criterios de atención y revisiones narrativas. El metanálisis no es en sí mismo un procedimiento o una serie de procedimientos estadísticos. La multiplicidad de métodos estadísticos involucrados en el meta-análisis es tal, que ha llegado a sugerirse la necesidad de realizar un metanálisis para arribar a un consenso acerca de cuáles son los más apropiados. Sin embargo, pueden resumirse algunos de los aspectos básicos de la interpretación de los resultados estadísticos de un meta-análisis como sigue (21) (22) :

· Los resultados de un meta-análisis (así como los de otros estudios clínicos) suelen expresarse en términos de riesgo, es decir de la probabilidad de ocurrencia de un determinado evento o resultado. Como toda probabilidad, los valores posibles se extienden entre 0 y 1 (o sea entre 0% y 100% de probabilidad de ocurrencia respectivamente). De esta manera se expresan las frecuencias de aparición de los eventos de interés para cada uno de los grupos tratados.

EJEMPLO:

Supongamos un ensayo clínico donde se compara la efectividad de la droga A (administrada al grupo A) versus la droga B (administrada al grupo B) para alcanzar el efecto E. Al final del estudio, la droga A se muestra efectiva en el 60% del grupo A y la droga B en 30% del grupo B; por lo que el riesgo de fracaso en cada grupo puede calcularse:

@ Riesgo en el grupo A = 1 – 0.6 = 0.4 (40%)

@ Riesgo en el grupo B = 1 – 0.3 = 0.7 (70%)

· Sin embargo, puede ser más interesante desde el punto de vista asistencial expresar estos resultados comparativamente, es decir mostrando la frecuencia del evento (o la efectividad) en un grupo en relación al otro. Para esto se utiliza el riesgo relativo (RR), que no es más que el riesgo del grupo experimental dividido por el riesgo del grupo control. (Puede utilizarse también el "odds ratio" (OR) o razón de productos cruzados con análoga interpretación.)

EJEMPLO:

En el mismo ensayo clínico utilizado en el ejemplo anterior, puede calcularse el riesgo relativo del grupo experimental con respecto al grupo control de la siguiente manera:

@ Riesgo relativo (RR) = riesgo del grupo A / riesgo del grupo B = 0.4 / 0.7 = 0.57

Cuando en un meta-análisis se analizan los resultados de múltiples estudios en forma combinada, se obtiene el OR combinado o unificado, que expresa la magnitud de las diferencias entre los grupos experimentales y controles, aplicando la prueba de Mantel-Haenszel para valorar la significación estadística de las diferencias detectadas.

· Esta comparación también puede expresarse como reducción del riesgo relativo (RRR), lo que equivale a estimar cuánto disminuye el riesgo de la complicación en cuestión, la exposición al tratamiento experimental en comparación al testigo. Este valor puede calcularse dividiendo la reducción del riesgo producida por el tratamiento en el grupo experimental por el riesgo del grupo control, o restando 1 – RR.

EJEMPLO:

Continuando con el mismo ejemplo, la RRR puede calcularse así:

@ Reducción del riesgo relativo (RRR) = reducción del riesgo en el grupo A / riesgo del grupo B = 0.3 / 0.7 = 0.43

@ O bien: 1 – RR = 1 - 0.57 = 0.43

· Si bien estas medidas comparativas son claramente asimilables, no contemplan un aspecto fundamental que está relacionado con la frecuencia absoluta de la complicación de interés; esto es de vital importancia práctica. Una disminución de un 10% en el riesgo de base de un evento que ocurre con un frecuencia del 99% es clínicamente mucho más trascendente (ya que equivale a reducir su riesgo de aparición al 90%) que una disminución de igual magnitud porcentual en un evento cuya frecuencia fuera del 5% (sólo disminuiría al 4.5%, lo cual es prácticamente despreciable). Este valor constituye lo que se denomina la reducción absoluta del riesgo (RAR), y se obtiene restando el riesgo en el grupo experimental del riesgo en el grupo control. También puede denominarse a esta cifra diferencia de riesgo o riesgo atribuible (RA), ya que mide cuánta disminución del riesgo puede atribuirse al tratamiento testeado.

EJEMPLO:

Puede calcularse la reducción absoluta del riesgo (RAR) o riesgo atribuible en el ejemplo mencionado así:

@ Reducción absoluta del riesgo (RAR) o riesgo atribuible (RA) = riesgo del grupo B - riesgo del grupo A = 0.7 - 0.4 = 0.3 (esto significa que el tratamiento experimental reduce un 30% el riesgo del evento en cuestión).

· Para transformar esta última medida en un valor algo menos abstracto y más comprensible con respecto una la situación clínica o sanitaria, existe lo que se denomina el número necesario a tratar (NNT). Como su nombre lo indica, esto expresa el número de pacientes que deben ser tratados con la terapéutica en cuestión para evitar la aparición del evento en un individuo (por ejemplo: un NNT de 10 significa que será necesario tratar 10 pacientes para observar el efecto deseable en uno de ellos). Su cálculo es muy simple: se obtiene dividiendo 1/RAR. Esta es una expresión bastante práctica y fácil de asimilar, ya que cuanto mayor sea el NNT menos evidente será la efectividad de la terapéutica en cuestión. Este concepto también puede extenderse a los efectos adversos de un tratamiento, al transformarlo en el número necesario para dañar (NND), que expresa análogamente el número de pacientes que será necesario tratar para que aparezca ese efecto adverso. (Es importante resaltar que ambas medidas deben estar referidas específicamente a la aparición de un resultado al comparar dos tratamientos en dos grupos de pacientes por un período de tiempo determinado).

EJEMPLO:

Para calcular el NNT en el ejemplo utilizado:

@ Número necesario a tratar (NNT) = 1 / RAR = 1 / 0.3 = 3 (esto equivale a decir que cada 3 pacientes tratados con la droga A se evitará la aparición del evento en un paciente, lo cual es un muy buen efecto!)

· Como cualquier medida de estimación puntual, el NNT (y también las demás medidas estadísticas mencionadas) tienen la limitación de tener un cierto margen de error cuando se extrapolan a la población total. Por este motivo, su interpretación debe ir acompañada de la valoración de sus respectivos intervalos de confianza del 95% (IC 95%) que determinan entre qué rango de valores se encuentra (con una confiabilidad aceptable) la medida estadística citada en la población. Un intervalo de confianza muy amplio (como resulta de haber incluido en el estudio un grupo relativamente pequeño de individuos) hace menos confiable el resultado y su aplicación más incierta.

FALENCIAS DEL META-ANALISIS

El mayor riesgo del meta-análisis lo constituye la falta de reconocimiento de sus indicaciones y contraindicaciones (11) (16) . Aún cuando ha sido bien justificada su realización, el meta-análisis arrastra consigo algunas de las falencias de las investigaciones clínicas que utiliza como materia prima para someter a estudio. Una de estas falencias consiste en el sesgo que puede generar la exclusión de pacientes post – randomización, especialmente si éstas son más frecuentes en un grupo que en el otro. La manera de evitar este error es analizar los resultados globales de todos los paciente randomizados, hayan o no finalizado el estudio, es decir, un análisis basado en la "intención de tratar".

Otra de las principales críticas consiste en la heterogeneidad de los estudios que se analizan combinadamente en una revisión sistemática (2[3]) . Esta no es una dificultad exclusiva del meta-análisis, ya que es compartida por toda investigación clínica (especialmente los estudios multicéntricos), donde la amplia variedad de las características inherentes a los sujetos de estudio hacen necesario diseñar un protocolo uniforme, realizar un riguroso proceso de selección de los sujetos de estudio y posteriormente efectuar un análisis cuidadoso de la influencia sobre los resultados de los casos extremos. Esto se hace particularmente difícil al integrar evidencia derivada de múltiples estudios (9) que fueron a su vez realizados en distintos contextos, con diseños variados, incluyendo sujetos diferentes en cuanto a características sociodemográficas o de severidad de la enfermedad, comparando con grupos testigo diferentes, o midiendo resultados o efectos distintos. Incluso es posible que se requiera elaborar complicados modelos de evidencia que permitan relacionar la información derivada de fuentes directas e indirectas para obtener conclusiones acerca de un tema específico. Existen además métodos estadísticos para evaluar el grado de heterogeneidad (como el análisis de sensibilidad, los métodos de Der Simonian y Laird o la medición del tamaño promedio del efecto estandarizado), que permiten valorar hasta qué punto los resultados son generalizables.

Otras de las críticas al metanálisis tienen relación con los posibles sesgos de publicación y con la subjetividad y/o arbitrariedad de los métodos de control de calidad de la trabajos seleccionados, a tal punto que se ha sugerido realizar un análisis de sensibilidad exhaustivo que incluya: comparar los resultados obtenidos con y sin control de calidad, con y sin los estudios con las diferencias más y menos significativas, y hasta llevar a cabo múltiples meta-análisis omitiendo uno de los estudios participantes por vez (12) (24) . En algunos casos se han comparado estudios randomizados con alto número de pacientes con meta-análisis sobre el mismo problema y se encontraron discrepancias (25) . En esos casos es difícil decidir cuál es la mejor evidencia. Lo importante es evaluar la calidad de los estudios que se están comparando y advertir si no se están aplicando a problemas diferentes.

Una cuestión que aparentemente es semántica pero que no deja de ser trascendente es el carácter eminentemente retrospectivo y observacional de los meta-análisis y las revisiones sistemáticas, ya que generalmente se basan en la observación y análisis ulterior de datos originados en investigaciones ya realizadas. Este aspecto es de vital importancia, ya que se considera que la información obtenida de manera retrospectiva tiene un menor nivel de evidencia. Es por este motivo que se está promoviendo (fundamentalmente desde la Cochrane Collaboration) el desarrollo de protocolos prospectivos para revisiones sistemáticas, lo que asegura además una mayor homogeneidad en los trabajos incluidos. (Sin embargo esto hace perder la posibilidad de encontrar respuestas rápidas a un problema específico).

Finalmente, los mayores detractores del meta-análisis han llegado a sugerir (26) que sería más fructífero concentrar el esfuerzo científico en mejorar la calidad de los estudios clínicos que metanalizar los resultados de estudios defectuosos, y que los "promedios de promedios de efectos" emergentes de revisiones de este tipo pueden satisfacer a las grandes compañías farmacéuticas o a las agentes reguladores pero no a los pacientes ni a los médicos. Nosotros no compartimos estos criterios tan extremos y consideramos que el meta-análisis es un arma valiosa para mejorar nuestros conocimientos, siempre que se tengan en cuenta todos los recaudos que se han señalado (27) .

APLICACIÓN DE RESULTADOS DEL METANALISIS A LA PRACTICA ASISTENCIAL O SANITARIA.

Las medidas estadísticas enumeradas son fácilmente trasladables a la práctica clínica o sanitaria. Para tomar una decisión en un caso particular de un evento determinado, sería posible listar las distintas conductas terapéuticas disponibles en función de sus respectivos NNT, de menor a mayor, para obtener un ranking de efectividad. Debe recordarse, no obstante, que éste es sólo un aspecto de la decisión médica, y que es necesario valorar también asuntos como toxicidad o efectos indeseables, costos y preferencias del paciente.

Sin embargo, el meta-análisis no es la panacea de la práctica asistencial. La interpretación errónea o la aplicación inadecuada de un meta-análisis (otra vez, al igual que de cualquier estudio) puede llevar a conductas terapéuticas subóptimas o insatisfactorias, si no perjudiciales, ya que lo que es apropiado para un paciente o una situación sanitaria puede ser inapropiado para otro. Por lo tanto, no sólo debe valorarse si tal o cual tratamiento es beneficioso para una serie grande de pacientes, sino si la situación particular pertenece a una categoría comparable a la analizada en este tipo de revisión (6) . El análisis adecuado de los efectos terapéuticos en subgrupos especiales de pacientes debe ser efectuado concienzudamente a la luz de los efectos globales demostrados por la evidencia y de otros indicadores de resultados concurrentes.

Por otra parte, y al igual que en ocasión de interpretar los resultados de un ensayo, debe recordarse que una diferencia estadísticamente significativa no siempre equivale a una diferencia trascendente. La aplicación de los resultados de cualquier investigación a casos individuales es una tarea ardua que debe sustentarse en la evidencia científica disponible pero también en el juicio del profesional tratante y en la voluntad y deseos particulares del paciente o de la población .

Un aspecto importante de la relación entre las revisiones sistemáticas y los meta-análisis con la práctica asistencial o la medicina sanitaria merece una consideración final. Cualquiera sean sus conclusiones, no debe evitarse el emprendimiento de grandes ensayos clínicos randomizados para dirimir cuestiones trascendentes para las que no ha sido encontrada una respuesta satisfactoria (ver CUADRO Nº4).

Lo que es más, toda revisión sistemática debe actualizarse periódicamente, ajustando sus resultados a medida que nuevos estudios van apareciendo, para asegurar que las recomendaciones elaboradas previamente no se modifican a la luz de los nuevos datos (2).

Regresar a Tutorial MBE