Sigue la mala ciencia con las vacunas de la covid: Fraiman y Doshi

-oOo-

Introducción

Recientemente, se ha publicado un artículo (Fraiman J, Vaccine 2022), que antes, en el mes de junio, lo había sido en forma de prepublicación (SSRN) y que, por su interés, se comenta a continuación.

• Fraiman J, Erviti J, Jones M, Greenland S, Whelan P, Kaplan RM, Doshi P. Serious adverse events of special interest following mRNA COVID-19 vaccination in randomized trials in adults. Vaccine. 2022;40(40):5798-805.

El trabajo “reanaliza” los datos generados durante los ensayos clínicos de las vacunas de ARNm frente a la covid de las compañías farmacéuticas Pfizer & BioNTech y Moderna, una vez que estos datos han sido liberados por ambas. Son los mismos datos que analizó la FDA estadounidense para llegar a la autorización de emergencia de ambas vacunas. 

En este estudio, que pretende estimar el balance daño/beneficio de las vacunas de ARNm frente a la covid, los autores llegan a la siguiente conclusión: “El exceso de riesgo de eventos adversos graves de especial interés superó la reducción del riesgo de hospitalización por COVID-19 en relación con el grupo de placebo en los ensayos de Pfizer y Moderna”. Esta conclusión, que se ha difundido rápidamente a través de las redes sociales y de los foros antivacunas, está basada en una metodología incorrecta e incluso execrable, que varios expertos se han apresurado a denunciar y que, desde luego, invalida de forma absoluta las conclusiones del estudio. Algunas muestras de estas críticas son estas: Susan Oliver en Twitter el 26 de junio, y las entradas en el blog Respect Insolence del 29 de junio y del 12 de septiembre.

Los comentarios que se muestran a continuación están basados, en parte, en los datos aportados por David H. Gorski (@gorskon), autor del blog Respectfull Insolence y editor jefe de la revista Science-Based Medicine. 

[volver al principio]

"P-hacking", "data dredging" (dragado de datos) o "data snooping"

La lectura del artículo sugiere que los autores han recurrido a la metodología pseudocientífica denominada P-hacking, data dredging (dragado de datos) o data snooping (Andrade C, J Clin Psychiatry 2021; Head ML, PLoS Biol 2015; Parra S, Xataka Ciencia 2021), que, básicamente, consiste en buscar una significación estadística donde no existe.

Para ello se analizan un gran número de variables, a las que se agrupan, desagrupan o combinan entre ellas de diferentes formas (como se dice en términos coloquiales, se "torturan los datos") y se realizan múltiples tests estadísticos, hasta lograr demostrar una premisa fijada de antemano, antes de que la propia investigación se haya llevado cabo. El nivel de significación (definido por el estadísitico p) informa del riesgo de que un resultado pueda deberse únicamente al azar (falso positivo). Una p<0,05 indica que hasta un 5% de las hipótesis consideradas significativas podría deberse al azar. Mediante la exhaustiva metodología P-hacking puede llegar a encontrarse una de estas hipótesis a la que se considera significativa, aunque en realidad no lo sea. 

[volver al principio]

Errores del artículo de Fraiman y Doshi

Un primer dato que llama la atención al leer el artículo es que los autores no analicen todos los efectos secundarios, como se hace en cualquier ensayo clínico, sino los efectos que denominan “efectos secundarios graves de especial interés” (serious adverse effects of special interest o SAESI) obtenidos de las tablas publicadas por un grupo denominado Brighton Collaboration, que se define a sí mismo como un grupo dedicado a la seguridad de las vacunas y a mejorar el rigor científico de la ciencia de las vacunas. Produce, además, extrañeza observar las tablas en las que los autores señalan los SAESI que incluyeron y excluyeron del estudio, sin que se hayan explicado claramente los criterios. Por ejemplo: se incluyó diarrea, pero se excluyó vómitos; se incluyó hiperglucemia, pero se excluyó hipoglucemia; se incluyó artritis, pero se excluyó osteoartritis; se incluyó desorden psicótico, pero se excluyó desorden bipolar y desorden mental; y así otros muchos más.

Otro llamativo error del artículo de Fraiman y Doshi es que estos compararon la cantidad de SAESI, y no la cantidad de personas que sufrieron un SAESI. Con este tipo de análisis se garantiza que cualquier individuo que tenga algún efecto secundario contará dos o más veces, porque algunos de los SAESI están vinculados a un único proceso. Dicho de otra forma, un efecto secundario en una persona concreta puede tener diferentes síntomas, todos los cuales han sido registrados como efectos separados en el estudio, como si fueran distintos individuos los que los han sufrido. Por ejemplo, la diarrea muchas veces se acompaña de dolor abdominal. Por tanto, si se cuentan por separado ambos síntomas, se estará contando dos veces al individuo que los ha sufrido, a pesar de ser el mismo proceso. Todos los sistemas de recogidas de efectos secundarios en los ensayos clínicos requieren que se registren todos ellos, incluso cuando no están relacionados con el factor de exposición (en este caso con la vacunación). Esta es la razón por la que los análisis generalmente se realizan a nivel de paciente, como el "número de pacientes que sufrieron tal efecto secundario", en lugar del número total de efectos secundarios notificados en cada grupo, independientemente del número de pacientes. Como se ha señalado, es más que probable que si el análisis estadístico de este estudio se hubiera hecho considerando el número de pacientes con efectos secundarios, la significación estadística hubiera desaparecido. 

El examen de las tablas donde se presentan los datos del estudio da idea de la "tortura de los datos". Cuando los autores calculan la diferencia de riesgo de SAESI entre el grupo vacunado y el grupo placebo, no encuentran una diferencia significativa ni para la vacuna de Pfizer & BioNTech ni para la de Moderna. Entonces, recurren a combinar los datos de ambas vacunas, para obtener una significación estadística (un exceso de SAESI de 12/10·000 participantes con un IC 95 % de 2,1 a 22,9). No hay ningún reparo en recurrir a esta argucia con dos vacunas, que, independientemente de estar basadas en la misma plataforma, son dos vacunas distintas y podrían diferir en sus efectos secundarios, tanto en frecuencia como en naturaleza.

Con todo, quizás el error más flagrante del artículo es comparar lo que los autores llaman los “efectos secundarios graves de especial interés” (SAESI) y las hospitalizaciones por covid en los grupos de los vacunados y los controles, para calcular el balance daño/beneficio de la vacunación. Textualmente, los autores señalan: “En el ensayo de Moderna, el exceso de riesgo de SAESIs graves (15,1 por 10.000 participantes) superó la reducción del riesgo de hospitalización por COVID-19 en relación con el grupo de placebo (6,4 por 10.000 participantes). En el ensayo de Pfizer, el exceso de riesgo de SAESIs graves (10,1 por 10.000) superó la reducción del riesgo de hospitalización por COVID-19 en relación con el grupo de placebo (2,3 por 10.000 participantes”. ¿Cómo se puede comparar algo de una importancia clínica tan diferente como los SAESI y la hospitalización por covid? Como se ha dicho oportunamente, eso es “comparar naranjas con manzanas” (Howard J, Science-Based Med 2022). Muchos de los SAESI analizados por los autores del trabajo son efectos secundarios, que, aunque etiquetados como graves según la definición utilizada en los ensayos clínicos, no requieren hospitalización. Basta mirar las tablas de SAESI utilizados por los autores para ver que la mayoría de ellos no conducirán a hospitalización. Por otra parte, la comparación en sí misma es inaceptable, porque un individuo vacunado puede experimentar varios SAESI, mientras que la mayoría de los individuos del grupo control, en el contexto en el que se realizaron los ensayos clínicos, cuando la reinfección era muy rara y predominaban las variantes anteriores a ómicron, solo sería hospitalizado una vez. Si el estudio se hubiera hecho en otro momento, se habrían producido muchas más hospitalizaciones en el grupo de no vacunados. 

Un análisis del balance daño/beneficio debería tener en cuenta no solo las hospitalizaciones sino también las complicaciones y secuelas, permanentes o no, de la covid, así como el síndrome de covid persistente o los síntomas persistentes después de la infección, pero, sobre todo, debería tener en cuenta las muertes directamente asociadas a covid y el excesos de muertes durante la pandemia (Watson OJ, Lancet Infect Dis 2022).

Aparte de todo lo anterior, cabe preguntarse por qué los autores deciden revisar unos datos previamente publicados en una prestigiosa revista (Polack FP, N Engl J Med 2020; Baden LR, N Engl J Med 2021) y que la FDA había analizado en el proceso de autorización de ambas vacunas (la valoración de las vacunas en esta agencia reguladora la lleva a cabo el Vaccines and Related Biological Products Advisory Committee (VRBPAC) compuesto por alrededor de 30 personas entre las que se incluyen expertos en vacunas, en Salud Pública, estadísticos, un médico-científico por parte de la industria y un representante de los consumidores. ¿Pensaron Fraiman, Doshi y cols. que la revisión de la FDA era metodológicamente incorrecta?, ¿encontraron indicios de alguna anomalía en la autorización? o ¿simplemente trataban de demostrar una conclusión a la que ya habían llegado de antemano, antes de llevar a cabo el estudio? La naturaleza del artículo y la historia de algunos de los firmantes del mismo sugiere esta última posibilidad.

[volver al principio]

Los autores: Fraiman, Erviti, Jones, Greenland, Whelan, Kaplan y Doshi

Según consta en el artículo, en el apartado de “contribuciones de los autores”, el manuscrito fue escrito por Peter Doshi -también autor de la correspondencia- y Joseph Fraiman (Respect Insolence, 12 de septiembre de 2022). Peter Doshi, un editor senior asociado del BMJ, trabaja en la Universidad de Maryland, y no es considerado un experto en vacunas, ya que su formación está relacionada con la antropología, estudios asiáticos, historia y “ciencia, tecnología y sociedad”. La trayectoria de Peter Doshi como defensor de ideas conspirativas frente a las vacunas es bien conocida. Ya en 2021, aprovechando la plataforma que le brinda el BMJ (Doshi P, BMJ Opinion, 4 de enero y 5 de febrero de 2021) trató de demostrar que la efectividad de la vacuna de Pfizer & BioNTech era menor de la comunicada, utilizando unos argumentos que han sido claramente rebatidos (Respect Insolence , 2021). También ha cuestionado la efectividad de las vacunas antigripales, ha participado en foros de antivacunas y asesorado a personas con una marcada trayectoria en el mismo sentido.

Joseph Fraiman, el primer firmante del artículo, es un médico de urgencias en Luisiana (EE. UU.), que llegó a decir que las vacunas frente a la covid habían matado a medio millón de personas, lo que de alguna manera pone en cuestión la intencionalidad del artículo. Tampoco este médico es experto en enfermedades infecciosas, vacunas o pandemias.

[volver al principio]

Consideraciones finales

Considerando la metodología del estudio, junto con la biografía de algunos de sus autores, la conclusión parece obvia: más que buscar la evidencia científica han tratado de demostrar una premisa que de antemano habían dado como cierta.

Tras más de mil millones de dosis administradas, los efectos secundarios de todas las vacunas frente a la covid son bien conocidos, y este estudio, además de carecer de validez, simplemente sobra. Más que ninguna otra medida, las vacunas frente a la covid han sido la herramienta que más ha contribuido al control de la pandemia. Se ha estimado que han evitado 14,4 millones (IC 95%: 13,7 a 15,9) de muertes debidas directamente a la enfermedad, cifra que aumenta hasta los 19,8 millones si se considera el exceso de mortalidad (Watson OJ, Lancet Infect Dis 2022). Esto, sin mencionar las complicaciones, secuelas y sufrimientos que han evitado, además de hacer posible la vuelta a una vida normal.

[volver al principio]

-oOo-

Más información

• Andrade C. HARKing, Cherry-Picking, P-Hacking, Fishing Expeditions, and Data Dredging and Mining as Questionable Research Practices. J Clin Psychiatry. 2021;82(1):20f13804.  
• Baden LR, et al. Efficacy and Safety of the mRNA-1273 SARS-CoV-2 Vaccine. N Engl J Med. 2021;384(5):403-16. 
• Doshi P. Pfizer and Moderna’s “95% effective” vaccines - we need more details and the raw data. BMJ Opinion, 4 de enero de 2021.  
• Doshi P. Clarification: Pfizer and Moderna’s “95% effective” vaccines - we need more details and the raw data. BMJ Opinion, 5 de febrero de 2021.  
• Fraiman J, et al. Serious adverse events of special interest following mRNA COVID-19 vaccination in randomized trials in adults. Vaccine. 2022;40(40):5798-805.  
• Head ML, et al. The Extent and Consequences of P-Hacking in Science. PLoS Biol. 2015;13(3):e1002106.
• Howard J. Apples, Oranges, and How Not to Analyze a Vaccine RCT. The evidence is overwhelming that COVID vaccines keep people alive and out of the hospital. Only someone who starts with the conclusion that vaccines don’t work and then works backwards to find the evidence could claim otherwise. Science-based Medicine, 4 de julio de 2022.
• Parra S. Qué es el p-hacking o dragado de datos y por qué hace tanto daño a la investigación científica. Xataka Ciencia, 26 de octubre de 2021.  
• Polack FP, et al. Safety and Efficacy of the BNT162b2 mRNA Covid-19 Vaccine. N Engl J Med. 2020;383(27):2603-15.  
• Respectfull Insolence. Peter Doshi vs. COVID-19 vaccines, the latest round. BMJ Senior Editor Peter Doshi published a preprint misleadingly “reanalyzing” phase 3 clinical trials to falsely conclude that mRNA vaccines to cause more harm than good. I sense… p-hacking. That, and comparing apples to oranges. Respectfull Insolence, 29 de junio de 2022. 
• Respectfull Insolence. Update: An antivax preprint is now antivax propaganda disguised as a peer-reviewed publication in…Vaccine! In order portray COVID-19 vaccines as dangerous, Peter Doshi has now managed to get poorly designed and performed “reanalyses” of the clinical trial data used by the FDA to grant emergency use approval of the Pfizer and Moderna vaccines published in two reputable journals, The BMJ and Vaccine? What happened? Respectfull Insolence, 12 de septiembre de 2022. 
• Respectfull Insolence. Why is Peter Doshi still an editor at The BMJ? Peter Doshi is at least borderline antivaccine and has been casting doubt on vaccine efficacy since 2009. Earlier this month, he posted a badly flawed “analysis” casting doubt on the efficacy of the Moderna and Pfizer COVID-19 vaccines. Why does The BMJ still employ him? Respectfull Insolence, 15 de enero de 2021. 
• Watson OJ, et al. Global impact of the first year of COVID-19 vaccination: a mathematical modelling study. Lancet Infect Dis. 2022;22(9):1293-302.

Otras referencias

• Gorski D. Peer review fail: Vaccine publishes antivax propaganda disguised as “reanalyses” of Pfizer and Moderna COVID-19 vaccine clinical trial data. In order portray COVID-19 vaccines as dangerous, Peter Doshi has now managed to get poorly designed and performed “reanalyses” of the clinical trial data used by the FDA to grant emergency use approval of the Pfizer and Moderna vaccines published in two reputable journals, The BMJ and Vaccine? What happened? Science-based Medicina, 5 de septiembre de 2022.

[volver al principio]