El escenario de pesadilla favorito de todos cuando se trata de inteligencia artificial es que de alguna manera gana sensibilidad y comienza a matar humanos. Resulta que no es necesario alcanzar la superinteligencia para que la IA empiece a costar vidas humanas; simplemente requiere que los humanos concedan demasiada confianza y deferencia a los sistemas defectuosos. Un nuevo informe de Reuters destaca la proliferación de la IA en la atención sanitaria, desde dispositivos médicos con funcionalidad de IA hasta sistemas destinados a ayudar a los médicos en el quirófano, y descubre que la tecnología, presentada como un gran paso adelante, puede estar produciendo peores resultados.
Un elemento central del informe de Reuters es el sistema de navegación TruDi, un sistema de navegación guiado por imágenes producido por una filial de Johnson & Johnson y diseñado para tratar la sinusitis crónica. En 2021, la compañía anunció que utilizaría inteligencia artificial para ayudar a los otorrinolaringólogos en cirugías a curar la inflamación de los senos nasales.
Hasta la inyección de IA, el dispositivo llevaba tres años en el mercado y tenía siete informes no confirmados de mal funcionamiento. Desde que se introdujo la “actualización” de IA en el sistema, la Administración de Alimentos y Medicamentos de EE. UU. habría recibido más de 100 notificaciones de mal funcionamiento y al menos 10 informes de pacientes heridos por errores que aparentemente fueron el resultado de información errónea del sistema de IA.
Algunas de esas lesiones fueron increíblemente graves y aparentemente fueron causadas principalmente porque el sistema desinformó a los cirujanos sobre dónde estaban ubicados sus instrumentos dentro del paciente durante la operación. Según se informa, esto ha resultado en casos en los que un cirujano perfora la base del cráneo de un paciente, líquido cefalorraquídeo se escapa de la nariz de un paciente y pacientes que sufren derrames cerebrales después de que el cirujano golpeó accidentalmente una arteria principal.
Debido a que los incidentes aún están bajo revisión, la FDA no ha atribuido las lesiones a la IA. Pero las víctimas ciertamente parecen creer que pudo haber influido. Según Reuters, dos personas que sufrieron accidentes cerebrovasculares debido a una cirugía que involucró el sistema de navegación TruDi presentaron una demanda y argumentaron que «el producto era posiblemente más seguro antes de integrar cambios en el software para incorporar inteligencia artificial que después de que se implementaron las modificaciones del software».
Si bien el sistema de navegación TruDi es un ejemplo destacado de los riesgos potenciales de depender de la IA en entornos como el quirófano, está lejos de ser el único dispositivo que integra la IA en su funcionamiento. Según Reuters, hay 1.357 dispositivos médicos que utilizan IA que han sido aprobados por la FDA. Son pocos los que están libres de preocupaciones. Una investigación publicada en JAMA Health Forum a principios de este año encontró que los dispositivos médicos habilitados para IA tienen una tasa de retirada sorprendentemente alta: el 43% ha tenido problemas lo suficientemente graves como para retirarlos del mercado menos de un año después de su aprobación inicial, aproximadamente el doble de la tasa de los dispositivos que no son de IA.
En particular, esa investigación encontró que muchos de esos dispositivos provenían de empresas que cotizan en bolsa. Esas empresas, como Johnson & Johnson, pueden haber caído en la trampa de lanzar un producto al mercado sin suficientes pruebas de seguridad. Esa es la acusación de una de las demandas relacionadas con el sistema de navegación TruDi, que alega que sus funciones de inteligencia artificial fueron promocionadas como una «herramienta de marketing» y en realidad no mejoraron la precisión. De hecho, la demanda afirma que el fabricante del dispositivo redujo su estándar de seguridad al “80% de precisión” para poder lanzar la nueva tecnología al mercado más rápidamente.
Incluso cuando los dispositivos de IA no participan en operaciones que pueden conducir directamente a resultados adversos para la salud, aún pueden proporcionar mala información. Por ejemplo, Sonio Detect, un sistema de inteligencia artificial para analizar imágenes fetales, supuestamente etiqueta incorrectamente las estructuras fetales y “las asocia con partes equivocadas del cuerpo”, según un informe de la FDA. Esto está en línea con informes del año pasado que encontraron que la IA médica de Google alucinaba partes del cuerpo.
Las empresas responsables de esta tecnología no parecen ver el problema. Integra LifeSciences, la empresa que adquirió el sistema de navegación TruDi de Johnson & Johnson en 2024, dijo a Reuters que los informes de la FDA “no hacen más que indicar que se estaba utilizando un sistema TruDi en una cirugía donde se produjo un evento adverso” y argumentó que “no hay evidencia creíble que muestre ninguna conexión causal entre el sistema de navegación TruDi, la tecnología de inteligencia artificial y las supuestas lesiones”.
Tampoco se puede contar con que la FDA actúe sobre estos supuestos problemas. La parte de la agencia encargada de revisar y evaluar la seguridad de los dispositivos médicos habilitados para IA se vio gravemente obstaculizada por los recortes del Departamento de Eficiencia Gubernamental (DOGE), perdiendo 15 de sus 40 científicos, según Reuters. Otra unidad dedicada a la IA en medicina perdió un tercio de su personal. Cabe destacar que DOGE, liderado por Elon Musk, también eliminó parte de la FDA que se encargaba de revisar la seguridad de su dispositivo de interfaz cerebro-computadora, Neuralink. Mientras tanto, aparentemente más dispositivos de inteligencia artificial están recibiendo luz verde sin una revisión exhaustiva.
Quizás el enfoque tecnológico de “moverse rápido y romper cosas” no debería aplicarse cuando las “cosas” son el cuerpo humano.
