Enfoque Informativo

Dos estudios evaluaron la calidad de la información que ofrecen los chatbots. Las recomendaciones erróneas pueden ser difíciles de detectar porque están mezcladas con datos acertados

La inteligencia artificial (IA) quizá no siempre sea la fuente más precisa de información sobre la salud, sobre todo cuando se trata de la atención del cáncer, encuentra unas nuevas investigaciones.

Dos nuevos estudios evaluaron la calidad de las respuestas ofrecidas por chatbots de IA a una variedad de preguntas sobre la atención del cáncer.

Uno, que se publicó en la edición del 24 de agosto de la revista JAMA Oncology, se enfocó en el servicio de IA conversacional con oraciones completas conocido como ChatGPT, que se lanzó con una gran fanfarria el noviembre pasado.

El lado positivo: alrededor de dos tercios de la información sobre el cáncer que ofreció ChatGPT se correspondían de forma precisa con las directrices actuales de la Red Nacional Integral del Cáncer (National Comprehensive Cancer Network) de EU.

La desventaja: el resto no se correspondía.

“Algunas recomendaciones claramente eran del todo incorrectas”, señaló la autora del estudio, la Dra. Danielle Bitterman, profesora asistente de oncología de la radiación del Hospital Brigham and Women’s/Instituto Oncológico Dana-Farber, y de la Facultad de Medicina de la Universidad de Harvard, en Boston. “Por ejemplo, ocasiones en que se recomendó un tratamiento curativo para un diagnóstico incurable”.

Otras veces, las recomendaciones incorrectas fueron más sutiles. Por ejemplo, incluir algunas, pero no todas, las partes de un régimen de tratamiento, como mencionar solo la cirugía, cuando el tratamiento estándar también incluye radioterapia o quimioterapia, indicó Bitterman.

Esto es preocupante, señaló, dado el grado hasta el cual “la información incorrecta estaba mezclada con la información correcta, lo que hace que detectar los errores sea particularmente difícil, incluso para los expertos”.

Un segundo estudio en la misma edición de la revista ofreció una evaluación mucho más positiva de la precisión de la IA.

En este caso, los investigadores observaron las respuestas de cuatro servicios de chatbot distintos: ChatGPT, Perplexity, Chatsonic y Bing de Microsoft. Se pidió a cada uno que hablara sobre el cáncer de piel, pulmón, mama, próstata o colon.

Los investigadores juzgaron que la calidad y la precisión de las respuestas eran “buenas”.

Pero dijeron que quizá esto no signifique que la experiencia con la IA resulte útil para los pacientes. Esto se debe a que gran parte de la información provista era demasiado compleja para la mayoría de las personas que no son profesionales de la medicina.

Al mismo tiempo, todas las respuestas incluían una advertencia general de que los pacientes no deben tomar ninguna decisión sobre la atención de la salud basándose en los datos provistos sin consultar primero a un médico.

La conclusión clave fue que es probable que muchos usuarios de IA encuentren que la información médica generada por la IA sea incomprensible, impráctica o ambas cosas.

“Los resultados fueron alentadores, en el sentido de que hubo muy poca desinformación, dado que al comenzar esta era nuestra principal preocupación”, comentó el autor del estudio, el Dr. Abdo Kabarriti, jefe de urología de South Brooklyn Health, en la ciudad de Nueva York.

“Pero gran parte de la información, aunque era precisa, no estaba en lenguaje llano”, añadió.

Básicamente, los chatbots proveían información a un nivel de lectura de universitario, mientras que el consumidor promedio lee más o menos a nivel del sexto curso, aclaró Kabarriti.

La información que el equipo de Kabarriti recibió estaba “muy por encima de eso”, apuntó.

Otro factor que es probable que frustre a muchos pacientes es que la IA no dice qué hacer respecto a los síntomas de cáncer que describe, observó Kabarriti.

“Solo dice ‘consulte a su médico’”, comentó. “Quizá se trate de un tema de responsabilidad legal. Pero el punto es que los chats con IA no reemplazan a la interacción que los pacientes deberán tener con sus médicos”.

El Dr. Atul Butte, científico de datos principal del Sistema de Salud de la Universidad de California, escribió un editorial que se publicó junto con el estudio.

A pesar de las preocupaciones que ambos estudios plantearon, considera que la IA es una “gran ventaja neta” para los pacientes y la comunidad médica en conjunto.

“Sí creo que el vaso está más de medio lleno”, comentó Butte, y anotó que, con el tiempo, es inevitable que la información provista por los chatbots se haga cada vez más precisa y accesible.

Butte comentó que algunos estudios ya han mostrado que la IA tiene el potencial de ofrecer mejores consejos, e incluso más empatía, que los profesionales de la medicina.

Su opinión es que, con el tiempo, los chatbots de IA tendrán un rol cada vez más esencial en la administración de la información y la atención médicas. El beneficio será tangible para muchos pacientes, predijo Butte.

Pocos pacientes tienen los recursos o el privilegio para acudir a los mejores centros médicos del mundo, anotó.

“Pero imagínese si pudiéramos entrenar a la inteligencia artificial con los datos y prácticas de estos lugares destacados, y entonces llevar este conocimiento a través de las herramientas digitales a todo el mundo”, ya sea a los pacientes a través de aplicaciones o a los médicos mediante los sistemas de expedientes médicos electrónicos, planteó Butte.

“Por esto estoy comenzando a referirme a la inteligencia artificial como ‘privilegio expandible’”, añadió. “[Es] nuestra mejor forma de expandir esta atención médica privilegiada, que [solo] algunos pueden obtener, a todo el mundo”.