Ciencia y Tecnología
Estudio: información médica de los chatbots falla más de lo que parece
<p>Una cantidad considerable de la <a class="internal-link" href="https://www.dw.com/es/trampas-de-salud-en-tiktok-malos-consejos-en-la-red/a-71817571">información médica</a> proporcionada por cinco <a class="internal-link" href="https://www.dw.com/es/la-ia-es-complaciente-pero-los-chatbots-no-son-tus-amigos/a-76570115">chatbots</a> populares es inexacta e incompleta, y la mitad de las respuestas a preguntas claras basadas en la evidencia son 'algo' o 'muy' problemáticas, señala <a rel="noopener follow" target="_blank" class="external-link" href="https://bmjopen.bmj.com/content/16/4/e112695" title="Enlace externo — un estudio que publica BMJ Open.">un estudio que publica<em> BMJ Open.</em></a></p>
<p>Los investigadores del Instituto Lundquist para la Innovación Biomédica (EE. UU.) advierten de que el despliegue continuado de estos chatbots sin una labor de educación pública ni supervisión corre el riesgo de amplificar la desinformación. </p>
<p>Esta preocupación coincide con <a rel="noopener follow" target="_blank" class="external-link" href="https://jamanetwork.com/journals/jamanetworkopen/fullarticle/2847679" title="Enlace externo — otro estudio reciente publicado en JAMA Network Open,">otro estudio reciente publicado en<em> JAMA Network Open,</em></a> que tras evaluar 21 modelos avanzados en casos clínicos concluye que <a class="internal-link" href="https://www.dw.com/es/inteligencia-artificial-ia/t-63771882">la inteligencia artificial (IA)</a> aún no está preparada para tomar decisiones médicas de forma autónoma, sin supervisión profesional constante.</p>
<h2><strong>Cinco chatbots de IA bajo la lupa </strong></h2>
<p>El equipo del Instituto Lundquist analizó en febrero de 2025 el nivel de precisión que ofrecían en ámbitos de la salud y la medicina cinco <a class="internal-link" href="https://www.dw.com/es/los-chatbots-de-ia-son-muy-poco-confiables-y-producen-desinformaci%C3%B3n-revela-amplio-estudio/a-74459215">chatbots de IA generativa</a> populares y de acceso público: Gemini (Google); DeepSeek (High-Flyer); Meta AI (Meta); ChatGPT (OpenAI); y Grok (xAI).</p>
<p>A cada uno se le plantearon diez preguntas abiertas y cerradas en cada una de cinco categorías: <a class="internal-link" href="https://www.dw.com/es/c%C3%A1ncer/t-65353002">cáncer,</a> vacunas, células madre, nutrición y rendimiento deportivo.</p>
<p>Las preguntas se diseñaron para asemejarse a consultas médicas y de salud habituales en busca de información y se desarrollaron para 'poner a prueba' los modelos en cuanto a desinformación o consejos contraindicados.</p>
<figure class="placeholder-image master_landscape big"><img data-format="MASTER_LANDSCAPE" data-id="76792118" data-url="https://static.dw.com/image/76792118_$formatId.jpg" data-aspect-ratio="16/9" alt="Grok generó el mayor número de respuestas muy problemáticas en el estudio del Instituto Lundquist." src="image/gif;base64,R0lGODlhAQABAAAAACH5BAEKAAEALAAAAAABAAEAAAICTAEAOw==" /><figcaption class="img-caption">Grok generó el mayor número de respuestas muy problemáticas en el estudio del Instituto Lundquist.<small class="copyright">Imagen: Jonathan Raa/NurPhoto/picture alliance</small></figcaption></figure>
<h2><strong>La mitad de las respuestas, problemáticas </strong></h2>
<p>La mitad (50 %) de las respuestas resultaron problemáticas: el 30 % eran algo problemáticas y el 20 %, muy problemáticas, según la revista.</p>
<p>Aunque la calidad de las respuestas no varió significativamente entre los chatbots, Grok generó "un número significativamente mayor" de respuestas muy problemáticas de lo que cabría esperar (29/50; 58 %), mientras que Gemini tuvo el menor número de muy problemáticas y el mayor de no problemáticas.</p>
<p>Las respuestas se clasificaron como 'no problemáticas', 'algo problemáticas' o 'muy problemáticas', utilizando criterios objetivos predefinidos.</p>
<p>Se consideró que era problemática cuando podía llevar a los usuarios sin conocimientos especializados a seguir un tratamiento potencialmente ineficaz o a sufrir daños si se aplicaba sin orientación profesional.</p>
<p>Los chatbots obtuvieron mejores resultados en los ámbitos de <a class="internal-link" href="https://www.dw.com/es/cient%C3%ADficos-prueban-vacuna-universal-que-promete-enfrenta-la-gripe-covid-y-alergias-al-mismo-tiempo/a-76096462">las vacunas</a> y el cáncer, y peores en los de las <a class="internal-link" href="https://www.dw.com/es/vuelos-espaciales-aceleran-envejecimiento-de-c%C3%A9lulas-madre/a-73897013">células madre,</a> el rendimiento deportivo y <a class="internal-link" href="https://www.dw.com/es/fibra-prote%C3%ADna-y-una-trampa-oculta-lo-que-los-expertos-advierten-sobre-la-moda-maxxing/a-76693448">la nutrición.</a>La información se evaluó en función de su precisión y exhaustividad y se prestó especial atención a si un chatbot presentaba un falso equilibrio entre afirmaciones con base científica y sin ella, independientemente de la solidez de las pruebas.</p>
<p>Cada respuesta se calificó también en función de su legibilidad, desde si estaba redactada en un inglés sencillo y claro hasta si utilizaba un lenguaje académico y difícil.</p>
<h2><strong>Preguntas abiertas y referencias deficientes </strong></h2>
<p>El tipo de pregunta influyó en los resultados. Así, las abiertas generaron 40 respuestas muy problemáticas (significativamente más de lo esperado) y 51 no problemáticas (significativamente menos de lo esperado). En el caso de las preguntas cerradas ocurrió lo contrario, indica BMJ Open.</p>
<p>Las preguntas cerradas exigían a los chatbots que proporcionaran respuestas predefinidas, a menudo con una única respuesta correcta, que se ajustaran al consenso científico. Las abiertas solían exigir que generaran múltiples respuestas en forma de lista.</p>
<p>Según el estudio de JAMA Network Open, esta dificultad ante preguntas abiertas conecta con un hallazgo clave: los modelos de lenguaje suelen fallar en las primeras fases del razonamiento clínico, especialmente cuando disponen de poca información o deben proponer diagnósticos diferenciales. En concreto, la investigación encontró que estos sistemas fallan en más del 80 % de los casos al elaborar diagnósticos diferenciales, una etapa clave del proceso médico.</p>
<figure class="placeholder-image master_landscape big"><img data-format="MASTER_LANDSCAPE" data-id="72575818" data-url="https://static.dw.com/image/72575818_$formatId.jpg" data-aspect-ratio="16/9" alt="Los expertos advirtieron que los chatbots de IA no pueden sustituir el criterio médico profesional." src="image/gif;base64,R0lGODlhAQABAAAAACH5BAEKAAEALAAAAAABAAEAAAICTAEAOw==" /><figcaption class="img-caption">Los expertos advirtieron que los chatbots de IA no pueden sustituir el criterio médico profesional.<small class="copyright">Imagen: Jonathan Raa/Sipa USA/picture alliance</small></figcaption></figure>
<p>En cuanto el estudio del Instituto Lundquist, en el proceso solo hubo dos casos en los que se negaron a responder, ambos por parte de Meta AI, en respuesta a consultas sobre esteroides anabólicos y <a class="internal-link" href="https://www.dw.com/es/ensayan-tecnolog%C3%ADa-de-ultrasonidos-para-tratar-el-c%C3%A1ncer-de-p%C3%A1ncreas/a-71012176">tratamientos alternativos contra el cáncer.</a></p>
<p>En general, la calidad de las referencias fue deficiente, con una puntuación media de exhaustividad del 40 % y todas las puntuaciones de legibilidad se calificaron como 'difíciles', con una complejidad equivalente a la adecuada para un titulado universitario.</p>
<p>Los investigadores reconocen que solo evaluaron cinco chatbots y que la IA comercial está evolucionando rápidamente, por lo que sus conclusiones podrían no ser universalmente aplicables.</p>
<p>Además, no todas las consultas del mundo real son deliberadamente de confrontación, un enfoque que adoptaron y que podría haber exagerado la prevalencia de contenidos problemáticos.</p>
<p>En el estudio de de JAMA Network Open se mostró, por ejemplo, que cuando los sistemas reciben toda la información clínica relevante pueden alcanzar diagnósticos correctos en más del 90 % de los casos, aunque su desempeño sigue siendo inconsistente en etapas intermedias del proceso.</p>
<h2><strong>IA médica: herramienta de apoyo, no sustituto </strong></h2>
<p>A pesar de los aciertos, los hallazgos sobre la precisión científica, la calidad de las referencias y la legibilidad de las respuestas "ponen de relieve importantes limitaciones de comportamiento y la necesidad de reevaluar cómo se utilizan los chatbots con IA en la comunicación sanitaria y médica dirigida al público", apuntan los autores.</p>
<p>Los chatbots, por defecto, no acceden a datos en tiempo real, sino que generan respuestas deduciendo patrones estadísticos a partir de sus datos de entrenamiento y prediciendo secuencias de palabras probables. "No razonan ni sopesan las pruebas, ni son capaces de emitir juicios éticos o basados en valores", explican. En este sentido, los expertos insisten en que su papel actual es el de herramienta de apoyo que puede complementar –pero no sustituir– el criterio médico humano.</p>
<p>FEW (EFE, <em>BMJ Open, JAMA Network Open</em>)</p>
<p> </p>