Delirios en directo y suicidios alimentados por la IA: qué está pasando realmente con la IA y la salud mental

Una mujer llamada Kendra se ha hecho viral en TikTok. ¿El motivo? Probablemente sea el primer caso de brote psicótico alimentado por la IA que estamos viendo en vivo y en directo. Un adolescente discutió sus planes de suicidio con ChatGPT y sus padres han demandado a OpenAI. Son sólo dos casos recientes, pero cada vez hay más noticias que culpan a la IA de provocar delirios o incluso muertes. Ya vimos que la realidad es mucho más compleja, pero está claro que hay un debate sobre los efectos de la IA en nuestra salud mental. ¿Qué está pasando?

El caso Adam Raine. Lo cuentan en el New York Times.  Adam empezó a usar ChatGPT para que le ayudara con los deberes, pero más tarde sus conversaciones tomaron un giro oscuro. Tras su muerte, su padre revisó su móvil y descubrió que había estado preguntándole a la IA detalles sobre cómo suicidarse. A pesar de que ChatGPT identificó los mensajes como peligrosos y le insistió varias veces en buscar ayuda, Adam logró saltarse estas advertencias diciéndole que no iba a hacerlo de verdad, sino que estaba recabando información para una historia que quería escribir. Sus padres han demandado a OpenAI argumentando que la IA validó los  “pensamientos más dañinos y autodesctructivos” de su hijo.

En Xataka

Los humanos nos estamos enamorando de IAs y no son casos aislados: ya se cuentan por miles

El caso Kendra. Desde principios de agosto, Kendra es uno de los temas de conversación más candentes en TikTok. Todo empezó cuando, en una serie de varias decenas de vídeos, contó cómo su psiquiatra la había manipulado para que se enamorara de él. Por las situaciones que narra, para los expertos es evidente que Kendra sufre algún tipo de trastorno de la personalidad. Lo llamativo del caso es que constantemente acudía a ChatGPT, a quien apodaba “Henry”, para validar sus delirios. Llegado un punto, ChatGPT no le dijo lo que quería oír y empezó a usar Claude, la IA de Anthropic. Kendra no considera que su uso de la IA sea peligroso, al contrario: en este vídeo asegura que es una profecía.

Preocupación. La IA está en el punto de mira por muchos motivos y el impacto que puede tener en nuestra salud mental es uno de ellos. Casos como los que hemos descrito son los más llamativos por lo alarmantes que son, pero no son tan comunes. Hay otros casos de uso, como la tendencia a recurrir a la IA como si fuera un psicólogo o la dependencia emocional causada por las apps de “compañeros IA”, que se están popularizando y han despertado una oleada de preocupación.

También están surgiendo nuevos estudios que ahondan en esta problemática, como este de la Universidad de Stanford que concluyó que los chatbots de terapia tienden a ser complacientes y en casos de riesgo pueden reforzar delirios en lugar de cuestionarlos (como en el caso de Kendra).  La respuesta de autoridades y grupos de defensa no se ha hecho esperar.

Voces de alarma. La Asociación Americana de Psicología (APA) se reunió con las autoridades estadounidenses para dar la alarma ante el creciente uso de chatbots de terapia psicológica. La organización expresó su preocupación ante las prácticas engañosas como los chatbots que se hacen pasar por terapeutas reales. Exigen campañas de educación para informar a los consumidores y que las aplicaciones integren medidas de seguridad obligatorias para usuarios que se encuentren en crisis.

El ‘Centro para la lucha contra el odio digital’ también ha exigido una regulación más estricta. En su informe ‘Fake Friend’ expusieron lo frágiles que son las salvaguardas de los chatbots IA, todo desde el punto de vista de un adolescente vulnerable (el caso de Adam Raine es un claro ejemplo de esto). Piden que se haga cumplir la verificación de edad, que se prohíban los diseños que manipulan emocionalmente y que se realicen auditorías independientes de las herramientas IA. No son las únicas. Hay más organizaciones que están alertando de esta problemática como Mental Health Europe, la OMS e incluso el Consejo General de la Psicología de España.

En Xataka

En 2011 alguien publicó en Reddit “A858”. Catorce años y miles de mensajes después, el misterio sigue irresuelto

Medidas legales en EEUU. Aunque todavía no se puede  hablar de una regulación a nivel federal, ya hay varios estados que han tomado medidas. Es el caso de Illinois, donde se aprobó una ley que prohíbe el uso de la IA en terapia psicológica. En Utah han optado por un enfoque más orientado a la transparencia y en su ley establecen que los usuarios deberán ser informados claramente cuando estén hablando con una IA.

En Nueva York tienen preparada una ley que entrará en vigor en noviembre y exigirá que los compañeros IA notifiquen a los usuarios repetidamente de que están interactuando con una entidad no humana. Además, estos compañeros IA deberán contar con un sistema que detecte riesgo de autolesiones o suicidio y remita a los usuarios a líneas de ayuda. En California hay una propuesta de ley que quiere prohibir “estrategias de maximización de la interacción que manipulan emocionalmente a los usuarios”. Si se acaba aprobando, sería la primera ley que regula los mecanismos de diseño que fomentan la dependencia de estas herramientas.

¿Y la Unión Europea? En Europa tenemos la AI Act que entró en vigor hace un año. La ley define cuatro niveles de riesgo con regulaciones específicas para cada uno, incluyendo uno “riesgo inaceptable” que conllevaría la prohibición de la tecnología en cuestión. En materia relativa a salud mental no hay nada concreto, pero en el artículo 5 vemos que prohíbe cualquier sistema que use “técnicas subliminales” para manipular a las personas de forma que “cause o sea probable que cause un daño físico o psicológico”. También se prohíbe a la IA que “infiera emociones en las personas”, aunque incluye una excepción si es con fines terapéuticos, lo que resulta un tanto ambiguo.

Las medidas de las empresas de IA. En el caso de las empresas, aunque prácticamente todas cuentan con algún tipo de seguridad para casos como estos, la realidad es que OpenAI es quien más ha detallado sus medidas, en parte porque el éxito de ChatGPT hace que sean ellos quienes suelen estar en el punto de mira. Veamos qué dice cada una:

• ChatGPT: Tras la noticia del suicidio de Adam Raine, OpenAI ha confirmado que añadirá controles parentales y salvaguardas adicionales, como que los usuarios puedan contactar con una persona de emergencia en un click e incluso que el chatbot contacte directamente con los servicios de emergencia en casos graves. Hasta ahora, instaba a los usuarios a contactar con la línea de ayuda de EEUU, pero ya hemos visto que para Adam fue muy fácil esquivar las advertencias.
• Claude: Anthropic apuesta por la “seguridad por diseño”, es decir, aseguran que la seguridad está en el núcleo de su modelo desde el principio. Además, colaboraron con expertos de la organización de ayuda ThroughLine para que Claude fuera capaz de detectar conversaciones sensibles para refinar las respuestas, aunque no especifican cómo son esas respuestas.
• Gemini: DeepMind también ha colaborado con organizaciones de salud como Welcome Trust, aunque su enfoque está más  enfocado a la investigación. En su política de seguridad afirman que Gemini no puede participar en ningún tipo de actividad peligrosa, incluyendo suicidio o autolesiones. No dicen si su chatbot ofrece algún tipo de guía o ayuda cuando detecta ese tipo de mensajes.
• Grok: es el chatbot más imprudente, aunque sus casos más sonados han tenido que ver con sus mensajes antisemitas y no tanto con problemas de salud mental. Hemos revisado su política y no hemos encontrado ninguna referencia a salvaguardas específicas para proteger la salud mental de los usuarios.

El papel de los medios. El hecho de que cada vez surjan más noticias alarmantes que colocan a la IA como una especie de voz malvada que nos empuja a la locura está magnificando el problema. Es necesario poner esto en contexto: hablamos de una tecnología masiva, (sólo ChatGPT tiene 800 millones de usuarios) y habrá todo tipo de casuísticas, pero al poner el foco en esos casos tan extremos o trágicos podemos caer fácilmente en echar la culpa de todo a la IA. La preocupación por los riesgos en la salud mental está ahí y es real, pero hay que evitar caer en pánicos sociales como el que vivimos con los videojuegos.

Imagen de portada | Pixabay

En Xataka | ChatGPT para móvil ha generado 2.000 millones de dólares. Puede parecer mucho, pero en el universo de la IA es calderilla

–
La noticia

Delirios en directo y suicidios alimentados por la IA: qué está pasando realmente con la IA y la salud mental

fue publicada originalmente en

Xataka

por
Amparo Babiloni

.

​Una mujer llamada Kendra se ha hecho viral en TikTok. ¿El motivo? Probablemente sea el primer caso de brote psicótico alimentado por la IA que estamos viendo en vivo y en directo. Un adolescente discutió sus planes de suicidio con ChatGPT y sus padres han demandado a OpenAI. Son sólo dos casos recientes, pero cada vez hay más noticias que culpan a la IA de provocar delirios o incluso muertes. Ya vimos que la realidad es mucho más compleja, pero está claro que hay un debate sobre los efectos de la IA en nuestra salud mental. ¿Qué está pasando?

El caso Adam Raine. Lo cuentan en el New York Times.  Adam empezó a usar ChatGPT para que le ayudara con los deberes, pero más tarde sus conversaciones tomaron un giro oscuro. Tras su muerte, su padre revisó su móvil y descubrió que había estado preguntándole a la IA detalles sobre cómo suicidarse. A pesar de que ChatGPT identificó los mensajes como peligrosos y le insistió varias veces en buscar ayuda, Adam logró saltarse estas advertencias diciéndole que no iba a hacerlo de verdad, sino que estaba recabando información para una historia que quería escribir. Sus padres han demandado a OpenAI argumentando que la IA validó los  “pensamientos más dañinos y autodesctructivos” de su hijo.

En Xataka

Los humanos nos estamos enamorando de IAs y no son casos aislados: ya se cuentan por miles

El caso Kendra. Desde principios de agosto, Kendra es uno de los temas de conversación más candentes en TikTok. Todo empezó cuando, en una serie de varias decenas de vídeos, contó cómo su psiquiatra la había manipulado para que se enamorara de él. Por las situaciones que narra, para los expertos es evidente que Kendra sufre algún tipo de trastorno de la personalidad. Lo llamativo del caso es que constantemente acudía a ChatGPT, a quien apodaba “Henry”, para validar sus delirios. Llegado un punto, ChatGPT no le dijo lo que quería oír y empezó a usar Claude, la IA de Anthropic. Kendra no considera que su uso de la IA sea peligroso, al contrario: en este vídeo asegura que es una profecía.

Preocupación. La IA está en el punto de mira por muchos motivos y el impacto que puede tener en nuestra salud mental es uno de ellos. Casos como los que hemos descrito son los más llamativos por lo alarmantes que son, pero no son tan comunes. Hay otros casos de uso, como la tendencia a recurrir a la IA como si fuera un psicólogo o la dependencia emocional causada por las apps de “compañeros IA”, que se están popularizando y han despertado una oleada de preocupación.

También están surgiendo nuevos estudios que ahondan en esta problemática, como este de la Universidad de Stanford que concluyó que los chatbots de terapia tienden a ser complacientes y en casos de riesgo pueden reforzar delirios en lugar de cuestionarlos (como en el caso de Kendra).  La respuesta de autoridades y grupos de defensa no se ha hecho esperar.

Voces de alarma. La Asociación Americana de Psicología (APA) se reunió con las autoridades estadounidenses para dar la alarma ante el creciente uso de chatbots de terapia psicológica. La organización expresó su preocupación ante las prácticas engañosas como los chatbots que se hacen pasar por terapeutas reales. Exigen campañas de educación para informar a los consumidores y que las aplicaciones integren medidas de seguridad obligatorias para usuarios que se encuentren en crisis.

El ‘Centro para la lucha contra el odio digital’ también ha exigido una regulación más estricta. En su informe ‘Fake Friend’ expusieron lo frágiles que son las salvaguardas de los chatbots IA, todo desde el punto de vista de un adolescente vulnerable (el caso de Adam Raine es un claro ejemplo de esto). Piden que se haga cumplir la verificación de edad, que se prohíban los diseños que manipulan emocionalmente y que se realicen auditorías independientes de las herramientas IA. No son las únicas. Hay más organizaciones que están alertando de esta problemática como Mental Health Europe, la OMS e incluso el Consejo General de la Psicología de España.

En Xataka

En 2011 alguien publicó en Reddit “A858”. Catorce años y miles de mensajes después, el misterio sigue irresuelto

Medidas legales en EEUU. Aunque todavía no se puede  hablar de una regulación a nivel federal, ya hay varios estados que han tomado medidas. Es el caso de Illinois, donde se aprobó una ley que prohíbe el uso de la IA en terapia psicológica. En Utah han optado por un enfoque más orientado a la transparencia y en su ley establecen que los usuarios deberán ser informados claramente cuando estén hablando con una IA.

En Nueva York tienen preparada una ley que entrará en vigor en noviembre y exigirá que los compañeros IA notifiquen a los usuarios repetidamente de que están interactuando con una entidad no humana. Además, estos compañeros IA deberán contar con un sistema que detecte riesgo de autolesiones o suicidio y remita a los usuarios a líneas de ayuda. En California hay una propuesta de ley que quiere prohibir “estrategias de maximización de la interacción que manipulan emocionalmente a los usuarios”. Si se acaba aprobando, sería la primera ley que regula los mecanismos de diseño que fomentan la dependencia de estas herramientas.

¿Y la Unión Europea? En Europa tenemos la AI Act que entró en vigor hace un año. La ley define cuatro niveles de riesgo con regulaciones específicas para cada uno, incluyendo uno “riesgo inaceptable” que conllevaría la prohibición de la tecnología en cuestión. En materia relativa a salud mental no hay nada concreto, pero en el artículo 5 vemos que prohíbe cualquier sistema que use “técnicas subliminales” para manipular a las personas de forma que “cause o sea probable que cause un daño físico o psicológico”. También se prohíbe a la IA que “infiera emociones en las personas”, aunque incluye una excepción si es con fines terapéuticos, lo que resulta un tanto ambiguo.

Las medidas de las empresas de IA. En el caso de las empresas, aunque prácticamente todas cuentan con algún tipo de seguridad para casos como estos, la realidad es que OpenAI es quien más ha detallado sus medidas, en parte porque el éxito de ChatGPT hace que sean ellos quienes suelen estar en el punto de mira. Veamos qué dice cada una:

ChatGPT: Tras la noticia del suicidio de Adam Raine, OpenAI ha confirmado que añadirá controles parentales y salvaguardas adicionales, como que los usuarios puedan contactar con una persona de emergencia en un click e incluso que el chatbot contacte directamente con los servicios de emergencia en casos graves. Hasta ahora, instaba a los usuarios a contactar con la línea de ayuda de EEUU, pero ya hemos visto que para Adam fue muy fácil esquivar las advertencias.
Claude: Anthropic apuesta por la “seguridad por diseño”, es decir, aseguran que la seguridad está en el núcleo de su modelo desde el principio. Además, colaboraron con expertos de la organización de ayuda ThroughLine para que Claude fuera capaz de detectar conversaciones sensibles para refinar las respuestas, aunque no especifican cómo son esas respuestas.
Gemini: DeepMind también ha colaborado con organizaciones de salud como Welcome Trust, aunque su enfoque está más  enfocado a la investigación. En su política de seguridad afirman que Gemini no puede participar en ningún tipo de actividad peligrosa, incluyendo suicidio o autolesiones. No dicen si su chatbot ofrece algún tipo de guía o ayuda cuando detecta ese tipo de mensajes.
Grok: es el chatbot más imprudente, aunque sus casos más sonados han tenido que ver con sus mensajes antisemitas y no tanto con problemas de salud mental. Hemos revisado su política y no hemos encontrado ninguna referencia a salvaguardas específicas para proteger la salud mental de los usuarios.

El papel de los medios. El hecho de que cada vez surjan más noticias alarmantes que colocan a la IA como una especie de voz malvada que nos empuja a la locura está magnificando el problema. Es necesario poner esto en contexto: hablamos de una tecnología masiva, (sólo ChatGPT tiene 800 millones de usuarios) y habrá todo tipo de casuísticas, pero al poner el foco en esos casos tan extremos o trágicos podemos caer fácilmente en echar la culpa de todo a la IA. La preocupación por los riesgos en la salud mental está ahí y es real, pero hay que evitar caer en pánicos sociales como el que vivimos con los videojuegos.

Imagen de portada | Pixabay

En Xataka | ChatGPT para móvil ha generado 2.000 millones de dólares. Puede parecer mucho, pero en el universo de la IA es calderilla

– La noticia

Delirios en directo y suicidios alimentados por la IA: qué está pasando realmente con la IA y la salud mental

fue publicada originalmente en

Xataka

por
Amparo Babiloni

.   

​   

​