Pensilvania (EEUU) demanda a una empresa de IA por desarrollar chatbots que se hacen pasar por médicos colegiados

La demanda podría plantear la cuestión de si se puede acusar a la inteligencia artificial de ejercer la medicina, en lugar de limitarse a reproducir contenido procedente de internet Leer La demanda podría plantear la cuestión de si se puede acusar a la inteligencia artificial de ejercer la medicina, en lugar de limitarse a reproducir contenido procedente de internet Leer   

Pensilvania ha presentado una demanda contra una empresa de inteligencia artificial a la que acusa de desarrollar chatbots que se hacen pasar ilegalmente por médicos y que están engañando a los usuarios del sistema haciéndoles creer que reciben asesoramiento médico de un profesional colegiado.

La demanda, presentada el viernes, solicita al tribunal estatal competente que ordene a Character Technologies Inc., la empresa desarrolladora de Character.AI, que deje de permitir que sus chatbots "incurran en prácticas médicas y quirúrgicas ilegales".

La demanda podría plantear la cuestión de si se puede acusar a la inteligencia artificial de ejercer la medicina, en lugar de limitarse a reproducir contenido procedente de internet.

Y, ante el creciente número de demandas por negligencia o mala praxis contra empresas de IA, el litigio podría contribuir a que los tribunales se pronuncien sobre si los chatbots están protegidos por una ley federal que, por lo general, exime a las empresas de internet de responsabilidad por el contenido que publican los usuarios en sus servicios.

La oficina del gobernador Josh Shapiro calificó la demanda como "la primera actuación de este tipo" y se produce en un contexto de creciente presión por parte de los estados sobre las empresas tecnológicas para que controlen los mensajes potencialmente peligrosos de sus chatbots, especialmente cuando van dirigidos a menores de edad.

La demanda señala que un investigador del organismo estatal encargado de conceder licencias a profesionales creó una cuenta en Character.AI, buscó la palabra "psiquiatría" y encontró una gran cantidad de personajes, incluido uno descrito como "doctor en psiquiatría".

Ese personaje se presentaba como capaz de evaluar al investigador "como un médico" colegiado en Pensilvania, según la demanda.

"Los habitantes de Pensilvania merecen saber con quién —o con qué— están interactuando en internet, especialmente cuando se trata de su salud", declaró Shapiro en un comunicado. "No permitiremos que las empresas desplieguen herramientas de IA que induzcan a las personas a creer que están recibiendo asesoramiento de un profesional médico colegiado".

Character.AI indicó el martes en un comunicado que da prioridad al desarrollo responsable de sus productos y al bienestar de sus usuarios. Publica avisos legales para informar de que los personajes de su sitio web no son personas reales y que todo lo que dicen "debe tratarse como ficción".

Dichos avisos también señalan que los usuarios no deben confiar en los personajes para obtener asesoramiento profesional.

Derek Leben, profesor asociado de ética en la Universidad Carnegie Mellon especializado en IA, destacó que las cuestiones éticas a las que se enfrenta Character.AI podrían ser distintas a las de otras plataformas como ChatGPT o Claude. Esto se debe a que Character.AI se presenta explícitamente como una plataforma de juego de rol de ficción, y no como un chatbot de propósito general, explicó Leben.

Aun así, la demanda de Pensilvania plantea la cuestión de si se puede acusar a los chatbots de ejercer la medicina, subrayó Leben. Y, a medida que aumentan las demandas contra empresas de IA, los tribunales tratan de determinar si los desarrolladores deben ser responsables de lo que dicen estos sistemas.

"Esa es precisamente la cuestión que se está debatiendo en estos casos en este momento", afirmó Leben.

Las empresas de IA se defienden cada vez más de estas acusaciones alegando que simplemente proporcionan información disponible en otros lugares de internet, comentó Leben, y el debate podría centrarse en si se benefician de las protecciones de una ley federal que también ampara a las redes sociales.

Incluso antes de esta demanda, responsables políticos estatales ya habían expresado su preocupación por los chatbots que se hacen pasar por profesionales sanitarios.

Legisladores de California aprobaron el año pasado un proyecto de ley respaldado por la Asociación Médica de California que permite a las agencias estatales sancionar a sistemas de IA, como chatbots, que se presenten como profesionales de la salud. Una iniciativa similar está pendiente en Nueva York.

Los estados se muestran escépticos respecto a la autorregulación de la IA, afirmó Amina Fazlullah, directora de políticas tecnológicas de Common Sense Media, organización que promueve la protección de los menores en internet.

"No hemos visto que funcione especialmente bien con las redes sociales, en particular en lo que respecta a los menores", señaló Fazlullah.

Fiscales generales de 39 estados y Washington D. C. enviaron una carta en diciembre pasado a Character Technologies y a otras 12 empresas tecnológicas —incluidas Anthropic, Meta, Apple, Microsoft, OpenAI, Google y xAI— para advertirles del aumento de mensajes engañosos y manipuladores por parte de chatbots que podrían vulnerar las leyes estatales.

Afirmaron que "es ilegal proporcionar asesoramiento en salud mental sin la correspondiente licencia médica, y hacerlo puede mermar la confianza en la profesión, además de disuadir a las personas de acudir a profesionales reales".

Character Technologies ya se ha enfrentado a varias demandas relacionadas con la seguridad infantil.

En enero, Kentucky presentó una demanda de protección al consumidor contra la empresa, mientras que Google y Character Technologies acordaron resolver extrajudicialmente una demanda presentada por una madre que alegó que un chatbot indujo a su hijo adolescente a quitarse la vida.

Character.AI prohibió a finales del año pasado el uso de sus chatbots a menores de edad.