Ya sabemos cómo recuperar los prompts exactos que usa la gente en modelos de IA. Es una noticia terrorífica

Un grupo de investigadores ha publicado un estudio que vuelve a hacer saltar las alarmas en materia de privacidad al usar la IA. Lo que han logrado demostrar es que es posible conocer el prompt exacto que usó un usuario al preguntarle algo a un chatbot, y eso pone a las empresas de IA en una posición delicada. Pueden, más que nunca, conocerlo todo de nosotros.

Un estudio terrorífico. Si a uno le dicen que ‘Los modelos lingüísticos son inyectivos y, por lo tanto, invertibles’ se quedará probablemente a cuadros. Ese es el título del estudio realizado por investigadores europeos en el que explican que los grandes modelos de lenguaje (LLM) tienen un gran problema de privacidad. Y lo tiene porque la arquitectura transformer está diseñada de esa forma: a cada prompt diferente le corresponde una “incrustación” diferente en el espacio latente del modelo. 

En Xataka

La privacidad está muriendo desde que llegó ChatGPT. Ahora nuestra obsesión es que la IA nos conozca lo mejor posible

Un algoritmo chivato. Durante el desarrollo de su teoría los investigadores crearon un algoritmo llamado SIPIT (Sequential Inverse Prompt via ITerative updates). Dicho algoritmo reconstruye el texto de entrada exacto a partir de las activaciones/estados ocultos con una garantía de que lo hará en un tiempo lineal. O lo que es lo mismo: puedes hacer que el modelo “se chive” fácil y rápidamente.

Qué significa esto. Lo que quiere decir todo esto es que la respuesta que obtuviste al usar ese modelo de IA permite averiguar exactamente lo que le preguntaste. En realidad no es la respuesta la que de delata, sino los estados ocultos o embeddings que usan los modelos de IA para acabar dando la respuesta final. Eso es un problema, porque las empresas de IA guardan esos estados ocultos, lo que les permitiría teóricamente conocer el prompt de entrada con absoluta exactitud.

Pero muchas empresas ya guardaban los prompts. Eso es cierto, pero esa “inyectividad” crea un riesgo de privacidad adicional. Muchos embeddings o estados internos e almacenan para cacheo, para monitoreo o diagnóstico y para personalización. Si una empresa solo elimina la conversación en texto plano pero no borra el archivo de embeddings, el prompt sigue siendo recuperable a partir de ese archivo. El estudio demuestra que cualquier sistema que almacene estados ocultos está manejando de forma efectiva el texto de entrada mismo. 

Impacto legal. Aquí hay además un peligroso componente legal. Has tahora reguladores y empresas argumentaban que los estados internos no se consideraban como “datos personales recuperables”, pero esa invertibilidad cambia las reglas del juego. Si una empresa de IA te dice que “no te preocupes, no guardo los prompts” pero sí guarda los estados ocultos, es como si esa teórica garantía de privacidad no sirviera de nada. 

Posibles fugas de datos. A priori no parece sencillo que un potencial atacante pueda hacer algo así porque primero tendría que tener acceso a esos embeddings. Una violación de seguridad que resulte en la fuga de una base de dato de esos estados internos/ocultos (embeddings) ya no se consideraría una exposición de datos “abstractos” o “cifrados”, sino una fuente en texto plano a partir de la cual se podrían obtener por ejemplo los datos financieros o contraseñas que una empresa o usuario han usado al preguntarle al modelo de IA. 

Derecho al olvido. Esa inyectividad de los LLM complica también los requisitos del cumplimiento normativo de la protección de los datos personales, como el RGPD o el “derecho al olvido”. Si un usuario solicita la eliminación total de sus datos a una empresa como OpenAI, esta debe asegurarse de eliminar no solo los registros de chats visibles, sino también todas las representaciones internas (embeddings). Si algún estado oculto persiste en algún registro o caché, el prompt original seguiría siendo potencialmente recuperable. 

Imagen | Levart Photographer

En Xataka | OpenAI está consiguiendo que la industria tech una su destino al suyo. Por el bien de la economía mundial, más vale que funcione

–
La noticia

Ya sabemos cómo recuperar los prompts exactos que usa la gente en modelos de IA. Es una noticia terrorífica

fue publicada originalmente en

Xataka

por
Javier Pastor

.

​Un grupo de investigadores ha publicado un estudio que vuelve a hacer saltar las alarmas en materia de privacidad al usar la IA. Lo que han logrado demostrar es que es posible conocer el prompt exacto que usó un usuario al preguntarle algo a un chatbot, y eso pone a las empresas de IA en una posición delicada. Pueden, más que nunca, conocerlo todo de nosotros.

Un estudio terrorífico. Si a uno le dicen que ‘Los modelos lingüísticos son inyectivos y, por lo tanto, invertibles’ se quedará probablemente a cuadros. Ese es el título del estudio realizado por investigadores europeos en el que explican que los grandes modelos de lenguaje (LLM) tienen un gran problema de privacidad. Y lo tiene porque la arquitectura transformer está diseñada de esa forma: a cada prompt diferente le corresponde una “incrustación” diferente en el espacio latente del modelo. 

En Xataka

La privacidad está muriendo desde que llegó ChatGPT. Ahora nuestra obsesión es que la IA nos conozca lo mejor posible

Un algoritmo chivato. Durante el desarrollo de su teoría los investigadores crearon un algoritmo llamado SIPIT (Sequential Inverse Prompt via ITerative updates). Dicho algoritmo reconstruye el texto de entrada exacto a partir de las activaciones/estados ocultos con una garantía de que lo hará en un tiempo lineal. O lo que es lo mismo: puedes hacer que el modelo “se chive” fácil y rápidamente.

Qué significa esto. Lo que quiere decir todo esto es que la respuesta que obtuviste al usar ese modelo de IA permite averiguar exactamente lo que le preguntaste. En realidad no es la respuesta la que de delata, sino los estados ocultos o embeddings que usan los modelos de IA para acabar dando la respuesta final. Eso es un problema, porque las empresas de IA guardan esos estados ocultos, lo que les permitiría teóricamente conocer el prompt de entrada con absoluta exactitud.

Pero muchas empresas ya guardaban los prompts. Eso es cierto, pero esa “inyectividad” crea un riesgo de privacidad adicional. Muchos embeddings o estados internos e almacenan para cacheo, para monitoreo o diagnóstico y para personalización. Si una empresa solo elimina la conversación en texto plano pero no borra el archivo de embeddings, el prompt sigue siendo recuperable a partir de ese archivo. El estudio demuestra que cualquier sistema que almacene estados ocultos está manejando de forma efectiva el texto de entrada mismo. 

Impacto legal. Aquí hay además un peligroso componente legal. Has tahora reguladores y empresas argumentaban que los estados internos no se consideraban como “datos personales recuperables”, pero esa invertibilidad cambia las reglas del juego. Si una empresa de IA te dice que “no te preocupes, no guardo los prompts” pero sí guarda los estados ocultos, es como si esa teórica garantía de privacidad no sirviera de nada. 

Posibles fugas de datos. A priori no parece sencillo que un potencial atacante pueda hacer algo así porque primero tendría que tener acceso a esos embeddings. Una violación de seguridad que resulte en la fuga de una base de dato de esos estados internos/ocultos (embeddings) ya no se consideraría una exposición de datos “abstractos” o “cifrados”, sino una fuente en texto plano a partir de la cual se podrían obtener por ejemplo los datos financieros o contraseñas que una empresa o usuario han usado al preguntarle al modelo de IA. 

Derecho al olvido. Esa inyectividad de los LLM complica también los requisitos del cumplimiento normativo de la protección de los datos personales, como el RGPD o el “derecho al olvido”. Si un usuario solicita la eliminación total de sus datos a una empresa como OpenAI, esta debe asegurarse de eliminar no solo los registros de chats visibles, sino también todas las representaciones internas (embeddings). Si algún estado oculto persiste en algún registro o caché, el prompt original seguiría siendo potencialmente recuperable. 

Imagen | Levart Photographer

En Xataka | OpenAI está consiguiendo que la industria tech una su destino al suyo. Por el bien de la economía mundial, más vale que funcione

– La noticia

Ya sabemos cómo recuperar los prompts exactos que usa la gente en modelos de IA. Es una noticia terrorífica

fue publicada originalmente en

Xataka

por
Javier Pastor

.   

​   

​