Ciencia y Tecnología

Ya sabemos cómo recuperar los prompts exactos que usa la gente en modelos de IA. Es una noticia terrorífica

Published

on

<p>&NewLine; <img src&equals;"https&colon;&sol;&sol;i&period;blogs&period;es&sol;dca63b&sol;chatgtp&sol;1024&lowbar;2000&period;jpeg" alt&equals;"Ya sabemos cómo recuperar los prompts exactos que usa la gente en modelos de IA&period; Es una noticia terrorífica ">&NewLine; <&sol;p>&NewLine;<p>Un grupo de investigadores ha publicado un estudio que vuelve a hacer saltar las alarmas en materia de privacidad al usar la IA&period; Lo que han logrado demostrar es que es posible conocer el prompt exacto que usó un usuario al preguntarle algo a un chatbot&comma; y eso pone a las empresas de IA en una posición delicada&period; Pueden&comma; más que nunca&comma; conocerlo todo de nosotros&period;<&sol;p>&NewLine;<p><&excl;-- BREAK 1 --><&sol;p>&NewLine;<p><strong>Un estudio terrorífico<&sol;strong>&period; Si a uno le dicen que &&num;8216&semi;Los modelos lingüísticos son inyectivos y&comma; por lo tanto&comma; invertibles&&num;8217&semi; se quedará probablemente a cuadros&period; <a rel&equals;"noopener&comma; noreferrer" href&equals;"https&colon;&sol;&sol;www&period;arxiv&period;org&sol;pdf&sol;2510&period;15511">Ese es el título<&sol;a> del estudio realizado por investigadores europeos en el que explican que los grandes modelos de lenguaje &lpar;LLM&rpar; tienen un gran problema de privacidad&period; Y lo tiene porque la arquitectura transformer está diseñada de esa forma&colon; a cada prompt diferente le corresponde una &&num;8220&semi;incrustación&&num;8221&semi; diferente en el espacio latente del modelo&period; <&sol;p>&NewLine;<p><&excl;-- BREAK 2 --><&sol;p>&NewLine;<div class&equals;"article-asset article-asset-normal article-asset-center">&NewLine;<div class&equals;"desvio-container">&NewLine;<div class&equals;"desvio">&NewLine;<div class&equals;"desvio-figure js-desvio-figure">&NewLine; <a href&equals;"https&colon;&sol;&sol;www&period;xataka&period;com&sol;robotica-e-ia&sol;privacidad-esta-muriendo-que-llego-chatgpt-ahora-nuestra-obsesion-que-ia-nos-conozca-mejor-posible" class&equals;"pivot-outboundlink" data-vars-post-title&equals;"La privacidad está muriendo desde que llegó ChatGPT&period; Ahora nuestra obsesión es que la IA nos conozca lo mejor posible "><br &sol;>&NewLine; <img alt&equals;"La privacidad está muriendo desde que llegó ChatGPT&period; Ahora nuestra obsesión es que la IA nos conozca lo mejor posible " width&equals;"375" height&equals;"142" src&equals;"https&colon;&sol;&sol;i&period;blogs&period;es&sol;330fd7&sol;ia-2&sol;375&lowbar;142&period;jpeg"><br &sol;>&NewLine; <&sol;a>&NewLine; <&sol;div>&NewLine;<div class&equals;"desvio-summary">&NewLine;<div class&equals;"desvio-taxonomy js-desvio-taxonomy">&NewLine; <a href&equals;"https&colon;&sol;&sol;www&period;xataka&period;com&sol;robotica-e-ia&sol;privacidad-esta-muriendo-que-llego-chatgpt-ahora-nuestra-obsesion-que-ia-nos-conozca-mejor-posible" class&equals;"desvio-taxonomy-anchor pivot-outboundlink" data-vars-post-title&equals;"La privacidad está muriendo desde que llegó ChatGPT&period; Ahora nuestra obsesión es que la IA nos conozca lo mejor posible ">En Xataka<&sol;a>&NewLine; <&sol;div>&NewLine;<p> <a href&equals;"https&colon;&sol;&sol;www&period;xataka&period;com&sol;robotica-e-ia&sol;privacidad-esta-muriendo-que-llego-chatgpt-ahora-nuestra-obsesion-que-ia-nos-conozca-mejor-posible" class&equals;"desvio-title js-desvio-title pivot-outboundlink" data-vars-post-title&equals;"La privacidad está muriendo desde que llegó ChatGPT&period; Ahora nuestra obsesión es que la IA nos conozca lo mejor posible ">La privacidad está muriendo desde que llegó ChatGPT&period; Ahora nuestra obsesión es que la IA nos conozca lo mejor posible <&sol;a>&NewLine; <&sol;div>&NewLine;<&sol;p><&sol;div>&NewLine;<&sol;p><&sol;div>&NewLine;<&sol;div>&NewLine;<p><strong>Un algoritmo chivato<&sol;strong>&period; Durante el desarrollo de su teoría los investigadores crearon un algoritmo llamado SIPIT &lpar;Sequential Inverse Prompt via ITerative updates&rpar;&period; Dicho algoritmo reconstruye el texto de entrada exacto a partir de las activaciones&sol;estados ocultos con una garantía de que lo hará en un tiempo lineal&period; O lo que es lo mismo&colon; puedes hacer que el modelo &&num;8220&semi;se chive&&num;8221&semi; fácil y rápidamente&period;<&sol;p>&NewLine;<p><&excl;-- BREAK 3 --><&sol;p>&NewLine;<p><strong>Qué significa esto<&sol;strong>&period; Lo que quiere decir todo esto es que la respuesta que obtuviste al usar ese modelo de IA permite averiguar exactamente lo que le preguntaste&period; En realidad no es la respuesta la que de delata&comma; sino los estados ocultos o embeddings que usan los modelos de IA para acabar dando la respuesta final&period; Eso es un problema&comma; porque las empresas de IA guardan esos estados ocultos&comma; lo que les permitiría teóricamente conocer el prompt de entrada con absoluta exactitud&period;<&sol;p>&NewLine;<p><&excl;-- BREAK 4 --><&sol;p>&NewLine;<p><strong>Pero muchas empresas ya guardaban los prompts<&sol;strong>&period; Eso es cierto&comma; pero esa &&num;8220&semi;inyectividad&&num;8221&semi; crea un riesgo de privacidad adicional&period; Muchos embeddings o estados internos e almacenan para cacheo&comma; para monitoreo o diagnóstico y para personalización&period; Si una empresa solo elimina la conversación en texto plano pero no borra el archivo de embeddings&comma; el prompt sigue siendo recuperable a partir de ese archivo&period; El estudio demuestra que cualquier sistema que almacene estados ocultos está manejando de forma efectiva el texto de entrada mismo&period; <&sol;p>&NewLine;<p><&excl;-- BREAK 5 --><&sol;p>&NewLine;<p><strong>Impacto legal<&sol;strong>&period; Aquí hay además un peligroso componente legal&period; Has tahora reguladores y empresas argumentaban que los estados internos no se consideraban como &&num;8220&semi;datos personales recuperables&&num;8221&semi;&comma; pero esa invertibilidad cambia las reglas del juego&period; Si una empresa de IA te dice que &&num;8220&semi;no te preocupes&comma; no guardo los prompts&&num;8221&semi; pero sí guarda los estados ocultos&comma; es como si esa teórica garantía de privacidad no sirviera de nada&period; <&sol;p>&NewLine;<p><&excl;-- BREAK 6 --><&sol;p>&NewLine;<p><strong>Posibles fugas de datos<&sol;strong>&period; A priori no parece sencillo que un potencial atacante pueda hacer algo así porque primero tendría que tener acceso a esos embeddings&period; Una violación de seguridad que resulte en la fuga de una base de dato de esos estados internos&sol;ocultos &lpar;embeddings&rpar; ya no se consideraría una exposición de datos &&num;8220&semi;abstractos&&num;8221&semi; o &&num;8220&semi;cifrados&&num;8221&semi;&comma; sino una fuente en texto plano a partir de la cual se podrían obtener por ejemplo los datos financieros o contraseñas que una empresa o usuario han usado al preguntarle al modelo de IA&period; <&sol;p>&NewLine;<p><&excl;-- BREAK 7 --><&sol;p>&NewLine;<div class&equals;"article-asset-video article-asset-normal">&NewLine;<div class&equals;"asset-content">&NewLine;<div class&equals;"base-asset-video">&NewLine;<div class&equals;"js-dailymotion"><&sol;div>&NewLine;<&sol;p><&sol;div>&NewLine;<&sol;p><&sol;div>&NewLine;<&sol;div>&NewLine;<p><strong>Derecho al olvido<&sol;strong>&period; Esa inyectividad de los LLM complica también los requisitos del cumplimiento normativo de la protección de los datos personales&comma; como el RGPD o el &&num;8220&semi;derecho al olvido&&num;8221&semi;&period; Si un usuario solicita la eliminación total de sus datos a una empresa como OpenAI&comma; esta debe asegurarse de eliminar no solo los registros de chats visibles&comma; sino también todas las representaciones internas &lpar;embeddings&rpar;&period; Si algún estado oculto persiste en algún registro o caché&comma; el prompt original seguiría siendo potencialmente recuperable&period; <&sol;p>&NewLine;<p><&excl;-- BREAK 8 --><&sol;p>&NewLine;<p>Imagen &vert; <a rel&equals;"noopener&comma; noreferrer" href&equals;"https&colon;&sol;&sol;unsplash&period;com&sol;es&sol;fotos&sol;una-pantalla-de-computadora-con-un-monton-de-botones-drwpcjkvxuU">Levart Photographer<&sol;a><&sol;p>&NewLine;<p>En Xataka &vert; <a class&equals;"text-outboundlink" href&equals;"https&colon;&sol;&sol;www&period;xataka&period;com&sol;robotica-e-ia&sol;openai-esta-levantando-mayor-castillo-naipes-historia-su-financiacion-circular-agrava-amenaza-burbuja-ia" data-vars-post-title&equals;"OpenAI está consiguiendo que la industria tech una su destino al suyo&period; Por el bien de la economía mundial&comma; más vale que funcione" data-vars-post-url&equals;"https&colon;&sol;&sol;www&period;xataka&period;com&sol;robotica-e-ia&sol;openai-esta-levantando-mayor-castillo-naipes-historia-su-financiacion-circular-agrava-amenaza-burbuja-ia">OpenAI está consiguiendo que la industria tech una su destino al suyo&period; Por el bien de la economía mundial&comma; más vale que funcione<&sol;a><&sol;p>&NewLine;<p> &&num;8211&semi; <br &sol;> La noticia<br &sol;>&NewLine; <a href&equals;"https&colon;&sol;&sol;www&period;xataka&period;com&sol;robotica-e-ia&sol;sabemos-como-recuperar-prompts-exactos-que-usa-gente-modelos-ia-noticia-terrorifica&quest;utm&lowbar;source&equals;feedburner&amp&semi;utm&lowbar;medium&equals;feed&amp&semi;utm&lowbar;campaign&equals;31&lowbar;Oct&lowbar;2025"><br &sol;>&NewLine; <em> Ya sabemos cómo recuperar los prompts exactos que usa la gente en modelos de IA&period; Es una noticia terrorífica <&sol;em><br &sol;>&NewLine; <&sol;a><br &sol;>&NewLine; fue publicada originalmente en<br &sol;>&NewLine; <a href&equals;"https&colon;&sol;&sol;www&period;xataka&period;com&sol;&quest;utm&lowbar;source&equals;feedburner&amp&semi;utm&lowbar;medium&equals;feed&amp&semi;utm&lowbar;campaign&equals;31&lowbar;Oct&lowbar;2025"><br &sol;>&NewLine; <strong> Xataka <&sol;strong><br &sol;>&NewLine; <&sol;a><br &sol;>&NewLine; por <a href&equals;"https&colon;&sol;&sol;www&period;xataka&period;com&sol;autor&sol;javier-pastor&quest;utm&lowbar;source&equals;feedburner&amp&semi;utm&lowbar;medium&equals;feed&amp&semi;utm&lowbar;campaign&equals;31&lowbar;Oct&lowbar;2025"><br &sol;>&NewLine; Javier Pastor<br &sol;>&NewLine; <&sol;a><br &sol;>&NewLine; &period; <&sol;p>&NewLine;<p>&ZeroWidthSpace;Un grupo de investigadores ha publicado un estudio que vuelve a hacer saltar las alarmas en materia de privacidad al usar la IA&period; Lo que han logrado demostrar es que es posible conocer el prompt exacto que usó un usuario al preguntarle algo a un chatbot&comma; y eso pone a las empresas de IA en una posición delicada&period; Pueden&comma; más que nunca&comma; conocerlo todo de nosotros&period;<&sol;p>&NewLine;<p>Un estudio terrorífico&period; Si a uno le dicen que &&num;8216&semi;Los modelos lingüísticos son inyectivos y&comma; por lo tanto&comma; invertibles&&num;8217&semi; se quedará probablemente a cuadros&period; Ese es el título del estudio realizado por investigadores europeos en el que explican que los grandes modelos de lenguaje &lpar;LLM&rpar; tienen un gran problema de privacidad&period; Y lo tiene porque la arquitectura transformer está diseñada de esa forma&colon; a cada prompt diferente le corresponde una &&num;8220&semi;incrustación&&num;8221&semi; diferente en el espacio latente del modelo&period; <&sol;p>&NewLine;<p> En Xataka<&sol;p>&NewLine;<p> La privacidad está muriendo desde que llegó ChatGPT&period; Ahora nuestra obsesión es que la IA nos conozca lo mejor posible <&sol;p>&NewLine;<p>Un algoritmo chivato&period; Durante el desarrollo de su teoría los investigadores crearon un algoritmo llamado SIPIT &lpar;Sequential Inverse Prompt via ITerative updates&rpar;&period; Dicho algoritmo reconstruye el texto de entrada exacto a partir de las activaciones&sol;estados ocultos con una garantía de que lo hará en un tiempo lineal&period; O lo que es lo mismo&colon; puedes hacer que el modelo &&num;8220&semi;se chive&&num;8221&semi; fácil y rápidamente&period;<&sol;p>&NewLine;<p>Qué significa esto&period; Lo que quiere decir todo esto es que la respuesta que obtuviste al usar ese modelo de IA permite averiguar exactamente lo que le preguntaste&period; En realidad no es la respuesta la que de delata&comma; sino los estados ocultos o embeddings que usan los modelos de IA para acabar dando la respuesta final&period; Eso es un problema&comma; porque las empresas de IA guardan esos estados ocultos&comma; lo que les permitiría teóricamente conocer el prompt de entrada con absoluta exactitud&period;<&sol;p>&NewLine;<p>Pero muchas empresas ya guardaban los prompts&period; Eso es cierto&comma; pero esa &&num;8220&semi;inyectividad&&num;8221&semi; crea un riesgo de privacidad adicional&period; Muchos embeddings o estados internos e almacenan para cacheo&comma; para monitoreo o diagnóstico y para personalización&period; Si una empresa solo elimina la conversación en texto plano pero no borra el archivo de embeddings&comma; el prompt sigue siendo recuperable a partir de ese archivo&period; El estudio demuestra que cualquier sistema que almacene estados ocultos está manejando de forma efectiva el texto de entrada mismo&period; <&sol;p>&NewLine;<p>Impacto legal&period; Aquí hay además un peligroso componente legal&period; Has tahora reguladores y empresas argumentaban que los estados internos no se consideraban como &&num;8220&semi;datos personales recuperables&&num;8221&semi;&comma; pero esa invertibilidad cambia las reglas del juego&period; Si una empresa de IA te dice que &&num;8220&semi;no te preocupes&comma; no guardo los prompts&&num;8221&semi; pero sí guarda los estados ocultos&comma; es como si esa teórica garantía de privacidad no sirviera de nada&period; <&sol;p>&NewLine;<p>Posibles fugas de datos&period; A priori no parece sencillo que un potencial atacante pueda hacer algo así porque primero tendría que tener acceso a esos embeddings&period; Una violación de seguridad que resulte en la fuga de una base de dato de esos estados internos&sol;ocultos &lpar;embeddings&rpar; ya no se consideraría una exposición de datos &&num;8220&semi;abstractos&&num;8221&semi; o &&num;8220&semi;cifrados&&num;8221&semi;&comma; sino una fuente en texto plano a partir de la cual se podrían obtener por ejemplo los datos financieros o contraseñas que una empresa o usuario han usado al preguntarle al modelo de IA&period; <&sol;p>&NewLine;<p>Derecho al olvido&period; Esa inyectividad de los LLM complica también los requisitos del cumplimiento normativo de la protección de los datos personales&comma; como el RGPD o el &&num;8220&semi;derecho al olvido&&num;8221&semi;&period; Si un usuario solicita la eliminación total de sus datos a una empresa como OpenAI&comma; esta debe asegurarse de eliminar no solo los registros de chats visibles&comma; sino también todas las representaciones internas &lpar;embeddings&rpar;&period; Si algún estado oculto persiste en algún registro o caché&comma; el prompt original seguiría siendo potencialmente recuperable&period; <&sol;p>&NewLine;<p>Imagen &vert; Levart Photographer<&sol;p>&NewLine;<p>En Xataka &vert; OpenAI está consiguiendo que la industria tech una su destino al suyo&period; Por el bien de la economía mundial&comma; más vale que funcione<&sol;p>&NewLine;<p> &&num;8211&semi; La noticia<&sol;p>&NewLine;<p> Ya sabemos cómo recuperar los prompts exactos que usa la gente en modelos de IA&period; Es una noticia terrorífica <&sol;p>&NewLine;<p> fue publicada originalmente en<&sol;p>&NewLine;<p> Xataka <&sol;p>&NewLine;<p> por<br &sol;>&NewLine; Javier Pastor<&sol;p>&NewLine;<p> &period;   <&sol;p>&NewLine;<p>&ZeroWidthSpace;   <&sol;p>&NewLine;<p>&ZeroWidthSpace; <&sol;p>&NewLine;

Leave a Reply

Your email address will not be published. Required fields are marked *

Noticias Importantes

Copyright © 2017 ERM DIGITAL. powered by ERM.