Ciencia y Tecnología

Los modelos de IA tienen un problema: se llama ‘data poisoning’ y los está envenenando desde dentro

Published

on

<p>&NewLine; <img src&equals;"https&colon;&sol;&sol;i&period;blogs&period;es&sol;1743d4&sol;shayna-bepple-take-2sxy6i7-yg8-unsplash&sol;1024&lowbar;2000&period;jpeg" alt&equals;"Los modelos de IA tienen un problema&colon; se llama 'data poisoning' y los está envenenando desde dentro ">&NewLine; <&sol;p>&NewLine;<p>La IA está en todas partes y cada vez <a rel&equals;"noopener&comma; noreferrer" href&equals;"https&colon;&sol;&sol;openai&period;com&sol;index&sol;how-people-are-using-chatgpt&sol;">suma más usuarios<&sol;a>&period; El paso lógico es que también fuera el objetivo de ataques maliciosos&period; Ya hemos hablado de <a class&equals;"text-outboundlink" href&equals;"https&colon;&sol;&sol;www&period;xataka&period;com&sol;robotica-e-ia&sol;ia-notion-puede-ser-hackeada-simple-pdf-asi-posible-robar-informacion-empresas-que-nadie-se-entere" data-vars-post-title&equals;"Los agentes de IA son muy útiles&comma; hasta que se vuelven en tu contra para filtrar información&colon; los peligros del 'prompt injection'" data-vars-post-url&equals;"https&colon;&sol;&sol;www&period;xataka&period;com&sol;robotica-e-ia&sol;ia-notion-puede-ser-hackeada-simple-pdf-asi-posible-robar-informacion-empresas-que-nadie-se-entere">los peligros del &&num;8216&semi;prompt injection&&num;8217&semi;&comma;<&sol;a> un ataque sorprendentemente fácil de ejecutar&period; No es el único&period; Las empresas de IA también están luchando contra el &&num;8216&semi;data poisoning&&num;8217&semi;&period;<&sol;p>&NewLine;<p><&excl;-- BREAK 1 --><&sol;p>&NewLine;<p><strong>Datos envenenados<&sol;strong>&period; Consiste en introducir datos manipulados en recursos que después serán usados para el entrenamiento de la IA&period; Según <a rel&equals;"noopener&comma; noreferrer" href&equals;"https&colon;&sol;&sol;arxiv&period;org&sol;abs&sol;2510&period;07192">una investigación reciente<&sol;a>&comma; no se necesitan tantos documentos maliciosos para comprometer un modelo de lenguaje como se creía&period; Comprobaron que con tan sólo 250 documentos &&num;8220&semi;envenenados&&num;8221&semi; se logró comprometer modelos de hasta 13&period;000 millones de parámetros&period; El resultado es que el modelo puede tener sesgos o llegar a conclusiones erróneas&period; <&sol;p>&NewLine;<p><&excl;-- BREAK 2 --><&sol;p>&NewLine;<div class&equals;"article-asset article-asset-normal article-asset-center">&NewLine;<div class&equals;"desvio-container">&NewLine;<div class&equals;"desvio">&NewLine;<div class&equals;"desvio-figure js-desvio-figure">&NewLine; <a href&equals;"https&colon;&sol;&sol;www&period;xataka&period;com&sol;magnet&sol;robo-louvre-recupera-viejos-problemas-seguridad-hace-siglo-se-llevaron-gioconda-descuido" class&equals;"pivot-outboundlink" data-vars-post-title&equals;"Con razón el robo de las joyas en el Louvre ha sido tan fácil&colon; la seguridad del museo lleva más de un siglo siendo un desastre"><br &sol;>&NewLine; <img alt&equals;"Con razón el robo de las joyas en el Louvre ha sido tan fácil&colon; la seguridad del museo lleva más de un siglo siendo un desastre" width&equals;"375" height&equals;"142" src&equals;"https&colon;&sol;&sol;i&period;blogs&period;es&sol;2ba9ca&sol;ps---plantilla-portadas-xtk&sol;375&lowbar;142&period;jpeg"><br &sol;>&NewLine; <&sol;a>&NewLine; <&sol;div>&NewLine;<div class&equals;"desvio-summary">&NewLine;<div class&equals;"desvio-taxonomy js-desvio-taxonomy">&NewLine; <a href&equals;"https&colon;&sol;&sol;www&period;xataka&period;com&sol;magnet&sol;robo-louvre-recupera-viejos-problemas-seguridad-hace-siglo-se-llevaron-gioconda-descuido" class&equals;"desvio-taxonomy-anchor pivot-outboundlink" data-vars-post-title&equals;"Con razón el robo de las joyas en el Louvre ha sido tan fácil&colon; la seguridad del museo lleva más de un siglo siendo un desastre">En Xataka<&sol;a>&NewLine; <&sol;div>&NewLine;<p> <a href&equals;"https&colon;&sol;&sol;www&period;xataka&period;com&sol;magnet&sol;robo-louvre-recupera-viejos-problemas-seguridad-hace-siglo-se-llevaron-gioconda-descuido" class&equals;"desvio-title js-desvio-title pivot-outboundlink" data-vars-post-title&equals;"Con razón el robo de las joyas en el Louvre ha sido tan fácil&colon; la seguridad del museo lleva más de un siglo siendo un desastre">Con razón el robo de las joyas en el Louvre ha sido tan fácil&colon; la seguridad del museo lleva más de un siglo siendo un desastre<&sol;a>&NewLine; <&sol;div>&NewLine;<&sol;p><&sol;div>&NewLine;<&sol;p><&sol;div>&NewLine;<&sol;div>&NewLine;<p><strong>Inyección de prompts<&sol;strong>&period; Es uno de los <a class&equals;"text-outboundlink" href&equals;"https&colon;&sol;&sol;www&period;xataka&period;com&sol;robotica-e-ia&sol;navegadores-agenticos-que-hacen-todo-nosotros-parecen-maravillosos-que-hackean-para-robarnos-cartera" data-vars-post-title&equals;"Los navegadores de IA tienen un problemón&colon; que cualquiera que sepa escribir será capaz de hackearlos" data-vars-post-url&equals;"https&colon;&sol;&sol;www&period;xataka&period;com&sol;robotica-e-ia&sol;navegadores-agenticos-que-hacen-todo-nosotros-parecen-maravillosos-que-hackean-para-robarnos-cartera">problemas a los que se enfrentan los navegadores con IA<&sol;a> como ChatGPT Atlas o Comet&period; Simplemente colocando un prompt invisible en un correo o una web se puede conseguir que la IA entregue información privada al no ser capaz de distinguir qué es una instrucción del usuario y qué una instrucción maliciosa&period; En el caso de agentes IA es especialmente peligroso ya que pueden ejecutar acciones en nuestro nombre&period;<&sol;p>&NewLine;<p><&excl;-- BREAK 3 --><&sol;p>&NewLine;<p><strong>IA para hacer el mal<&sol;strong>&period; Según un <a rel&equals;"noopener&comma; noreferrer" href&equals;"https&colon;&sol;&sol;www&period;crowdstrike&period;com&sol;explore&sol;crowdstrike-content&sol;2025-report-crowdstrike-ransomware-survey&quest;utm&lowbar;medium&equals;soc&amp&semi;utm&lowbar;source&equals;lnkd&amp&semi;utm&lowbar;term&equals;spklr&amp&semi;utm&lowbar;content&equals;18577362790&amp&semi;utm&lowbar;campaign&equals;platform&percnt;2Fproduct&amp&semi;utm&lowbar;activation&equals;content&percnt;3A&plus;product">informe de Crowdstrike<&sol;a>&comma; la IA se ha convertido en el arma predilecta para los ciberdelincuentes&comma; que la usan para automatizar y perfeccionar sus ataques&comma; especialmente el ransomware&period; El <a rel&equals;"noopener&comma; noreferrer" href&equals;"https&colon;&sol;&sol;mitsloan&period;mit&period;edu&sol;ideas-made-to-matter&sol;80-ransomware-attacks-now-use-artificial-intelligence">MIT <&sol;a>analizó más de 2&period;800 ataques ransomware y descubrieron que el 80&percnt; habían empleado IA&period; La cifra es aplastante&period;<&sol;p>&NewLine;<p><&excl;-- BREAK 4 --><&sol;p>&NewLine;<div class&equals;"article-asset-video article-asset-normal">&NewLine;<div class&equals;"asset-content">&NewLine;<div class&equals;"base-asset-video">&NewLine;<div class&equals;"js-dailymotion"><&sol;div>&NewLine;<&sol;p><&sol;div>&NewLine;<&sol;p><&sol;div>&NewLine;<&sol;div>&NewLine;<p><strong>Colaboración<&sol;strong>&period; Cuentan en <a rel&equals;"noopener&comma; noreferrer" href&equals;"https&colon;&sol;&sol;www&period;ft&period;com&sol;content&sol;56cb100e-7146-488f-aae5-55304ae0eff6">Financial Times<&sol;a> que las principales empresas IA&comma; como DeepMind&comma; OpenAI&comma; Microsoft y Anthropic están trabajando de forma conjunta para analizar los métodos de ataque más frecuentes y diseñar estrategias defensivas en colaboración&period; Están recurriendo a hackers éticos y otros expertos independientes para que intenten vulnerar sus sistemas y así poder fortalecerlos&period; <&sol;p>&NewLine;<p><&excl;-- BREAK 5 --><&sol;p>&NewLine;<p><strong>Urgencia<&sol;strong>&period;  Los navegadores IA y los agentes ya están aquí&comma; pero estamos a tiempo porque aún no ha habido una adopción masiva&period; Urge  fortalecer los sistemas&comma; especialmente para prevenir la inyección de prompts que tan fácilmente pueden robar nuestros datos&period;<&sol;p>&NewLine;<p><&excl;-- BREAK 6 --><&sol;p>&NewLine;<p>Imagen &vert; <a rel&equals;"noopener&comma; noreferrer" href&equals;"https&colon;&sol;&sol;unsplash&period;com&sol;es&sol;&commat;shayyyyyyyna&quest;utm&lowbar;source&equals;unsplash&amp&semi;utm&lowbar;medium&equals;referral&amp&semi;utm&lowbar;content&equals;creditCopyText">Shayna &&num;8220&semi;Bepple&&num;8221&semi; Take<&sol;a> en <a rel&equals;"noopener&comma; noreferrer" href&equals;"https&colon;&sol;&sol;unsplash&period;com&sol;es&sol;fotos&sol;escorpion-de-corteza-de-arizona-en-las-rocas-2SXY6i7-Yg8&quest;utm&lowbar;source&equals;unsplash&amp&semi;utm&lowbar;medium&equals;referral&amp&semi;utm&lowbar;content&equals;creditCopyText">Unsplash<&sol;a><&sol;p>&NewLine;<p>En Xataka &vert; <a class&equals;"text-outboundlink" href&equals;"https&colon;&sol;&sol;www&period;xataka&period;com&sol;robotica-e-ia&sol;seguridad-nuestros-hijos-no-esta-venta-esta-aqui-primera-ley-que-regula-amigos-ia" data-vars-post-title&equals;"&quot&semi;La seguridad de nuestros hijos no está en venta&quot&semi;&colon; ya está aquí la primera ley que regula los 'amigos IA' " data-vars-post-url&equals;"https&colon;&sol;&sol;www&period;xataka&period;com&sol;robotica-e-ia&sol;seguridad-nuestros-hijos-no-esta-venta-esta-aqui-primera-ley-que-regula-amigos-ia" target&equals;"&lowbar;blank">&&num;8220&semi;La seguridad de nuestros hijos no está en venta&&num;8221&semi;&colon; ya está aquí la primera ley que regula los &&num;8216&semi;amigos IA&&num;8217&semi;<&sol;a><&sol;p>&NewLine;<p> &&num;8211&semi; <br &sol;> La noticia<br &sol;>&NewLine; <a href&equals;"https&colon;&sol;&sol;www&period;xataka&period;com&sol;robotica-e-ia&sol;modelos-ia-tienen-problema-se-llama-data-poisoning-esta-envenenando-dentro&quest;utm&lowbar;source&equals;feedburner&amp&semi;utm&lowbar;medium&equals;feed&amp&semi;utm&lowbar;campaign&equals;03&lowbar;Nov&lowbar;2025"><br &sol;>&NewLine; <em> Los modelos de IA tienen un problema&colon; se llama &&num;8216&semi;data poisoning&&num;8217&semi; y los está envenenando desde dentro <&sol;em><br &sol;>&NewLine; <&sol;a><br &sol;>&NewLine; fue publicada originalmente en<br &sol;>&NewLine; <a href&equals;"https&colon;&sol;&sol;www&period;xataka&period;com&sol;&quest;utm&lowbar;source&equals;feedburner&amp&semi;utm&lowbar;medium&equals;feed&amp&semi;utm&lowbar;campaign&equals;03&lowbar;Nov&lowbar;2025"><br &sol;>&NewLine; <strong> Xataka <&sol;strong><br &sol;>&NewLine; <&sol;a><br &sol;>&NewLine; por <a href&equals;"https&colon;&sol;&sol;www&period;xataka&period;com&sol;autor&sol;amparo-babiloni&quest;utm&lowbar;source&equals;feedburner&amp&semi;utm&lowbar;medium&equals;feed&amp&semi;utm&lowbar;campaign&equals;03&lowbar;Nov&lowbar;2025"><br &sol;>&NewLine; Amparo Babiloni<br &sol;>&NewLine; <&sol;a><br &sol;>&NewLine; &period; <&sol;p>&NewLine;<p>&ZeroWidthSpace;La IA está en todas partes y cada vez suma más usuarios&period; El paso lógico es que también fuera el objetivo de ataques maliciosos&period; Ya hemos hablado de los peligros del &&num;8216&semi;prompt injection&&num;8217&semi;&comma; un ataque sorprendentemente fácil de ejecutar&period; No es el único&period; Las empresas de IA también están luchando contra el &&num;8216&semi;data poisoning&&num;8217&semi;&period;<&sol;p>&NewLine;<p>Datos envenenados&period; Consiste en introducir datos manipulados en recursos que después serán usados para el entrenamiento de la IA&period; Según una investigación reciente&comma; no se necesitan tantos documentos maliciosos para comprometer un modelo de lenguaje como se creía&period; Comprobaron que con tan sólo 250 documentos &&num;8220&semi;envenenados&&num;8221&semi; se logró comprometer modelos de hasta 13&period;000 millones de parámetros&period; El resultado es que el modelo puede tener sesgos o llegar a conclusiones erróneas&period; <&sol;p>&NewLine;<p> En Xataka<&sol;p>&NewLine;<p> Con razón el robo de las joyas en el Louvre ha sido tan fácil&colon; la seguridad del museo lleva más de un siglo siendo un desastre<&sol;p>&NewLine;<p>Inyección de prompts&period; Es uno de los problemas a los que se enfrentan los navegadores con IA como ChatGPT Atlas o Comet&period; Simplemente colocando un prompt invisible en un correo o una web se puede conseguir que la IA entregue información privada al no ser capaz de distinguir qué es una instrucción del usuario y qué una instrucción maliciosa&period; En el caso de agentes IA es especialmente peligroso ya que pueden ejecutar acciones en nuestro nombre&period;<&sol;p>&NewLine;<p>IA para hacer el mal&period; Según un informe de Crowdstrike&comma; la IA se ha convertido en el arma predilecta para los ciberdelincuentes&comma; que la usan para automatizar y perfeccionar sus ataques&comma; especialmente el ransomware&period; El MIT analizó más de 2&period;800 ataques ransomware y descubrieron que el 80&percnt; habían empleado IA&period; La cifra es aplastante&period;<&sol;p>&NewLine;<p>Colaboración&period; Cuentan en Financial Times que las principales empresas IA&comma; como DeepMind&comma; OpenAI&comma; Microsoft y Anthropic están trabajando de forma conjunta para analizar los métodos de ataque más frecuentes y diseñar estrategias defensivas en colaboración&period; Están recurriendo a hackers éticos y otros expertos independientes para que intenten vulnerar sus sistemas y así poder fortalecerlos&period; <&sol;p>&NewLine;<p>Urgencia&period;  Los navegadores IA y los agentes ya están aquí&comma; pero estamos a tiempo porque aún no ha habido una adopción masiva&period; Urge  fortalecer los sistemas&comma; especialmente para prevenir la inyección de prompts que tan fácilmente pueden robar nuestros datos&period;<&sol;p>&NewLine;<p>Imagen &vert; Shayna &&num;8220&semi;Bepple&&num;8221&semi; Take en Unsplash<&sol;p>&NewLine;<p>En Xataka &vert; &&num;8220&semi;La seguridad de nuestros hijos no está en venta&&num;8221&semi;&colon; ya está aquí la primera ley que regula los &&num;8216&semi;amigos IA&&num;8217&semi;<&sol;p>&NewLine;<p> &&num;8211&semi; La noticia<&sol;p>&NewLine;<p> Los modelos de IA tienen un problema&colon; se llama &&num;8216&semi;data poisoning&&num;8217&semi; y los está envenenando desde dentro <&sol;p>&NewLine;<p> fue publicada originalmente en<&sol;p>&NewLine;<p> Xataka <&sol;p>&NewLine;<p> por<br &sol;>&NewLine; Amparo Babiloni<&sol;p>&NewLine;<p> &period;   <&sol;p>&NewLine;<p>&ZeroWidthSpace;   <&sol;p>&NewLine;<p>&ZeroWidthSpace; <&sol;p>&NewLine;

Leave a Reply

Your email address will not be published. Required fields are marked *

Noticias Importantes

Copyright © 2017 ERM DIGITAL. powered by ERM.