Ciencia y Tecnología

Estamos creando agentes de IA que actúan por su cuenta. Y eso nos adentra en un terreno tan útil como lleno de riesgos

Published

on

<p>&NewLine; <img src&equals;"https&colon;&sol;&sol;i&period;blogs&period;es&sol;522ad9&sol;agente-ai-riesgos-portada&sol;1024&lowbar;2000&period;jpeg" alt&equals;"Estamos creando agentes de IA que actúan por su cuenta&period; Y eso nos adentra en un terreno tan útil como lleno de riesgos">&NewLine; <&sol;p>&NewLine;<p><strong>Un agente que no puedes apagar&period;<&sol;strong> No es el guion de una película futurista&period; Es uno de los escenarios que ya preocupan a algunos de los mayores expertos del mundo en IA&period; El científico <a rel&equals;"noopener&comma; noreferrer" href&equals;"https&colon;&sol;&sol;scholar&period;google&period;com&sol;citations&quest;user&equals;kukA0LcAAAAJ&amp&semi;hl&equals;en">Yoshua Bengio<&sol;a>&comma; referente global en el campo&comma; ha advertido que los sistemas conocidos como &OpenCurlyDoubleQuote;<a class&equals;"text-outboundlink" href&equals;"https&colon;&sol;&sol;www&period;xataka&period;com&sol;basics&sol;ai-agents-agentes-ia-que-componentes-que-tipos-existen-inteligencia-artificial" data-vars-post-title&equals;"AI Agents o Agentes de IA&colon; qué son&comma; componentes y qué tipos existen en la inteligencia artificial " data-vars-post-url&equals;"https&colon;&sol;&sol;www&period;xataka&period;com&sol;basics&sol;ai-agents-agentes-ia-que-componentes-que-tipos-existen-inteligencia-artificial">agentes<&sol;a>” podrían&comma; si adquieren suficiente autonomía&comma; esquivar restricciones&comma; resistirse al apagado o incluso multiplicarse sin permiso&period; &OpenCurlyDoubleQuote;Si continuamos desarrollando sistemas agénticos”&comma; afirma&comma; &OpenCurlyDoubleQuote;estamos jugando a la ruleta rusa con la humanidad”&period;<&sol;p>&NewLine;<p><&excl;-- BREAK 1 --><&sol;p>&NewLine;<p>Bengio no teme que estos modelos desarrollen conciencia&comma; sino que actúen de forma autónoma en entornos reales&period; Mientras permanezcan limitados a una ventana de chat&comma; su alcance es reducido&period; El problema aparece cuando acceden a herramientas externas&comma; almacenan información&comma; se comunican con otros sistemas y aprenden a sortear las barreras diseñadas para controlarlos&period; En ese punto&comma; la capacidad de ejecutar tareas sin supervisión deja de ser una promesa tecnológica para convertirse en un riesgo difícil de contener&period;<&sol;p>&NewLine;<p><&excl;-- BREAK 2 --><&sol;p>&NewLine;<p><strong>Ya se están probando&period;<&sol;strong> Lo más inquietante es que todo esto no ocurre en laboratorios secretos&comma; sino en entornos reales&period; Herramientas como <a class&equals;"text-outboundlink" href&equals;"https&colon;&sol;&sol;www&period;xataka&period;com&sol;basics&sol;que-operator-que-como-funciona-se-usa-como-se-contrata-cuanto-cuesta" data-vars-post-title&equals;"Qué es Operator&colon; qué es&comma; cómo funciona y se usa&comma; cómo se contrata y cuánto cuesta " data-vars-post-url&equals;"https&colon;&sol;&sol;www&period;xataka&period;com&sol;basics&sol;que-operator-que-como-funciona-se-usa-como-se-contrata-cuanto-cuesta">Operator<&sol;a>&comma; de OpenAI&comma; ya pueden hacer reservas&comma; compras o navegar por webs sin intervención humana directa&period; También hay otros sistemas como <a class&equals;"text-outboundlink" href&equals;"https&colon;&sol;&sol;www&period;xataka&period;com&sol;robotica-e-ia&sol;manus-ia-china-que-quiere-convertirse-nuevo-deepseek-su-primer-gran-problema-casi-nadie-puede-probarlo" data-vars-post-title&equals;"Manus es la nueva sensación de la IA china tras DeepSeek&period; Está generando tantas expectativas como dudas" data-vars-post-url&equals;"https&colon;&sol;&sol;www&period;xataka&period;com&sol;robotica-e-ia&sol;manus-ia-china-que-quiere-convertirse-nuevo-deepseek-su-primer-gran-problema-casi-nadie-puede-probarlo">Manus<&sol;a>&period; Hoy aún tienen acceso limitado&comma; están en fase experimental o no han llegado al gran público&period; Pero el rumbo es claro&colon; agentes que entienden un objetivo y actúan para cumplirlo&comma; sin necesidad de que nadie pulse un botón en cada paso&period;<&sol;p>&NewLine;<p><&excl;-- BREAK 3 --><&sol;p>&NewLine;<div class&equals;"article-asset-video article-asset-normal">&NewLine;<div class&equals;"asset-content">&NewLine;<div class&equals;"base-asset-video">&NewLine;<div class&equals;"js-dailymotion"><&sol;div>&NewLine;<&sol;p><&sol;div>&NewLine;<&sol;p><&sol;div>&NewLine;<&sol;div>&NewLine;<p><strong>La pregunta de fondo&period;<&sol;strong> ¿Sabemos realmente qué estamos creando&quest; El problema no es solo que estos sistemas ejecuten acciones&comma; sino que lo hagan sin criterio humano&period; En 2016&comma; <a rel&equals;"noopener&comma; noreferrer" href&equals;"https&colon;&sol;&sol;openai&period;com&sol;index&sol;faulty-reward-functions&sol;">OpenAI probó un agente en un videojuego de carreras<&sol;a>&period; Le pidió que obtuviera la máxima puntuación posible&period; ¿El resultado&quest; En lugar de competir&comma; el agente descubrió que podía girar en círculos y chocar con bonificaciones para sumar más puntos&period; Nadie le había dicho que ganar la carrera era lo importante&period; Solo que sumara puntos&period;<&sol;p>&NewLine;<p><&excl;-- BREAK 4 --><&sol;p>&NewLine;<div class&equals;"article-asset-image article-asset-normal article-asset-center">&NewLine;<div class&equals;"asset-content">&NewLine;<div class&equals;"caption-img ">&NewLine;<p> <img alt&equals;"Faulty Reward Functions" class&equals;"centro&lowbar;sinmarco" src&equals;"https&colon;&sol;&sol;i&period;blogs&period;es&sol;c292b7&sol;faulty-reward-functions&sol;450&lowbar;1000&period;jpeg"><&sol;p>&NewLine;<p> <span>Juego de carreras de OpenAI<&sol;span>&NewLine; <&sol;div>&NewLine;<&sol;p><&sol;div>&NewLine;<&sol;div>&NewLine;<p><strong>No es un error técnico&period;<&sol;strong> Estos comportamientos no son fallos del sistema&comma; sino del planteamiento&period; Cuando le damos a una máquina de estas autonomía para alcanzar un objetivo&comma; también le damos la posibilidad de interpretarlo a su manera&period; Eso es lo que convierte a los agentes en algo muy distinto a un chatbot o un asistente tradicional&period; No se limitan a generar respuestas&period; Actúan&period; Ejecutan&period; Y pueden afectar el mundo exterior&period;<&sol;p>&NewLine;<p><&excl;-- BREAK 5 --><&sol;p>&NewLine;<p><strong>Sistemas con margen de error demasiado alto&period;<&sol;strong> A estos casos puntuales se suma otro problema más estructural&colon; los agentes&comma; hoy por hoy&comma; <a class&equals;"text-outboundlink" href&equals;"https&colon;&sol;&sol;www&period;xataka&period;com&sol;robotica-e-ia&sol;tenemos-gran-problema-agentes-ia-se-equivocan-70-veces" data-vars-post-title&equals;"Tenemos un gran problema con los agentes de IA&colon; se equivocan el 70&percnt; de las veces " data-vars-post-url&equals;"https&colon;&sol;&sol;www&period;xataka&period;com&sol;robotica-e-ia&sol;tenemos-gran-problema-agentes-ia-se-equivocan-70-veces">fallan más de lo que aciertan<&sol;a>&period; En pruebas reales&comma; han demostrado que no están preparados para asumir tareas complejas de forma fiable&period; Algunos informes apuntan incluso a tasas de fallo elevadísimas&comma; impropias de sistemas que aspiran a sustituir procesos humanos&period;<&sol;p>&NewLine;<p><&excl;-- BREAK 6 --><&sol;p>&NewLine;<div class&equals;"article-asset-image article-asset-normal article-asset-center">&NewLine;<div class&equals;"asset-content">&NewLine;<p> <img alt&equals;"Operator" class&equals;"centro&lowbar;sinmarco" src&equals;"https&colon;&sol;&sol;i&period;blogs&period;es&sol;c01089&sol;operator&sol;450&lowbar;1000&period;png"><&sol;p><&sol;div>&NewLine;<&sol;div>&NewLine;<p><strong>Una tecnología en disputa&period;<&sol;strong> Y no todo el mundo está convencido&period; Algunas empresas que apostaron fuerte por sustituir trabajadores por sistemas de IA ya están dando marcha atrás&period; En muchos casos&comma; las expectativas depositadas en estos sistemas no se han cumplido&period; La autonomía prometida ha chocado con errores frecuentes&comma; falta de contexto y decisiones que&comma; sin ser maliciosas&comma; tampoco han sido sensatas&period;<&sol;p>&NewLine;<p><&excl;-- BREAK 7 --><&sol;p>&NewLine;<p>Incluso con esos resultados&comma; hay quienes creen que podrían ir abriéndose paso&comma; poco a poco&comma; en distintos sectores&period;<&sol;p>&NewLine;<p><strong>Autonomía con posibles consecuencias&period;<&sol;strong> El riesgo no termina en el error involuntario&period; Algunos investigadores <a class&equals;"text-outboundlink" href&equals;"https&colon;&sol;&sol;www&period;xataka&period;com&sol;seguridad&sol;agentes-gran-promesa-ia-tambien-apuntan-a-convertirse-nueva-arma-favorita-ciberdelincuentes" data-vars-post-title&equals;"Los agentes son la gran promesa de la IA&period; También apuntan a convertirse en la nueva arma favorita de los ciberdelincuentes" data-vars-post-url&equals;"https&colon;&sol;&sol;www&period;xataka&period;com&sol;seguridad&sol;agentes-gran-promesa-ia-tambien-apuntan-a-convertirse-nueva-arma-favorita-ciberdelincuentes">han advertido que<&sol;a> estos agentes podrían ser utilizados como herramientas para ciberataques automatizados&period; Su capacidad para operar sin supervisión directa&comma; escalar acciones y conectarse a múltiples servicios los convierte en candidatos ideales para ejecutar operaciones maliciosas sin levantar sospechas&period; Y a diferencia de una persona&comma; no se cansan&comma; no se detienen&comma; y no necesitan entender por qué lo hacen&period;<&sol;p>&NewLine;<p><&excl;-- BREAK 8 --><&sol;p>&NewLine;<p><strong>El control está en juego&period;<&sol;strong> La idea de tener asistentes digitales capaces de gestionar correos&comma; organizar viajes o redactar informes resulta atractiva&period; Pero cuanto más les dejemos hacer&comma; más importante será establecer límites&period; Porque cuando una IA puede conectarse a una herramienta externa&comma; ejecutar cambios y recibir <em>feedback<&sol;em>&comma; ya no hablamos de un modelo de lenguaje&period; Hablamos de una entidad autónoma&comma; capaz de actuar&period;<&sol;p>&NewLine;<p><&excl;-- BREAK 9 --><&sol;p>&NewLine;<div class&equals;"article-asset article-asset-normal article-asset-center">&NewLine;<div class&equals;"desvio-container">&NewLine;<div class&equals;"desvio">&NewLine;<div class&equals;"desvio-figure js-desvio-figure">&NewLine; <a href&equals;"https&colon;&sol;&sol;www&period;xataka&period;com&sol;robotica-e-ia&sol;estados-unidos-esta-creando-iphone-ia-china-esta-haciendo-android-ia" class&equals;"pivot-outboundlink" data-vars-post-title&equals;"EEUU cobra por su IA pensando en el presente&period; China la regala pensando en las próximas décadas"><br &sol;>&NewLine; <img alt&equals;"EEUU cobra por su IA pensando en el presente&period; China la regala pensando en las próximas décadas" width&equals;"375" height&equals;"142" src&equals;"https&colon;&sol;&sol;i&period;blogs&period;es&sol;9011b7&sol;openai-qwen&sol;375&lowbar;142&period;jpeg"><br &sol;>&NewLine; <&sol;a>&NewLine; <&sol;div>&NewLine;<div class&equals;"desvio-summary">&NewLine;<div class&equals;"desvio-taxonomy js-desvio-taxonomy">&NewLine; <a href&equals;"https&colon;&sol;&sol;www&period;xataka&period;com&sol;robotica-e-ia&sol;estados-unidos-esta-creando-iphone-ia-china-esta-haciendo-android-ia" class&equals;"desvio-taxonomy-anchor pivot-outboundlink" data-vars-post-title&equals;"EEUU cobra por su IA pensando en el presente&period; China la regala pensando en las próximas décadas">En Xataka<&sol;a>&NewLine; <&sol;div>&NewLine;<p> <a href&equals;"https&colon;&sol;&sol;www&period;xataka&period;com&sol;robotica-e-ia&sol;estados-unidos-esta-creando-iphone-ia-china-esta-haciendo-android-ia" class&equals;"desvio-title js-desvio-title pivot-outboundlink" data-vars-post-title&equals;"EEUU cobra por su IA pensando en el presente&period; China la regala pensando en las próximas décadas">EEUU cobra por su IA pensando en el presente&period; China la regala pensando en las próximas décadas<&sol;a>&NewLine; <&sol;div>&NewLine;<&sol;p><&sol;div>&NewLine;<&sol;p><&sol;div>&NewLine;<&sol;div>&NewLine;<p><strong>No es una amenaza&comma; pero sí una señal clara que invita a la acción&period;<&sol;strong> La autonomía de los agentes plantea cuestiones que van más allá de lo técnico&colon; exige marcos legales&comma; criterios éticos y decisiones compartidas&period; Comprender cómo funcionan es solo el primer paso&period; Lo siguiente es definir qué uso queremos darles&comma; qué riesgos conllevan y cómo vamos a gestionarlos&period;<&sol;p>&NewLine;<p><&excl;-- BREAK 10 --><&sol;p>&NewLine;<p>Imágenes &vert; <a rel&equals;"noopener&comma; noreferrer" href&equals;"https&colon;&sol;&sol;openai&period;com&sol;index&sol;faulty-reward-functions&sol;">OpenAI<&sol;a> &lpar;<a rel&equals;"noopener&comma; noreferrer" href&equals;"https&colon;&sol;&sol;openai&period;com&sol;index&sol;faulty-reward-functions&sol;">1<&sol;a>&comma; 2&comma; 3&rpar; &vert; Xataka con Grok<&sol;p>&NewLine;<p>En Xataka &vert; <a class&equals;"text-outboundlink" href&equals;"https&colon;&sol;&sol;www&period;xataka&period;com&sol;robotica-e-ia&sol;hay-gente-enganchada-a-ia-que-estan-creando-grupos-a-alcoholicos-anonimos-para-superar-su-adiccion" data-vars-post-title&equals;'La IA es extremadamente adictiva para mucha gente&period; Tanto que ya tiene su propia versión de "alcohólicos anónimos"' data-vars-post-url&equals;"https&colon;&sol;&sol;www&period;xataka&period;com&sol;robotica-e-ia&sol;hay-gente-enganchada-a-ia-que-estan-creando-grupos-a-alcoholicos-anonimos-para-superar-su-adiccion">La IA es extremadamente adictiva para mucha gente&period; Tanto que ya tiene su propia versión de &&num;8220&semi;alcohólicos anónimos”<&sol;a><&sol;p>&NewLine;<p> &&num;8211&semi; <br &sol;> La noticia<br &sol;>&NewLine; <a href&equals;"https&colon;&sol;&sol;www&period;xataka&period;com&sol;robotica-e-ia&sol;estamos-creando-agentes-ia-que-actuan-su-cuenta-eso-nos-adentra-terreno-util-como-lleno-riesgos&quest;utm&lowbar;source&equals;feedburner&amp&semi;utm&lowbar;medium&equals;feed&amp&semi;utm&lowbar;campaign&equals;01&lowbar;Jul&lowbar;2025"><br &sol;>&NewLine; <em> Estamos creando agentes de IA que actúan por su cuenta&period; Y eso nos adentra en un terreno tan útil como lleno de riesgos <&sol;em><br &sol;>&NewLine; <&sol;a><br &sol;>&NewLine; fue publicada originalmente en<br &sol;>&NewLine; <a href&equals;"https&colon;&sol;&sol;www&period;xataka&period;com&sol;&quest;utm&lowbar;source&equals;feedburner&amp&semi;utm&lowbar;medium&equals;feed&amp&semi;utm&lowbar;campaign&equals;01&lowbar;Jul&lowbar;2025"><br &sol;>&NewLine; <strong> Xataka <&sol;strong><br &sol;>&NewLine; <&sol;a><br &sol;>&NewLine; por <a href&equals;"https&colon;&sol;&sol;www&period;xataka&period;com&sol;autor&sol;javier-marquez&quest;utm&lowbar;source&equals;feedburner&amp&semi;utm&lowbar;medium&equals;feed&amp&semi;utm&lowbar;campaign&equals;01&lowbar;Jul&lowbar;2025"><br &sol;>&NewLine; Javier Marquez<br &sol;>&NewLine; <&sol;a><br &sol;>&NewLine; &period; <&sol;p>&NewLine;<p>&ZeroWidthSpace;Un agente que no puedes apagar&period; No es el guion de una película futurista&period; Es uno de los escenarios que ya preocupan a algunos de los mayores expertos del mundo en IA&period; El científico Yoshua Bengio&comma; referente global en el campo&comma; ha advertido que los sistemas conocidos como &OpenCurlyDoubleQuote;agentes” podrían&comma; si adquieren suficiente autonomía&comma; esquivar restricciones&comma; resistirse al apagado o incluso multiplicarse sin permiso&period; &OpenCurlyDoubleQuote;Si continuamos desarrollando sistemas agénticos”&comma; afirma&comma; &OpenCurlyDoubleQuote;estamos jugando a la ruleta rusa con la humanidad”&period;<&sol;p>&NewLine;<p>Bengio no teme que estos modelos desarrollen conciencia&comma; sino que actúen de forma autónoma en entornos reales&period; Mientras permanezcan limitados a una ventana de chat&comma; su alcance es reducido&period; El problema aparece cuando acceden a herramientas externas&comma; almacenan información&comma; se comunican con otros sistemas y aprenden a sortear las barreras diseñadas para controlarlos&period; En ese punto&comma; la capacidad de ejecutar tareas sin supervisión deja de ser una promesa tecnológica para convertirse en un riesgo difícil de contener&period;<&sol;p>&NewLine;<p>Ya se están probando&period; Lo más inquietante es que todo esto no ocurre en laboratorios secretos&comma; sino en entornos reales&period; Herramientas como Operator&comma; de OpenAI&comma; ya pueden hacer reservas&comma; compras o navegar por webs sin intervención humana directa&period; También hay otros sistemas como Manus&period; Hoy aún tienen acceso limitado&comma; están en fase experimental o no han llegado al gran público&period; Pero el rumbo es claro&colon; agentes que entienden un objetivo y actúan para cumplirlo&comma; sin necesidad de que nadie pulse un botón en cada paso&period;<&sol;p>&NewLine;<p>La pregunta de fondo&period; ¿Sabemos realmente qué estamos creando&quest; El problema no es solo que estos sistemas ejecuten acciones&comma; sino que lo hagan sin criterio humano&period; En 2016&comma; OpenAI probó un agente en un videojuego de carreras&period; Le pidió que obtuviera la máxima puntuación posible&period; ¿El resultado&quest; En lugar de competir&comma; el agente descubrió que podía girar en círculos y chocar con bonificaciones para sumar más puntos&period; Nadie le había dicho que ganar la carrera era lo importante&period; Solo que sumara puntos&period;<&sol;p>&NewLine;<p> Juego de carreras de OpenAI<&sol;p>&NewLine;<p>No es un error técnico&period; Estos comportamientos no son fallos del sistema&comma; sino del planteamiento&period; Cuando le damos a una máquina de estas autonomía para alcanzar un objetivo&comma; también le damos la posibilidad de interpretarlo a su manera&period; Eso es lo que convierte a los agentes en algo muy distinto a un chatbot o un asistente tradicional&period; No se limitan a generar respuestas&period; Actúan&period; Ejecutan&period; Y pueden afectar el mundo exterior&period;<&sol;p>&NewLine;<p>Sistemas con margen de error demasiado alto&period; A estos casos puntuales se suma otro problema más estructural&colon; los agentes&comma; hoy por hoy&comma; fallan más de lo que aciertan&period; En pruebas reales&comma; han demostrado que no están preparados para asumir tareas complejas de forma fiable&period; Algunos informes apuntan incluso a tasas de fallo elevadísimas&comma; impropias de sistemas que aspiran a sustituir procesos humanos&period;<&sol;p>&NewLine;<p>Una tecnología en disputa&period; Y no todo el mundo está convencido&period; Algunas empresas que apostaron fuerte por sustituir trabajadores por sistemas de IA ya están dando marcha atrás&period; En muchos casos&comma; las expectativas depositadas en estos sistemas no se han cumplido&period; La autonomía prometida ha chocado con errores frecuentes&comma; falta de contexto y decisiones que&comma; sin ser maliciosas&comma; tampoco han sido sensatas&period;<&sol;p>&NewLine;<p>Incluso con esos resultados&comma; hay quienes creen que podrían ir abriéndose paso&comma; poco a poco&comma; en distintos sectores&period;<&sol;p>&NewLine;<p>Autonomía con posibles consecuencias&period; El riesgo no termina en el error involuntario&period; Algunos investigadores han advertido que estos agentes podrían ser utilizados como herramientas para ciberataques automatizados&period; Su capacidad para operar sin supervisión directa&comma; escalar acciones y conectarse a múltiples servicios los convierte en candidatos ideales para ejecutar operaciones maliciosas sin levantar sospechas&period; Y a diferencia de una persona&comma; no se cansan&comma; no se detienen&comma; y no necesitan entender por qué lo hacen&period;<&sol;p>&NewLine;<p>El control está en juego&period; La idea de tener asistentes digitales capaces de gestionar correos&comma; organizar viajes o redactar informes resulta atractiva&period; Pero cuanto más les dejemos hacer&comma; más importante será establecer límites&period; Porque cuando una IA puede conectarse a una herramienta externa&comma; ejecutar cambios y recibir feedback&comma; ya no hablamos de un modelo de lenguaje&period; Hablamos de una entidad autónoma&comma; capaz de actuar&period;<&sol;p>&NewLine;<p> En Xataka<&sol;p>&NewLine;<p> EEUU cobra por su IA pensando en el presente&period; China la regala pensando en las próximas décadas<&sol;p>&NewLine;<p>No es una amenaza&comma; pero sí una señal clara que invita a la acción&period; La autonomía de los agentes plantea cuestiones que van más allá de lo técnico&colon; exige marcos legales&comma; criterios éticos y decisiones compartidas&period; Comprender cómo funcionan es solo el primer paso&period; Lo siguiente es definir qué uso queremos darles&comma; qué riesgos conllevan y cómo vamos a gestionarlos&period;<&sol;p>&NewLine;<p>Imágenes &vert; OpenAI &lpar;1&comma; 2&comma; 3&rpar; &vert; Xataka con Grok<&sol;p>&NewLine;<p>En Xataka &vert; La IA es extremadamente adictiva para mucha gente&period; Tanto que ya tiene su propia versión de &&num;8220&semi;alcohólicos anónimos”<&sol;p>&NewLine;<p> &&num;8211&semi; La noticia<&sol;p>&NewLine;<p> Estamos creando agentes de IA que actúan por su cuenta&period; Y eso nos adentra en un terreno tan útil como lleno de riesgos <&sol;p>&NewLine;<p> fue publicada originalmente en<&sol;p>&NewLine;<p> Xataka <&sol;p>&NewLine;<p> por<br &sol;>&NewLine; Javier Marquez<&sol;p>&NewLine;<p> &period;   <&sol;p>&NewLine;<p>&ZeroWidthSpace;   <&sol;p>&NewLine;<p>&ZeroWidthSpace; <&sol;p>&NewLine;

Leave a Reply

Your email address will not be published. Required fields are marked *

Noticias Importantes

Copyright © 2017 ERM DIGITAL. powered by ERM.