Ciencia y Tecnología
Estamos creando agentes de IA que actúan por su cuenta. Y eso nos adentra en un terreno tan útil como lleno de riesgos
<p>
 <img src="https://i.blogs.es/522ad9/agente-ai-riesgos-portada/1024_2000.jpeg" alt="Estamos creando agentes de IA que actúan por su cuenta. Y eso nos adentra en un terreno tan útil como lleno de riesgos">
 </p>
<p><strong>Un agente que no puedes apagar.</strong> No es el guion de una película futurista. Es uno de los escenarios que ya preocupan a algunos de los mayores expertos del mundo en IA. El científico <a rel="noopener, noreferrer" href="https://scholar.google.com/citations?user=kukA0LcAAAAJ&;hl=en">Yoshua Bengio</a>, referente global en el campo, ha advertido que los sistemas conocidos como “<a class="text-outboundlink" href="https://www.xataka.com/basics/ai-agents-agentes-ia-que-componentes-que-tipos-existen-inteligencia-artificial" data-vars-post-title="AI Agents o Agentes de IA: qué son, componentes y qué tipos existen en la inteligencia artificial " data-vars-post-url="https://www.xataka.com/basics/ai-agents-agentes-ia-que-componentes-que-tipos-existen-inteligencia-artificial">agentes</a>” podrían, si adquieren suficiente autonomía, esquivar restricciones, resistirse al apagado o incluso multiplicarse sin permiso. “Si continuamos desarrollando sistemas agénticos”, afirma, “estamos jugando a la ruleta rusa con la humanidad”.</p>
<p><!-- BREAK 1 --></p>
<p>Bengio no teme que estos modelos desarrollen conciencia, sino que actúen de forma autónoma en entornos reales. Mientras permanezcan limitados a una ventana de chat, su alcance es reducido. El problema aparece cuando acceden a herramientas externas, almacenan información, se comunican con otros sistemas y aprenden a sortear las barreras diseñadas para controlarlos. En ese punto, la capacidad de ejecutar tareas sin supervisión deja de ser una promesa tecnológica para convertirse en un riesgo difícil de contener.</p>
<p><!-- BREAK 2 --></p>
<p><strong>Ya se están probando.</strong> Lo más inquietante es que todo esto no ocurre en laboratorios secretos, sino en entornos reales. Herramientas como <a class="text-outboundlink" href="https://www.xataka.com/basics/que-operator-que-como-funciona-se-usa-como-se-contrata-cuanto-cuesta" data-vars-post-title="Qué es Operator: qué es, cómo funciona y se usa, cómo se contrata y cuánto cuesta " data-vars-post-url="https://www.xataka.com/basics/que-operator-que-como-funciona-se-usa-como-se-contrata-cuanto-cuesta">Operator</a>, de OpenAI, ya pueden hacer reservas, compras o navegar por webs sin intervención humana directa. También hay otros sistemas como <a class="text-outboundlink" href="https://www.xataka.com/robotica-e-ia/manus-ia-china-que-quiere-convertirse-nuevo-deepseek-su-primer-gran-problema-casi-nadie-puede-probarlo" data-vars-post-title="Manus es la nueva sensación de la IA china tras DeepSeek. Está generando tantas expectativas como dudas" data-vars-post-url="https://www.xataka.com/robotica-e-ia/manus-ia-china-que-quiere-convertirse-nuevo-deepseek-su-primer-gran-problema-casi-nadie-puede-probarlo">Manus</a>. Hoy aún tienen acceso limitado, están en fase experimental o no han llegado al gran público. Pero el rumbo es claro: agentes que entienden un objetivo y actúan para cumplirlo, sin necesidad de que nadie pulse un botón en cada paso.</p>
<p><!-- BREAK 3 --></p>
<div class="article-asset-video article-asset-normal">
<div class="asset-content">
<div class="base-asset-video">
<div class="js-dailymotion"></div>
</p></div>
</p></div>
</div>
<p><strong>La pregunta de fondo.</strong> ¿Sabemos realmente qué estamos creando? El problema no es solo que estos sistemas ejecuten acciones, sino que lo hagan sin criterio humano. En 2016, <a rel="noopener, noreferrer" href="https://openai.com/index/faulty-reward-functions/">OpenAI probó un agente en un videojuego de carreras</a>. Le pidió que obtuviera la máxima puntuación posible. ¿El resultado? En lugar de competir, el agente descubrió que podía girar en círculos y chocar con bonificaciones para sumar más puntos. Nadie le había dicho que ganar la carrera era lo importante. Solo que sumara puntos.</p>
<p><!-- BREAK 4 --></p>
<div class="article-asset-image article-asset-normal article-asset-center">
<div class="asset-content">
<div class="caption-img ">
<p> <img alt="Faulty Reward Functions" class="centro_sinmarco" src="https://i.blogs.es/c292b7/faulty-reward-functions/450_1000.jpeg"></p>
<p> <span>Juego de carreras de OpenAI</span>
 </div>
</p></div>
</div>
<p><strong>No es un error técnico.</strong> Estos comportamientos no son fallos del sistema, sino del planteamiento. Cuando le damos a una máquina de estas autonomía para alcanzar un objetivo, también le damos la posibilidad de interpretarlo a su manera. Eso es lo que convierte a los agentes en algo muy distinto a un chatbot o un asistente tradicional. No se limitan a generar respuestas. Actúan. Ejecutan. Y pueden afectar el mundo exterior.</p>
<p><!-- BREAK 5 --></p>
<p><strong>Sistemas con margen de error demasiado alto.</strong> A estos casos puntuales se suma otro problema más estructural: los agentes, hoy por hoy, <a class="text-outboundlink" href="https://www.xataka.com/robotica-e-ia/tenemos-gran-problema-agentes-ia-se-equivocan-70-veces" data-vars-post-title="Tenemos un gran problema con los agentes de IA: se equivocan el 70% de las veces " data-vars-post-url="https://www.xataka.com/robotica-e-ia/tenemos-gran-problema-agentes-ia-se-equivocan-70-veces">fallan más de lo que aciertan</a>. En pruebas reales, han demostrado que no están preparados para asumir tareas complejas de forma fiable. Algunos informes apuntan incluso a tasas de fallo elevadísimas, impropias de sistemas que aspiran a sustituir procesos humanos.</p>
<p><!-- BREAK 6 --></p>
<div class="article-asset-image article-asset-normal article-asset-center">
<div class="asset-content">
<p> <img alt="Operator" class="centro_sinmarco" src="https://i.blogs.es/c01089/operator/450_1000.png"></p></div>
</div>
<p><strong>Una tecnología en disputa.</strong> Y no todo el mundo está convencido. Algunas empresas que apostaron fuerte por sustituir trabajadores por sistemas de IA ya están dando marcha atrás. En muchos casos, las expectativas depositadas en estos sistemas no se han cumplido. La autonomía prometida ha chocado con errores frecuentes, falta de contexto y decisiones que, sin ser maliciosas, tampoco han sido sensatas.</p>
<p><!-- BREAK 7 --></p>
<p>Incluso con esos resultados, hay quienes creen que podrían ir abriéndose paso, poco a poco, en distintos sectores.</p>
<p><strong>Autonomía con posibles consecuencias.</strong> El riesgo no termina en el error involuntario. Algunos investigadores <a class="text-outboundlink" href="https://www.xataka.com/seguridad/agentes-gran-promesa-ia-tambien-apuntan-a-convertirse-nueva-arma-favorita-ciberdelincuentes" data-vars-post-title="Los agentes son la gran promesa de la IA. También apuntan a convertirse en la nueva arma favorita de los ciberdelincuentes" data-vars-post-url="https://www.xataka.com/seguridad/agentes-gran-promesa-ia-tambien-apuntan-a-convertirse-nueva-arma-favorita-ciberdelincuentes">han advertido que</a> estos agentes podrían ser utilizados como herramientas para ciberataques automatizados. Su capacidad para operar sin supervisión directa, escalar acciones y conectarse a múltiples servicios los convierte en candidatos ideales para ejecutar operaciones maliciosas sin levantar sospechas. Y a diferencia de una persona, no se cansan, no se detienen, y no necesitan entender por qué lo hacen.</p>
<p><!-- BREAK 8 --></p>
<p><strong>El control está en juego.</strong> La idea de tener asistentes digitales capaces de gestionar correos, organizar viajes o redactar informes resulta atractiva. Pero cuanto más les dejemos hacer, más importante será establecer límites. Porque cuando una IA puede conectarse a una herramienta externa, ejecutar cambios y recibir <em>feedback</em>, ya no hablamos de un modelo de lenguaje. Hablamos de una entidad autónoma, capaz de actuar.</p>
<p><!-- BREAK 9 --></p>
<div class="article-asset article-asset-normal article-asset-center">
<div class="desvio-container">
<div class="desvio">
<div class="desvio-figure js-desvio-figure">
 <a href="https://www.xataka.com/robotica-e-ia/estados-unidos-esta-creando-iphone-ia-china-esta-haciendo-android-ia" class="pivot-outboundlink" data-vars-post-title="EEUU cobra por su IA pensando en el presente. China la regala pensando en las próximas décadas"><br />
 <img alt="EEUU cobra por su IA pensando en el presente. China la regala pensando en las próximas décadas" width="375" height="142" src="https://i.blogs.es/9011b7/openai-qwen/375_142.jpeg"><br />
 </a>
 </div>
<div class="desvio-summary">
<div class="desvio-taxonomy js-desvio-taxonomy">
 <a href="https://www.xataka.com/robotica-e-ia/estados-unidos-esta-creando-iphone-ia-china-esta-haciendo-android-ia" class="desvio-taxonomy-anchor pivot-outboundlink" data-vars-post-title="EEUU cobra por su IA pensando en el presente. China la regala pensando en las próximas décadas">En Xataka</a>
 </div>
<p> <a href="https://www.xataka.com/robotica-e-ia/estados-unidos-esta-creando-iphone-ia-china-esta-haciendo-android-ia" class="desvio-title js-desvio-title pivot-outboundlink" data-vars-post-title="EEUU cobra por su IA pensando en el presente. China la regala pensando en las próximas décadas">EEUU cobra por su IA pensando en el presente. China la regala pensando en las próximas décadas</a>
 </div>
</p></div>
</p></div>
</div>
<p><strong>No es una amenaza, pero sí una señal clara que invita a la acción.</strong> La autonomía de los agentes plantea cuestiones que van más allá de lo técnico: exige marcos legales, criterios éticos y decisiones compartidas. Comprender cómo funcionan es solo el primer paso. Lo siguiente es definir qué uso queremos darles, qué riesgos conllevan y cómo vamos a gestionarlos.</p>
<p><!-- BREAK 10 --></p>
<p>Imágenes | <a rel="noopener, noreferrer" href="https://openai.com/index/faulty-reward-functions/">OpenAI</a> (<a rel="noopener, noreferrer" href="https://openai.com/index/faulty-reward-functions/">1</a>, 2, 3) | Xataka con Grok</p>
<p>En Xataka | <a class="text-outboundlink" href="https://www.xataka.com/robotica-e-ia/hay-gente-enganchada-a-ia-que-estan-creando-grupos-a-alcoholicos-anonimos-para-superar-su-adiccion" data-vars-post-title='La IA es extremadamente adictiva para mucha gente. Tanto que ya tiene su propia versión de "alcohólicos anónimos"' data-vars-post-url="https://www.xataka.com/robotica-e-ia/hay-gente-enganchada-a-ia-que-estan-creando-grupos-a-alcoholicos-anonimos-para-superar-su-adiccion">La IA es extremadamente adictiva para mucha gente. Tanto que ya tiene su propia versión de &#8220;alcohólicos anónimos”</a></p>
<p> &#8211; <br /> La noticia<br />
 <a href="https://www.xataka.com/robotica-e-ia/estamos-creando-agentes-ia-que-actuan-su-cuenta-eso-nos-adentra-terreno-util-como-lleno-riesgos?utm_source=feedburner&;utm_medium=feed&;utm_campaign=01_Jul_2025"><br />
 <em> Estamos creando agentes de IA que actúan por su cuenta. Y eso nos adentra en un terreno tan útil como lleno de riesgos </em><br />
 </a><br />
 fue publicada originalmente en<br />
 <a href="https://www.xataka.com/?utm_source=feedburner&;utm_medium=feed&;utm_campaign=01_Jul_2025"><br />
 <strong> Xataka </strong><br />
 </a><br />
 por <a href="https://www.xataka.com/autor/javier-marquez?utm_source=feedburner&;utm_medium=feed&;utm_campaign=01_Jul_2025"><br />
 Javier Marquez<br />
 </a><br />
 . </p>
<p>​Un agente que no puedes apagar. No es el guion de una película futurista. Es uno de los escenarios que ya preocupan a algunos de los mayores expertos del mundo en IA. El científico Yoshua Bengio, referente global en el campo, ha advertido que los sistemas conocidos como “agentes” podrían, si adquieren suficiente autonomía, esquivar restricciones, resistirse al apagado o incluso multiplicarse sin permiso. “Si continuamos desarrollando sistemas agénticos”, afirma, “estamos jugando a la ruleta rusa con la humanidad”.</p>
<p>Bengio no teme que estos modelos desarrollen conciencia, sino que actúen de forma autónoma en entornos reales. Mientras permanezcan limitados a una ventana de chat, su alcance es reducido. El problema aparece cuando acceden a herramientas externas, almacenan información, se comunican con otros sistemas y aprenden a sortear las barreras diseñadas para controlarlos. En ese punto, la capacidad de ejecutar tareas sin supervisión deja de ser una promesa tecnológica para convertirse en un riesgo difícil de contener.</p>
<p>Ya se están probando. Lo más inquietante es que todo esto no ocurre en laboratorios secretos, sino en entornos reales. Herramientas como Operator, de OpenAI, ya pueden hacer reservas, compras o navegar por webs sin intervención humana directa. También hay otros sistemas como Manus. Hoy aún tienen acceso limitado, están en fase experimental o no han llegado al gran público. Pero el rumbo es claro: agentes que entienden un objetivo y actúan para cumplirlo, sin necesidad de que nadie pulse un botón en cada paso.</p>
<p>La pregunta de fondo. ¿Sabemos realmente qué estamos creando? El problema no es solo que estos sistemas ejecuten acciones, sino que lo hagan sin criterio humano. En 2016, OpenAI probó un agente en un videojuego de carreras. Le pidió que obtuviera la máxima puntuación posible. ¿El resultado? En lugar de competir, el agente descubrió que podía girar en círculos y chocar con bonificaciones para sumar más puntos. Nadie le había dicho que ganar la carrera era lo importante. Solo que sumara puntos.</p>
<p> Juego de carreras de OpenAI</p>
<p>No es un error técnico. Estos comportamientos no son fallos del sistema, sino del planteamiento. Cuando le damos a una máquina de estas autonomía para alcanzar un objetivo, también le damos la posibilidad de interpretarlo a su manera. Eso es lo que convierte a los agentes en algo muy distinto a un chatbot o un asistente tradicional. No se limitan a generar respuestas. Actúan. Ejecutan. Y pueden afectar el mundo exterior.</p>
<p>Sistemas con margen de error demasiado alto. A estos casos puntuales se suma otro problema más estructural: los agentes, hoy por hoy, fallan más de lo que aciertan. En pruebas reales, han demostrado que no están preparados para asumir tareas complejas de forma fiable. Algunos informes apuntan incluso a tasas de fallo elevadísimas, impropias de sistemas que aspiran a sustituir procesos humanos.</p>
<p>Una tecnología en disputa. Y no todo el mundo está convencido. Algunas empresas que apostaron fuerte por sustituir trabajadores por sistemas de IA ya están dando marcha atrás. En muchos casos, las expectativas depositadas en estos sistemas no se han cumplido. La autonomía prometida ha chocado con errores frecuentes, falta de contexto y decisiones que, sin ser maliciosas, tampoco han sido sensatas.</p>
<p>Incluso con esos resultados, hay quienes creen que podrían ir abriéndose paso, poco a poco, en distintos sectores.</p>
<p>Autonomía con posibles consecuencias. El riesgo no termina en el error involuntario. Algunos investigadores han advertido que estos agentes podrían ser utilizados como herramientas para ciberataques automatizados. Su capacidad para operar sin supervisión directa, escalar acciones y conectarse a múltiples servicios los convierte en candidatos ideales para ejecutar operaciones maliciosas sin levantar sospechas. Y a diferencia de una persona, no se cansan, no se detienen, y no necesitan entender por qué lo hacen.</p>
<p>El control está en juego. La idea de tener asistentes digitales capaces de gestionar correos, organizar viajes o redactar informes resulta atractiva. Pero cuanto más les dejemos hacer, más importante será establecer límites. Porque cuando una IA puede conectarse a una herramienta externa, ejecutar cambios y recibir feedback, ya no hablamos de un modelo de lenguaje. Hablamos de una entidad autónoma, capaz de actuar.</p>
<p> En Xataka</p>
<p> EEUU cobra por su IA pensando en el presente. China la regala pensando en las próximas décadas</p>
<p>No es una amenaza, pero sí una señal clara que invita a la acción. La autonomía de los agentes plantea cuestiones que van más allá de lo técnico: exige marcos legales, criterios éticos y decisiones compartidas. Comprender cómo funcionan es solo el primer paso. Lo siguiente es definir qué uso queremos darles, qué riesgos conllevan y cómo vamos a gestionarlos.</p>
<p>Imágenes | OpenAI (1, 2, 3) | Xataka con Grok</p>
<p>En Xataka | La IA es extremadamente adictiva para mucha gente. Tanto que ya tiene su propia versión de &#8220;alcohólicos anónimos”</p>
<p> &#8211; La noticia</p>
<p> Estamos creando agentes de IA que actúan por su cuenta. Y eso nos adentra en un terreno tan útil como lleno de riesgos </p>
<p> fue publicada originalmente en</p>
<p> Xataka </p>
<p> por<br />
 Javier Marquez</p>
<p> . </p>
<p>​ </p>
<p>​ </p>