Ciencia y Tecnología
Tenemos un gran problema con los agentes de IA: se equivocan el 70% de las veces
<p>
 <img src="https://i.blogs.es/c2971c/ofi-copia-2/1024_2000.jpeg" alt="Tenemos un gran problema con los agentes de IA: se equivocan el 70% de las veces ">
 </p>
<p>Los <a class="text-outboundlink" href="https://www.xataka.com/basics/ai-agents-agentes-ia-que-componentes-que-tipos-existen-inteligencia-artificial" data-vars-post-title="AI Agents o Agentes de IA: qué son, componentes y qué tipos existen en la inteligencia artificial " data-vars-post-url="https://www.xataka.com/basics/ai-agents-agentes-ia-que-componentes-que-tipos-existen-inteligencia-artificial">agentes de IA</a> fallan más que una escopeta de feria. Eso es al menos lo que revela <a rel="noopener, noreferrer" href="https://arxiv.org/pdf/2412.14161">un reciente estudio</a> de investigadores de la Universidad Carnegie Mellon (CMU) y la Universidad de Duke. Estos expertos han analizado el comportamiento de varios de ellos y los han puesto a prueba para comprobar si esto es un &#8220;mucho ruido y pocas nueces&#8221;. Y <a class="text-outboundlink" href="https://www.xataka.com/robotica-e-ia/pronto-no-importara-quien-tiene-modelo-ia-avanzado-autentica-batalla-libraran-agentes-ia" data-vars-post-title="Pronto no importará quién tiene el modelo de IA más avanzado: la auténtica batalla la librarán los agentes de IA" data-vars-post-url="https://www.xataka.com/robotica-e-ia/pronto-no-importara-quien-tiene-modelo-ia-avanzado-autentica-batalla-libraran-agentes-ia">de momento lo es</a>.</p>
<p><!-- BREAK 1 --></p>
<p><strong>La inspiración</strong>. Graham Neubig, profesor de CMU, <a rel="noopener, noreferrer" href="https://www.theregister.com/2025/06/29/ai_agents_fail_a_lot/">explicaba</a> en The Register cómo la inspiración había sido <a rel="noopener, noreferrer" href="https://openai.com/index/gpts-are-gpts/">un artículo de 2023</a> de OpenAI. En él se hablaba de qué tipos de trabajos podrían ser reemplazados por sistemas de IA, pero como él decía &#8220;su metodología fue básicamente preguntarle a ChatGPT si esos trabajos podrían ser automatizados&#8221;. En ese estudio precisamente quisieron comprobarlo pidiéndole a diversos agentes de IA que intentaran completar tareas que teóricamente deberían realizar profesionales de esos trabajos.</p>
<p><!-- BREAK 2 --></p>
<div class="article-asset article-asset-normal article-asset-center">
<div class="desvio-container">
<div class="desvio">
<div class="desvio-figure js-desvio-figure">
 <a href="https://www.xataka.com/robotica-e-ia/hay-riesgo-agentes-ia-errores-acumulados-que-sean-telefono-escacharrado" class="pivot-outboundlink" data-vars-post-title="Todo empieza pidiéndole una cosa a una IA. Cuando la IA se lo pide a otras IA comienza el caos"><br />
 <img alt="Todo empieza pidiéndole una cosa a una IA. Cuando la IA se lo pide a otras IA comienza el caos" width="375" height="142" src="https://i.blogs.es/3d87c3/thinking/375_142.jpeg"><br />
 </a>
 </div>
<div class="desvio-summary">
<div class="desvio-taxonomy js-desvio-taxonomy">
 <a href="https://www.xataka.com/robotica-e-ia/hay-riesgo-agentes-ia-errores-acumulados-que-sean-telefono-escacharrado" class="desvio-taxonomy-anchor pivot-outboundlink" data-vars-post-title="Todo empieza pidiéndole una cosa a una IA. Cuando la IA se lo pide a otras IA comienza el caos">En Xataka</a>
 </div>
<p> <a href="https://www.xataka.com/robotica-e-ia/hay-riesgo-agentes-ia-errores-acumulados-que-sean-telefono-escacharrado" class="desvio-title js-desvio-title pivot-outboundlink" data-vars-post-title="Todo empieza pidiéndole una cosa a una IA. Cuando la IA se lo pide a otras IA comienza el caos">Todo empieza pidiéndole una cosa a una IA. Cuando la IA se lo pide a otras IA comienza el caos</a>
 </div>
</p></div>
</p></div>
</div>
<p><strong>TheAgentCompany</strong>. Para realizar su estudio los investigadores crearon una compañía ficticia a la que llamaron <a rel="noopener, noreferrer" href="https://the-agent-company.com/" data-id="noopener noreferrer">The Agent Company</a> y la usaron para que distintos modelos agénticos de IA trataran de completar diversas tareas. Esos sistemas debían ser capaces de utilizar el acceso a varios servicios como GitLab, Owncloud o RocketChat para ir realizando dichos trabajos, pero su rendimiento fue decepcionante.</p>
<p><!-- BREAK 3 --></p>
<p><strong>Un 70% de errores</strong>. Los investigadores usaron dos entornos de prueba llamados <a rel="noopener, noreferrer" href="https://www.all-hands.dev/blog/openhands-codeact-21-an-open-state-of-the-art-software-development-agent" data-id="noopener noreferrer">OpenHands CodeAct</a> y <a rel="noopener, noreferrer" href="https://github.com/camel-ai/owl/tree/gaia58.18" data-id="noopener noreferrer">OWL-Roleplay</a> y en ellos fueron probando los modelos de IA más importantes hoy en día. El mejor de todos ellos a día de hoy es Claude Sonnet 4, que logró resolver un 33,1% de las tareas propuestas. Por detrás están Claude 3.7 Sonnet (30,9%), Gemini 2.5 Pro (30,3%) y, mucho más lejos, unos desastrosos GPT-4o (8,6%), Llama-3.1-405b (7,4%) , Qwen-2.5-72b (5,7%) o Amazon Nova Pro v1.0 (1,7%). En el mejor de los casos los modelos pueden completar el 30% de las tareas pedidas, pero fallan en el 70%. O lo que es lo mismo: mucho ruido y pocas nueces según estos benchmarks.</p>
<p><!-- BREAK 4 --></p>
<p><strong>Agentes incapaces</strong>. Durante esas pruebas los investigadores observaron diversos tipos de fallo en esos procesos de las tareas. Así, hubo agentes negándose a enviar un mensaje a colegas que formaban parte de la tarea, hubo también agentes incapaces de gestionar ventanas de popup durante las sesiones de navegación, e incluso agentes que engañaron o hicieron trampas. En uno de los casos, destacaron, un agente que debía consultar a una persona en RocketChat (una alternativa Open Source a Slack) no la encontró, así que &#8220;le cambió el nombre a otro usuario para darle el del usuario con el que debía contactar&#8221;.</p>
<p><!-- BREAK 5 --></p>
<p><strong>Pero van mejorando</strong>. Aun con esos problemas, la evolución va siendo positiva en el rendimiento de estos agentes de IA. Neubig y su equipo probaron un agente software que era capaz de resolver cerca del 24% de las tareas que involucraban la navegación web, la programación y algunas tareas relacionadas. Seis meses después probaron una nueva versión y lograron un 34% de tareas completadas.</p>
<p><!-- BREAK 6 --></p>
<div class="article-asset-video article-asset-normal">
<div class="asset-content">
<div class="base-asset-video">
<div class="js-dailymotion"></div>
</p></div>
</p></div>
</div>
<p><strong>Imperfectos pero útiles</strong>. No solo eso: estos investigadores apuntaron a que aun fallando tanto, los agentes de IA pueden seguir siendo útiles. En ciertos contextos, como el de la programación, una sugerencia parcial de código con el que resolver cierto fragmetno de un programa puede acabar siendo la base de una solución en la que luego el desarrollador pueda trabajar.</p>
<p><!-- BREAK 7 --></p>
<p><strong>Cuidado donde los usas</strong>. Pero claro, que los agentes cometan tantos errores puede ser un problema en escenarios más sensibles a estos problemas. Así, si encargamos a un agente que escriba correos y los envía a las personas incorrectas, el resultado podría ser un desastre. Hay soluciones a la vista, como la creciente adopción del <a class="text-outboundlink" href="https://www.xataka.com/basics/mcp-model-context-protocol-que-como-funciona-este-estandar-que-permite-funcionamiento-agentes-inteligencia-artificial" data-vars-post-title="MCP o Model Context Protocol: qué es y cómo funciona este estándar que permite el funcionamiento de agentes de inteligencia artificial" data-vars-post-url="https://www.xataka.com/basics/mcp-model-context-protocol-que-como-funciona-este-estandar-que-permite-funcionamiento-agentes-inteligencia-artificial">Model Context Protocol</a> (MCP) que facilita la interacción entre servicios y modelos de IA para que la comunicación sea mucho más precisa y se puedan mitigar esos errores durante la ejecución autónoma de tareas.</p>
<p><!-- BREAK 8 --></p>
<p><strong>Un benchmark que hace quedar mal a los modelos de IA</strong>. Para este experto una de las grandes decepciones es que las empresas que desarrollan modelos de IA no parecen interesadas en utilizarlo como métrica para mejorar sus desarrollos. Neubig sospechaba que &#8220;quizás es que es demasiado difícil y les hace quedar mal&#8221;. Es algo similar a lo que pasa <a class="text-outboundlink" href="https://www.xataka.com/robotica-e-ia/arc-agi-test-facil-para-humanos-durisimo-para-ias-pregunta-sirve-realmente-para-medir-hemos-llegado-a-agi" data-vars-post-title="Si la pregunta es si la IA es ya tan buena como la inteligencia humana, la respuesta es: resuelve este puzzle" data-vars-post-url="https://www.xataka.com/robotica-e-ia/arc-agi-test-facil-para-humanos-durisimo-para-ias-pregunta-sirve-realmente-para-medir-hemos-llegado-a-agi" data-id="noopener noreferrer">con el benchmark ARC-AGI2</a>: es un test tan difícil para las IAs que hoy en día <a rel="noopener, noreferrer" href="https://arcprize.org/leaderboard" data-id="noopener noreferrer">el mejor de todos los modelos</a> de IA que tratan de superarlo es o3, que logra —atención— un 3% de tareas completadas.</p>
<p><!-- BREAK 9 --></p>
<p><strong>En Salesforce coinciden</strong>. Ese estudio anterior se complementa <a rel="noopener, noreferrer" href="https://arxiv.org/abs/2505.18878" data-id="noopener noreferrer">con otro realizado</a> por un grupo de investigadores de Salesforce. Crearon un benchmark propio específicamente destinado a comprobar cómo se comprobarían diversos modelos de IA a la hora de controlar tareas típicas en un CRM como los que desarrolla la firma. Su proyecto, llamado CRMArena-Pro, pone a prueba a esos agentes de IA en áreas como el departamento de ventas o de soporte.</p>
<p><!-- BREAK 10 --></p>
<div class="article-asset article-asset-normal article-asset-center">
<div class="desvio-container">
<div class="desvio">
<div class="desvio-figure js-desvio-figure">
 <a href="https://www.xataka.com/robotica-e-ia/arc-agi-test-facil-para-humanos-durisimo-para-ias-pregunta-sirve-realmente-para-medir-hemos-llegado-a-agi" class="pivot-outboundlink" data-vars-post-title="Si la pregunta es si la IA es ya tan buena como la inteligencia humana, la respuesta es: resuelve este puzzle"><br />
 <img alt="Si la pregunta es si la IA es ya tan buena como la inteligencia humana, la respuesta es: resuelve este puzzle" width="375" height="142" src="https://i.blogs.es/45bc96/arc-agi-2/375_142.jpeg"><br />
 </a>
 </div>
<div class="desvio-summary">
<div class="desvio-taxonomy js-desvio-taxonomy">
 <a href="https://www.xataka.com/robotica-e-ia/arc-agi-test-facil-para-humanos-durisimo-para-ias-pregunta-sirve-realmente-para-medir-hemos-llegado-a-agi" class="desvio-taxonomy-anchor pivot-outboundlink" data-vars-post-title="Si la pregunta es si la IA es ya tan buena como la inteligencia humana, la respuesta es: resuelve este puzzle">En Xataka</a>
 </div>
<p> <a href="https://www.xataka.com/robotica-e-ia/arc-agi-test-facil-para-humanos-durisimo-para-ias-pregunta-sirve-realmente-para-medir-hemos-llegado-a-agi" class="desvio-title js-desvio-title pivot-outboundlink" data-vars-post-title="Si la pregunta es si la IA es ya tan buena como la inteligencia humana, la respuesta es: resuelve este puzzle">Si la pregunta es si la IA es ya tan buena como la inteligencia humana, la respuesta es: resuelve este puzzle</a>
 </div>
</p></div>
</p></div>
</div>
<p><strong>De sustituir a trabajadores, nada</strong>. En sus conclusiones esos investigadores revelan cómo los modelos de IA &#8220;consiguen tasas de éxito globalmente modestas, típicamente alrededor del 58% en escenarios con un solo turno [de ejecución], pero con el rendimiento degradándose significativamente a aproximadamente el 35% en escenarios multiturno&#8221;. De hecho, explicaban, &#8220;los agentes no están en general bien preparados ni tienen las cualificaciones esenciales para tareas complejas&#8221;. El riesgo del que hablan algunos expertos, con <a class="text-outboundlink" href="https://www.xataka.com/robotica-e-ia/sustituir-trabajadores-ia-sonaba-espectacular-hay-empresas-dando-marcha-atras" data-vars-post-title="Algunas empresas apostaron muy fuerte por sustituir a sus trabajadores por una IA. Ya se están arrepintiendo" data-vars-post-url="https://www.xataka.com/robotica-e-ia/sustituir-trabajadores-ia-sonaba-espectacular-hay-empresas-dando-marcha-atras">un gran impacto de la IA en diversos puestos de trabajo</a>, parece precipitado.</p>
<p><!-- BREAK 11 --></p>
<p><strong>Un futuro complicado</strong>. A estos discretos resultados se une la predicción de la consultora Gartner. <a rel="noopener, noreferrer" href="https://www.gartner.com/en/newsroom/press-releases/2025-06-25-gartner-predicts-over-40-percent-of-agentic-ai-projects-will-be-canceled-by-end-of-2027">Según sus estudios</a>, más del 40% de los proyectos de agentes de IA en desarrollo acabarán siendo cancelados a finales de 2027. La principal responsable del informe, Anushree Verma, indicaba que &#8220;En la actualidad, la mayoría de los proyectos de IA agéntica son experimentos o pruebas de concepto en fase inicial, impulsados principalmente por la publicidad y a menudo mal aplicados&#8221;. El mensaje es claro: hay demasiadas expectativas en relación a los agentes de IA, pero el estado actual de la tecnología demuestra que hoy por hoy su aplicación es problemática y limitada.</p>
<p><!-- BREAK 12 --></p>
<p>Imagen | <a rel="noopener, noreferrer" href="https://unsplash.com/es/fotos/personas-sentadas-en-una-silla-frente-al-monitor-de-la-computadora-Fa9b57hffnM">Sigmund</a></p>
<p>En Xataka | <a class="text-outboundlink" href="https://www.xataka.com/empresas-y-economia/startup-ia-seis-meses-vida-seis-empleados-ha-sido-vendida-80-millones-dolares-vibe-coding-supuesto" data-vars-post-title="Una startup de IA con seis meses de vida y seis empleados se ha vendido por 80 millones de dólares. Vibe-coding, por supuesto" data-vars-post-url="https://www.xataka.com/empresas-y-economia/startup-ia-seis-meses-vida-seis-empleados-ha-sido-vendida-80-millones-dolares-vibe-coding-supuesto">Una startup de IA con seis meses de vida y seis empleados se ha vendido por 80 millones de dólares. Vibe-coding, por supuesto</a></p>
<p> &#8211; <br /> La noticia<br />
 <a href="https://www.xataka.com/robotica-e-ia/tenemos-gran-problema-agentes-ia-se-equivocan-70-veces?utm_source=feedburner&;utm_medium=feed&;utm_campaign=30_Jun_2025"><br />
 <em> Tenemos un gran problema con los agentes de IA: se equivocan el 70% de las veces </em><br />
 </a><br />
 fue publicada originalmente en<br />
 <a href="https://www.xataka.com/?utm_source=feedburner&;utm_medium=feed&;utm_campaign=30_Jun_2025"><br />
 <strong> Xataka </strong><br />
 </a><br />
 por <a href="https://www.xataka.com/autor/javier-pastor?utm_source=feedburner&;utm_medium=feed&;utm_campaign=30_Jun_2025"><br />
 Javier Pastor<br />
 </a><br />
 . </p>
<p>​Los agentes de IA fallan más que una escopeta de feria. Eso es al menos lo que revela un reciente estudio de investigadores de la Universidad Carnegie Mellon (CMU) y la Universidad de Duke. Estos expertos han analizado el comportamiento de varios de ellos y los han puesto a prueba para comprobar si esto es un &#8220;mucho ruido y pocas nueces&#8221;. Y de momento lo es.</p>
<p>La inspiración. Graham Neubig, profesor de CMU, explicaba en The Register cómo la inspiración había sido un artículo de 2023 de OpenAI. En él se hablaba de qué tipos de trabajos podrían ser reemplazados por sistemas de IA, pero como él decía &#8220;su metodología fue básicamente preguntarle a ChatGPT si esos trabajos podrían ser automatizados&#8221;. En ese estudio precisamente quisieron comprobarlo pidiéndole a diversos agentes de IA que intentaran completar tareas que teóricamente deberían realizar profesionales de esos trabajos.</p>
<p> En Xataka</p>
<p> Todo empieza pidiéndole una cosa a una IA. Cuando la IA se lo pide a otras IA comienza el caos</p>
<p>TheAgentCompany. Para realizar su estudio los investigadores crearon una compañía ficticia a la que llamaron The Agent Company y la usaron para que distintos modelos agénticos de IA trataran de completar diversas tareas. Esos sistemas debían ser capaces de utilizar el acceso a varios servicios como GitLab, Owncloud o RocketChat para ir realizando dichos trabajos, pero su rendimiento fue decepcionante.</p>
<p>Un 70% de errores. Los investigadores usaron dos entornos de prueba llamados OpenHands CodeAct y OWL-Roleplay y en ellos fueron probando los modelos de IA más importantes hoy en día. El mejor de todos ellos a día de hoy es Claude Sonnet 4, que logró resolver un 33,1% de las tareas propuestas. Por detrás están Claude 3.7 Sonnet (30,9%), Gemini 2.5 Pro (30,3%) y, mucho más lejos, unos desastrosos GPT-4o (8,6%), Llama-3.1-405b (7,4%) , Qwen-2.5-72b (5,7%) o Amazon Nova Pro v1.0 (1,7%). En el mejor de los casos los modelos pueden completar el 30% de las tareas pedidas, pero fallan en el 70%. O lo que es lo mismo: mucho ruido y pocas nueces según estos benchmarks.</p>
<p>Agentes incapaces. Durante esas pruebas los investigadores observaron diversos tipos de fallo en esos procesos de las tareas. Así, hubo agentes negándose a enviar un mensaje a colegas que formaban parte de la tarea, hubo también agentes incapaces de gestionar ventanas de popup durante las sesiones de navegación, e incluso agentes que engañaron o hicieron trampas. En uno de los casos, destacaron, un agente que debía consultar a una persona en RocketChat (una alternativa Open Source a Slack) no la encontró, así que &#8220;le cambió el nombre a otro usuario para darle el del usuario con el que debía contactar&#8221;.</p>
<p>Pero van mejorando. Aun con esos problemas, la evolución va siendo positiva en el rendimiento de estos agentes de IA. Neubig y su equipo probaron un agente software que era capaz de resolver cerca del 24% de las tareas que involucraban la navegación web, la programación y algunas tareas relacionadas. Seis meses después probaron una nueva versión y lograron un 34% de tareas completadas.</p>
<p>Imperfectos pero útiles. No solo eso: estos investigadores apuntaron a que aun fallando tanto, los agentes de IA pueden seguir siendo útiles. En ciertos contextos, como el de la programación, una sugerencia parcial de código con el que resolver cierto fragmetno de un programa puede acabar siendo la base de una solución en la que luego el desarrollador pueda trabajar.</p>
<p>Cuidado donde los usas. Pero claro, que los agentes cometan tantos errores puede ser un problema en escenarios más sensibles a estos problemas. Así, si encargamos a un agente que escriba correos y los envía a las personas incorrectas, el resultado podría ser un desastre. Hay soluciones a la vista, como la creciente adopción del Model Context Protocol (MCP) que facilita la interacción entre servicios y modelos de IA para que la comunicación sea mucho más precisa y se puedan mitigar esos errores durante la ejecución autónoma de tareas.</p>
<p>Un benchmark que hace quedar mal a los modelos de IA. Para este experto una de las grandes decepciones es que las empresas que desarrollan modelos de IA no parecen interesadas en utilizarlo como métrica para mejorar sus desarrollos. Neubig sospechaba que &#8220;quizás es que es demasiado difícil y les hace quedar mal&#8221;. Es algo similar a lo que pasa con el benchmark ARC-AGI2: es un test tan difícil para las IAs que hoy en día el mejor de todos los modelos de IA que tratan de superarlo es o3, que logra —atención— un 3% de tareas completadas.</p>
<p>En Salesforce coinciden. Ese estudio anterior se complementa con otro realizado por un grupo de investigadores de Salesforce. Crearon un benchmark propio específicamente destinado a comprobar cómo se comprobarían diversos modelos de IA a la hora de controlar tareas típicas en un CRM como los que desarrolla la firma. Su proyecto, llamado CRMArena-Pro, pone a prueba a esos agentes de IA en áreas como el departamento de ventas o de soporte.</p>
<p> En Xataka</p>
<p> Si la pregunta es si la IA es ya tan buena como la inteligencia humana, la respuesta es: resuelve este puzzle</p>
<p>De sustituir a trabajadores, nada. En sus conclusiones esos investigadores revelan cómo los modelos de IA &#8220;consiguen tasas de éxito globalmente modestas, típicamente alrededor del 58% en escenarios con un solo turno [de ejecución], pero con el rendimiento degradándose significativamente a aproximadamente el 35% en escenarios multiturno&#8221;. De hecho, explicaban, &#8220;los agentes no están en general bien preparados ni tienen las cualificaciones esenciales para tareas complejas&#8221;. El riesgo del que hablan algunos expertos, con un gran impacto de la IA en diversos puestos de trabajo, parece precipitado.</p>
<p>Un futuro complicado. A estos discretos resultados se une la predicción de la consultora Gartner. Según sus estudios, más del 40% de los proyectos de agentes de IA en desarrollo acabarán siendo cancelados a finales de 2027. La principal responsable del informe, Anushree Verma, indicaba que &#8220;En la actualidad, la mayoría de los proyectos de IA agéntica son experimentos o pruebas de concepto en fase inicial, impulsados principalmente por la publicidad y a menudo mal aplicados&#8221;. El mensaje es claro: hay demasiadas expectativas en relación a los agentes de IA, pero el estado actual de la tecnología demuestra que hoy por hoy su aplicación es problemática y limitada.</p>
<p>Imagen | Sigmund</p>
<p>En Xataka | Una startup de IA con seis meses de vida y seis empleados se ha vendido por 80 millones de dólares. Vibe-coding, por supuesto</p>
<p> &#8211; La noticia</p>
<p> Tenemos un gran problema con los agentes de IA: se equivocan el 70% de las veces </p>
<p> fue publicada originalmente en</p>
<p> Xataka </p>
<p> por<br />
 Javier Pastor</p>
<p> . </p>
<p>​ </p>
<p>​ </p>