Ciencia y Tecnología
Un grupo de expertos en IA asistieron a una fiesta en una mansión. El tema de conversación: qué habrá cuando la IA acabe con la humanidad
<p>
 <img src="https://i.blogs.es/6307c3/gemini_generated_image_yma4olyma4olyma4/1024_2000.jpeg" alt="Un grupo de expertos en IA asistieron a una fiesta en una mansión. El tema de conversación: qué habrá cuando la IA acabe con la humanidad ">
 </p>
<p>En una mansión con vistas al Golden Gate, la élite de la inteligencia artificial se reunió el pasado domingo para debatir una cuestión inquietante: el fin de la humanidad y lo que vendrá después. Entre copas (sin alcohol) sus alrededor de 100 asistentes, entre los que había filósofos, empresarios e investigadores, imaginaron un futuro en el que los humanos ya no existimos, pero sí una inteligencia creada por nosotros. ¿Cómo debería ser nuestra sucesora?</p>
<p><!-- BREAK 1 --></p>
<p><strong>La fiesta del fin del mundo. </strong> El evento que hemos conocido a través de <a rel="noopener, noreferrer" href="https://www.wired.com/story/ai-risk-party-san-francisco/">este reportaje de Wired</a> fue llamado ‘Worthy Successor’ y tenía como objetivo discutir precisamente sobre eso: definir un “sucesor a la altura” para cuando la humanidad ya no exista. Esta idea está relacionada con la creación de una <a class="text-outboundlink" href="https://www.xataka.com/basics/que-inteligencia-artificial-general-agi-tecnologia-que-apunta-a-revolucionar-nuestro-mundo-completo" data-vars-post-title="Qué es la Inteligencia Artificial General (AGI), la tecnología que apunta a revolucionar nuestro mundo por completo" data-vars-post-url="https://www.xataka.com/basics/que-inteligencia-artificial-general-agi-tecnologia-que-apunta-a-revolucionar-nuestro-mundo-completo"><u>inteligencia artificial general o AGI</u></a>, por sus siglas en inglés. Un (de momento) concepto de superinteligencia que superaría al ser humano en todas las facetas del conocimiento, tan buena que, en palabras de Daniel Faggella, anfitrión de la fiesta: “Preferirías con mucho gusto que ella (no la humanidad) determine el camino futuro de la vida misma”.</p>
<p><!-- BREAK 2 --></p>
<p><strong>Quienes asistieron. </strong>Lo primero: ¿quién es este tipo y por qué deberíamos escucharlo? Faggella es el fundador de Emerj Artificial Intelligence Research, una firma de consultoría y análisis de IA. <a rel="noopener, noreferrer" href="https://techcrunch.com/2016/03/21/exploring-the-risks-of-artificial-intelligence/"><u>En 2016 escribía en TechCrunch</u></a> sobre los riesgos de la IA y actualmente está centrado en divulgar sobre IA desde un enfoque moral y filosófico, concretamente el de la creación de este ‘worthy succesor’ <a rel="noopener, noreferrer" href="https://danfaggella.com/worthy/"><u>una idea que llevaba rondando desde hace tiempo</u></a>. Según cuenta <a rel="noopener, noreferrer" href="https://www.linkedin.com/posts/danfaggella_the-worthy-successor-agi-event-in-sf-on-activity-7336180093532229632-Oieh?utm_source=share&;utm_medium=member_desktop&;rcm=ACoAABJhsmcB4So5ufEmX5-HONwkR2tU5PJgHKQ"><u>en LinkedIN</u></a>, ha ido contactando con distintas personalidades relevantes de la industria para, dos años después, conseguir celebrar esta reunión.</p>
<p><!-- BREAK 3 --></p>
<p>En la fiesta se pudieron escuchar tres ponencias de la mano de <a rel="noopener, noreferrer" href="https://x.com/ginevlily"><u>Ginevra Davis</u></a>, escritora neoyorkina, el filósofo <a rel="noopener, noreferrer" href="https://x.com/johnsonmxe?lang=es"><u>Michael Edward Johnson</u></a> y el propio anfitrión. La lista completa de invitados no ha trascendido, pero <a rel="noopener, noreferrer" href="https://www.linkedin.com/feed/update/urn:li:activity:7336180093532229632/"><u>Faggella presume</u></a> de que asistieron fundadores de empresas de IA con valores de hasta 5.000 millones de dólares, gente de los laboratorios que están investigando para crear una AGI y algunos de los filósofos y pensadores más importantes del sector.</p>
<p><!-- BREAK 4 --></p>
<div class="article-asset article-asset-normal article-asset-center">
<div class="desvio-container">
<div class="desvio">
<div class="desvio-figure js-desvio-figure">
 <a href="https://www.xataka.com/robotica-e-ia/hay-que-poner-unas-comillas-muy-grandes-razonamiento-ia-bienvenidos-a-inteligencia-irregular" class="pivot-outboundlink" data-vars-post-title='Todas las empresas IA están vendiendo que sus nuevos modelos "razonan". Hay que ponerle unas comillas muy grandes'><br />
 <img alt='Todas las empresas IA están vendiendo que sus nuevos modelos "razonan". Hay que ponerle unas comillas muy grandes' width="375" height="142" src="https://i.blogs.es/4402c3/rodin/375_142.jpeg"><br />
 </a>
 </div>
<div class="desvio-summary">
<div class="desvio-taxonomy js-desvio-taxonomy">
 <a href="https://www.xataka.com/robotica-e-ia/hay-que-poner-unas-comillas-muy-grandes-razonamiento-ia-bienvenidos-a-inteligencia-irregular" class="desvio-taxonomy-anchor pivot-outboundlink" data-vars-post-title='Todas las empresas IA están vendiendo que sus nuevos modelos "razonan". Hay que ponerle unas comillas muy grandes'>En Xataka</a>
 </div>
<p> <a href="https://www.xataka.com/robotica-e-ia/hay-que-poner-unas-comillas-muy-grandes-razonamiento-ia-bienvenidos-a-inteligencia-irregular" class="desvio-title js-desvio-title pivot-outboundlink" data-vars-post-title='Todas las empresas IA están vendiendo que sus nuevos modelos "razonan". Hay que ponerle unas comillas muy grandes'>Todas las empresas IA están vendiendo que sus nuevos modelos &#8220;razonan&#8221;. Hay que ponerle unas comillas muy grandes</a>
 </div>
</p></div>
</p></div>
</div>
<p><strong>La superinteligencia que acabará con todo. </strong>En palabras de Faggella a Wired: “los grandes laboratorios saben que la AGI probablemente acabará con la humanidad, pero no hablan de ello porque los incentivos no lo permiten”. Suena a teoría de la conspiración, pero no es el primero que advierte de algo así. Hace una década, Bill Gates nos decía que <a class="text-outboundlink" href="https://www.xataka.com/robotica-e-ia/debemos-temer-a-la-inteligencia-artificial-segun-bill-gates-si-y-mucho" data-vars-post-title="¿Debemos temer a la Inteligencia Artificial? según Bill Gates, sí y mucho" data-vars-post-url="https://www.xataka.com/robotica-e-ia/debemos-temer-a-la-inteligencia-artificial-segun-bill-gates-si-y-mucho"><u>deberíamos temer a la IA</u></a>. Poco después <a class="text-outboundlink" href="https://www.xataka.com/robotica-e-ia/urge-regular-la-inteligencia-artificial-antes-de-que-se-convierta-en-un-peligro-para-la-humanidad-elon-musk" data-vars-post-title='"Urge regular la inteligencia artificial antes de que se convierta en un peligro para la humanidad": Elon Musk' data-vars-post-url="https://www.xataka.com/robotica-e-ia/urge-regular-la-inteligencia-artificial-antes-de-que-se-convierta-en-un-peligro-para-la-humanidad-elon-musk"><u>Musk exigía una regulación</u></a> para mitigar los peligros de lo que estaba por venir. Más recientemente, distintos expertos en IA firmaban <a class="text-outboundlink" href="https://www.xataka.com/robotica-e-ia/grandes-expertos-ia-comparten-mensaje-riesgo-extincion-les-bastan-22-palabras" data-vars-post-title='Los grandes expertos de la IA comparten un mensaje sobre el "riesgo de extinción": les bastan 22 palabras' data-vars-post-url="https://www.xataka.com/robotica-e-ia/grandes-expertos-ia-comparten-mensaje-riesgo-extincion-les-bastan-22-palabras"><u>un mensaje que alertaba del “riesgo de extinción por IA”</u></a>. OpenAI también pensaba en <a class="text-outboundlink" href="https://www.xataka.com/robotica-e-ia/quiza-proyecto-importante-historia-humanidad-que-openai-piensa-riesgos-agi" data-vars-post-title='"Quizá el proyecto más importante de la historia de la humanidad": por qué OpenAI ya piensa en los riesgos de la AGI ' data-vars-post-url="https://www.xataka.com/robotica-e-ia/quiza-proyecto-importante-historia-humanidad-que-openai-piensa-riesgos-agi"><u>los riesgos de la AGI</u></a>. Incluso se habla de que sus declaraciones sobre la creación de una AGI habría sido <a class="text-outboundlink" href="https://www.xataka.com/empresas-y-economia/antes-despedir-a-altman-openai-hizo-descubrimiento-uno-que-plantea-amenaza-para-humanidad" data-vars-post-title='Antes de despedir a Altman, OpenAI hizo un descubrimiento. Uno que plantea una "amenaza para la humanidad"' data-vars-post-url="https://www.xataka.com/empresas-y-economia/antes-despedir-a-altman-openai-hizo-descubrimiento-uno-que-plantea-amenaza-para-humanidad"><u>el motivo del sonado despido de Altman</u></a> meses después.</p>
<p><!-- BREAK 5 --></p>
<p><strong>Qué hay de cierto en todo esto. </strong>No lo podemos saber a ciencia cierta, pero sí sabemos que la mayoría de los argumentos sobre <a class="text-outboundlink" href="https://www.xataka.com/robotica-e-ia/todas-empresas-ia-prometen-que-agi-llegara-muy-pronto-problema-que-chatgpt-no-camino" data-vars-post-title="Todas las empresas de IA prometen que la AGI llegará muy pronto. El problema es que ChatGPT no es el camino" data-vars-post-url="https://www.xataka.com/robotica-e-ia/todas-empresas-ia-prometen-que-agi-llegara-muy-pronto-problema-que-chatgpt-no-camino"><u>la inminencia de la AGI</u></a> y sus riesgos se basan en opiniones y especulaciones, no en pruebas empíricas o avances concretos. Por ejemplo, investigaciones recientes han demostrado que los sistemas actuales <a rel="noopener, noreferrer" href="https://futurism.com/frontier-ai-models-stumped-childrens-game"><u>aún fallan en tareas básicas de razonamiento</u></a>, lo que contradice la idea de una superinteligencia a corto plazo. Es más, hay indicios de que <a class="text-outboundlink" href="https://www.xataka.com/robotica-e-ia/nuevos-grandes-modelos-ia-generativa-no-paran-retrasarse-peligroso-indicio-que-hemos-tocado-techo" data-vars-post-title="Los nuevos grandes modelos de IA generativa no paran de retrasarse. Es un peligroso indicio de que hemos tocado techo " data-vars-post-url="https://www.xataka.com/robotica-e-ia/nuevos-grandes-modelos-ia-generativa-no-paran-retrasarse-peligroso-indicio-que-hemos-tocado-techo"><u>la IA generativa podría estar cerca de su techo</u></a>. Tampoco hay consenso entre los expertos. Hay detractores que <a class="text-outboundlink" href="https://www.xataka.com/robotica-e-ia/amenaza-ia-a-humanidad-absurdamente-ridicula-dice-maximo-responsable-ia-meta" data-vars-post-title='La amenaza de la IA a la humanidad es "absurdamente ridícula": lo dice el máximo responsable de IA en Meta ' data-vars-post-url="https://www.xataka.com/robotica-e-ia/amenaza-ia-a-humanidad-absurdamente-ridicula-dice-maximo-responsable-ia-meta"><u>lo consideran ridículo</u></a>, pero claro, es menos ‘viralizable’ que decir que la IA va a extinguirnos.</p>
<p><!-- BREAK 6 --></p>
<p>Y lo más importante: no podemos dejar de lado el hecho de que quienes hacen estas declaraciones son personas del negocio <a rel="noopener, noreferrer" href="https://futurism.com/the-byte/sam-altman-openai-knows-how-agi"><u>como Altman</u></a>, y el <a class="text-outboundlink" href="https://www.xataka.com/empresas-y-economia/openai-no-quiere-ser-solo-chatgpt-quiere-ser-proxima-google" data-vars-post-title='OpenAI necesita algo grande, muy grande para seguir recaudando dinero en 2025. Tanto como ser "la nueva Google"' data-vars-post-url="https://www.xataka.com/empresas-y-economia/openai-no-quiere-ser-solo-chatgpt-quiere-ser-proxima-google"><u>negocio es muy caro</u></a> y necesita financiarse. Agitar el avispero insistiendo sobre la inminente llegada de la AGI podría ser una forma de lograr recaudar más dinero para sus empresas.</p>
<p><!-- BREAK 7 --></p>
<div class="article-asset-video article-asset-normal">
<div class="asset-content">
<div class="base-asset-video">
<div class="js-dailymotion"></div>
</p></div>
</p></div>
</div>
<p><strong>Lo que dejaremos cuando desaparezcamos. </strong>El tema central de la fiesta no fue tanto cómo se extinguirá la humanidad (parece que esto lo dan por hecho), sino qué tipo de inteligencia deberíamos crear para que sea nuestra sucesora. Los asistentes escucharon ponencias que giraron en torno a los valores y capacidades que debería tener esta nueva inteligencia superior. Para Faggella, la humanidad tiene la responsabilidad de diseñar un sucesor que sea consciente y capaz de evolucionar.</p>
<p><!-- BREAK 8 --></p>
<p>El filósofo Michael Edward Johnson destacó los restos de crear una IA consciente más allá de la manida posible extinción: “Nos arriesgamos a esclavizar algo que puede sufrir o a confiar en algo en lo que no se puede confiar”, afirmó durante su ponencia. Más que forzar a la IA a obedecer, proponía una educación conjunta de humanos e IAs para “perseguir el bien”, sea lo que sea eso. En definitiva, un interesante <a rel="noopener, noreferrer" href="https://ethic.es/2024/01/el-dialogo-entre-un-filosofo-y-un-experto-en-ia-la-ia-no-es-inteligencia-sino-eficiencia/"><u>debate desde el punto de vista ético y filosófico</u></a>, pero con poco anclaje en la realidad. Al menos de momento.</p>
<p><!-- BREAK 9 --></p>
<p>Imagen de portada | Gemini</p>
<p>En Xataka | <a class="text-outboundlink" href="https://www.xataka.com/robotica-e-ia/shein-china-tiene-manos-nueva-arma-para-devorar-industria-moda-ia-que-predice-tendencias" data-vars-post-title="El arma secreta de la industria de la moda en China: esta startup usa IA para predecir las próximas tendencias" data-vars-post-url="https://www.xataka.com/robotica-e-ia/shein-china-tiene-manos-nueva-arma-para-devorar-industria-moda-ia-que-predice-tendencias"><u>El arma secreta de la industria de la moda en China: esta startup usa IA para predecir las próximas tendenci</u></a></p>
<p> &#8211; <br /> La noticia<br />
 <a href="https://www.xataka.com/robotica-e-ia/grupo-expertos-ia-asistieron-a-fiesta-mansion-tema-conversacion-que-habra-cuando-ia-acabe-humanidad?utm_source=feedburner&;utm_medium=feed&;utm_campaign=22_Jun_2025"><br />
 <em> Un grupo de expertos en IA asistieron a una fiesta en una mansión. El tema de conversación: qué habrá cuando la IA acabe con la humanidad </em><br />
 </a><br />
 fue publicada originalmente en<br />
 <a href="https://www.xataka.com/?utm_source=feedburner&;utm_medium=feed&;utm_campaign=22_Jun_2025"><br />
 <strong> Xataka </strong><br />
 </a><br />
 por <a href="https://www.xataka.com/autor/amparo-babiloni?utm_source=feedburner&;utm_medium=feed&;utm_campaign=22_Jun_2025"><br />
 Amparo Babiloni<br />
 </a><br />
 . </p>
<p>​En una mansión con vistas al Golden Gate, la élite de la inteligencia artificial se reunió el pasado domingo para debatir una cuestión inquietante: el fin de la humanidad y lo que vendrá después. Entre copas (sin alcohol) sus alrededor de 100 asistentes, entre los que había filósofos, empresarios e investigadores, imaginaron un futuro en el que los humanos ya no existimos, pero sí una inteligencia creada por nosotros. ¿Cómo debería ser nuestra sucesora?</p>
<p>La fiesta del fin del mundo. El evento que hemos conocido a través de este reportaje de Wired fue llamado ‘Worthy Successor’ y tenía como objetivo discutir precisamente sobre eso: definir un “sucesor a la altura” para cuando la humanidad ya no exista. Esta idea está relacionada con la creación de una inteligencia artificial general o AGI, por sus siglas en inglés. Un (de momento) concepto de superinteligencia que superaría al ser humano en todas las facetas del conocimiento, tan buena que, en palabras de Daniel Faggella, anfitrión de la fiesta: “Preferirías con mucho gusto que ella (no la humanidad) determine el camino futuro de la vida misma”.</p>
<p>Quienes asistieron. Lo primero: ¿quién es este tipo y por qué deberíamos escucharlo? Faggella es el fundador de Emerj Artificial Intelligence Research, una firma de consultoría y análisis de IA. En 2016 escribía en TechCrunch sobre los riesgos de la IA y actualmente está centrado en divulgar sobre IA desde un enfoque moral y filosófico, concretamente el de la creación de este ‘worthy succesor’ una idea que llevaba rondando desde hace tiempo. Según cuenta en LinkedIN, ha ido contactando con distintas personalidades relevantes de la industria para, dos años después, conseguir celebrar esta reunión.</p>
<p>En la fiesta se pudieron escuchar tres ponencias de la mano de Ginevra Davis, escritora neoyorkina, el filósofo Michael Edward Johnson y el propio anfitrión. La lista completa de invitados no ha trascendido, pero Faggella presume de que asistieron fundadores de empresas de IA con valores de hasta 5.000 millones de dólares, gente de los laboratorios que están investigando para crear una AGI y algunos de los filósofos y pensadores más importantes del sector.</p>
<p> En Xataka</p>
<p> Todas las empresas IA están vendiendo que sus nuevos modelos &#8220;razonan&#8221;. Hay que ponerle unas comillas muy grandes</p>
<p>La superinteligencia que acabará con todo. En palabras de Faggella a Wired: “los grandes laboratorios saben que la AGI probablemente acabará con la humanidad, pero no hablan de ello porque los incentivos no lo permiten”. Suena a teoría de la conspiración, pero no es el primero que advierte de algo así. Hace una década, Bill Gates nos decía que deberíamos temer a la IA. Poco después Musk exigía una regulación para mitigar los peligros de lo que estaba por venir. Más recientemente, distintos expertos en IA firmaban un mensaje que alertaba del “riesgo de extinción por IA”. OpenAI también pensaba en los riesgos de la AGI. Incluso se habla de que sus declaraciones sobre la creación de una AGI habría sido el motivo del sonado despido de Altman meses después.</p>
<p>Qué hay de cierto en todo esto. No lo podemos saber a ciencia cierta, pero sí sabemos que la mayoría de los argumentos sobre la inminencia de la AGI y sus riesgos se basan en opiniones y especulaciones, no en pruebas empíricas o avances concretos. Por ejemplo, investigaciones recientes han demostrado que los sistemas actuales aún fallan en tareas básicas de razonamiento, lo que contradice la idea de una superinteligencia a corto plazo. Es más, hay indicios de que la IA generativa podría estar cerca de su techo. Tampoco hay consenso entre los expertos. Hay detractores que lo consideran ridículo, pero claro, es menos ‘viralizable’ que decir que la IA va a extinguirnos.</p>
<p>Y lo más importante: no podemos dejar de lado el hecho de que quienes hacen estas declaraciones son personas del negocio como Altman, y el negocio es muy caro y necesita financiarse. Agitar el avispero insistiendo sobre la inminente llegada de la AGI podría ser una forma de lograr recaudar más dinero para sus empresas.</p>
<p>Lo que dejaremos cuando desaparezcamos. El tema central de la fiesta no fue tanto cómo se extinguirá la humanidad (parece que esto lo dan por hecho), sino qué tipo de inteligencia deberíamos crear para que sea nuestra sucesora. Los asistentes escucharon ponencias que giraron en torno a los valores y capacidades que debería tener esta nueva inteligencia superior. Para Faggella, la humanidad tiene la responsabilidad de diseñar un sucesor que sea consciente y capaz de evolucionar.</p>
<p>El filósofo Michael Edward Johnson destacó los restos de crear una IA consciente más allá de la manida posible extinción: “Nos arriesgamos a esclavizar algo que puede sufrir o a confiar en algo en lo que no se puede confiar”, afirmó durante su ponencia. Más que forzar a la IA a obedecer, proponía una educación conjunta de humanos e IAs para “perseguir el bien”, sea lo que sea eso. En definitiva, un interesante debate desde el punto de vista ético y filosófico, pero con poco anclaje en la realidad. Al menos de momento.</p>
<p>Imagen de portada | Gemini</p>
<p>En Xataka | El arma secreta de la industria de la moda en China: esta startup usa IA para predecir las próximas tendenci</p>
<p> &#8211; La noticia</p>
<p> Un grupo de expertos en IA asistieron a una fiesta en una mansión. El tema de conversación: qué habrá cuando la IA acabe con la humanidad </p>
<p> fue publicada originalmente en</p>
<p> Xataka </p>
<p> por<br />
 Amparo Babiloni</p>
<p> . </p>
<p>​ </p>
<p>​ </p>