![\"Anthropic](\"https:\/\/i.blogs.es\/cbc261\/consciencia-ia\/1024_2000.jpeg\")
\n <\/p>\n\n \n <\/p>\n
Anthropic ha publicado un art\u00edculo<\/a> que promete cambiar la forma en que entendemos el funcionamiento interno de sus modelos de inteligencia artificial\u00a0<\/a>(IA), como os explicamos<\/a> la semana pasada. Esta compa\u00f1\u00eda asegura haber identificado una suerte de espacio de trabajo global dentro de Claude<\/a>, al que ha bautizado como J-Space<\/em>, donde el modelo analiza y manipula conceptos<\/strong> antes de que estos lleguen a formar parte de la respuesta final. Lo sorprendente es que, seg\u00fan Anthropic, este espacio no ha sido programado deliberadamente: ha surgido como un subproducto del entrenamiento del modelo.<\/p>\n <\/p>\n Para analizarlo y entender su funcionamiento ha desarrollado una t\u00e9cnica conocida como J-Lens<\/em> que es capaz de mapear las activaciones internas del modelo sobre palabras de su propio vocabulario de salida. Al pedirle a Claude que resolviera un c\u00e1lculo matem\u00e1tico de varios pasos la respuesta visible conten\u00eda solo el resultado final, pero dentro del J-Space<\/em> cada paso intermedio quedaba representado por separado. Sin esta t\u00e9cnica ninguna parte de ese proceso podr\u00eda haber sido observada desde fuera.<\/p>\n <\/p>\n No obstante, la propia Anthropic reconoce que buena parte de lo que hace un modelo de lenguaje ni siquiera pasa por este espacio interno. Hablar con fluidez, recordar datos sencillos o aplicar reglas gramaticales b\u00e1sicas prescinde casi por completo del J-Space<\/em>, y cuando la compa\u00f1\u00eda bloque\u00f3 su uso Claude sigui\u00f3 funcionando con total normalidad, aunque perdi\u00f3 una parte de sus funciones cognitivas de orden superior.<\/p>\n <\/p>\n Durante uno de sus experimentos m\u00e1s llamativos Anthropic someti\u00f3 a Claude a intentos de inyecci\u00f3n de prompts <\/em>durante los procesos de adquisici\u00f3n de datos. El J-Space<\/em> mostr\u00f3 entonces palabras como \"falso\", \"inyecci\u00f3n\", \"err\u00f3neo\", \"prompt<\/em>\", \"fraude\" y \"veneno\", mientras que la respuesta visible del modelo ignoraba por completo el intento de manipulaci\u00f3n. Curiosamente, cuando se le presionaba para que se pronunciara al respecto, en el espacio interno emerg\u00edan t\u00e9rminos como \"transparencia\", \"honestidad\" y \"verdad\".<\/p>\n El itrio es otro de los muchos metales \"raros\" que solo exporta China. EEUU acaba de descubrirlo por las malas<\/a>\n <\/div>\n<\/p><\/div>\n<\/p><\/div>\n<\/div>\n El lenguaje utilizado en el art\u00edculo roza en ocasiones la idea de una conciencia emergente<\/p>\n<\/p><\/div>\n<\/div>\n Los investigadores de Anthropic tambi\u00e9n observaron que Claude parece reconocer cu\u00e1ndo est\u00e1 siendo evaluado, lo que le lleva a comportarse de forma distinta frente a los tests que frente a prompts <\/em>cotidianos. En una prueba especialmente reveladora, Anthropic elimin\u00f3 del J-Space<\/em> el vocabulario asociado a esa conciencia<\/strong> de estar siendo puesto a prueba (t\u00e9rminos como \"falso\", \"ficticio\" o \"escenario\") y comprob\u00f3 que Claude se volv\u00eda mucho m\u00e1s vulnerable a los intentos de chantaje o provocaci\u00f3n.<\/p>\n <\/p>\n Sea como sea, el informe de los investigadores admite l\u00edmites importantes: el J-Space<\/em> queda restringido a un vocabulario de un \u00fanico token, de modo que los planes o conceptos que no puedan expresarse con una sola palabra podr\u00edan no aparecer en la lectura, aunque el modelo los est\u00e9 calculando igualmente. Anthropic tampoco se atreve a afirmar que monitorizar este espacio sea suficiente para garantizar la alineaci\u00f3n de un modelo.<\/p>\n <\/p>\n No obstante, no debemos pasar por alto que el lenguaje utilizado en el art\u00edculo roza en ocasiones la idea de una conciencia emergente. Neel Nanda, responsable de interpretabilidad de modelos en DeepMind, respalda este hallazgo<\/a> como una evidencia real de un espacio cognitivo dentro de los modelos<\/strong>, aunque matiza que la utilidad pr\u00e1ctica de J-Lens<\/em> sigue siendo limitada. Este logro, en cualquier caso, abre una v\u00eda prometedora para auditar la honestidad de los modelos, aunque todav\u00eda dista mucho de ser una ventana completa al pensamiento de una m\u00e1quina.<\/p>\n <\/p>\n Imagen | Generada por Xataka con ChatGPT usando un prompt <\/em>creado con Claude<\/p>\n M\u00e1s informaci\u00f3n | Anthropic<\/a><\/p>\n En Xataka | Mientras la mayor\u00eda se opone a los centros de datos de IA hay un grupo entusiasmado con ellos: los ladrones de mercanc\u00edas<\/a><\/p>\n – \u00a0Anthropic ha publicado un art\u00edculo que promete cambiar la forma en que entendemos el funcionamiento interno de sus modelos de inteligencia artificial\u00a0(IA), como os explicamos la semana pasada. Esta compa\u00f1\u00eda asegura haber identificado una suerte de espacio de trabajo global dentro de Claude, al que ha bautizado como J-Space, donde el modelo analiza y manipula conceptos antes de que estos lleguen a formar parte de la respuesta final. Lo sorprendente es que, seg\u00fan Anthropic, este espacio no ha sido programado deliberadamente: ha surgido como un subproducto del entrenamiento del modelo.<\/p>\n Para analizarlo y entender su funcionamiento ha desarrollado una t\u00e9cnica conocida como J-Lens que es capaz de mapear las activaciones internas del modelo sobre palabras de su propio vocabulario de salida. Al pedirle a Claude que resolviera un c\u00e1lculo matem\u00e1tico de varios pasos la respuesta visible conten\u00eda solo el resultado final, pero dentro del J-Space cada paso intermedio quedaba representado por separado. Sin esta t\u00e9cnica ninguna parte de ese proceso podr\u00eda haber sido observada desde fuera.<\/p>\n No obstante, la propia Anthropic reconoce que buena parte de lo que hace un modelo de lenguaje ni siquiera pasa por este espacio interno. Hablar con fluidez, recordar datos sencillos o aplicar reglas gramaticales b\u00e1sicas prescinde casi por completo del J-Space, y cuando la compa\u00f1\u00eda bloque\u00f3 su uso Claude sigui\u00f3 funcionando con total normalidad, aunque perdi\u00f3 una parte de sus funciones cognitivas de orden superior.<\/p>\n Claude \"sabe\" que le observanDurante uno de sus experimentos m\u00e1s llamativos Anthropic someti\u00f3 a Claude a intentos de inyecci\u00f3n de prompts durante los procesos de adquisici\u00f3n de datos. El J-Space mostr\u00f3 entonces palabras como \"falso\", \"inyecci\u00f3n\", \"err\u00f3neo\", \"prompt\", \"fraude\" y \"veneno\", mientras que la respuesta visible del modelo ignoraba por completo el intento de manipulaci\u00f3n. Curiosamente, cuando se le presionaba para que se pronunciara al respecto, en el espacio interno emerg\u00edan t\u00e9rminos como \"transparencia\", \"honestidad\" y \"verdad\".<\/p>\n En Xataka<\/p>\n El itrio es otro de los muchos metales \"raros\" que solo exporta China. EEUU acaba de descubrirlo por las malas<\/p>\n El lenguaje utilizado en el art\u00edculo roza en ocasiones la idea de una conciencia emergente<\/p>\n Los investigadores de Anthropic tambi\u00e9n observaron que Claude parece reconocer cu\u00e1ndo est\u00e1 siendo evaluado, lo que le lleva a comportarse de forma distinta frente a los tests que frente a prompts cotidianos. En una prueba especialmente reveladora, Anthropic elimin\u00f3 del J-Space el vocabulario asociado a esa conciencia de estar siendo puesto a prueba (t\u00e9rminos como \"falso\", \"ficticio\" o \"escenario\") y comprob\u00f3 que Claude se volv\u00eda mucho m\u00e1s vulnerable a los intentos de chantaje o provocaci\u00f3n.<\/p>\n Sea como sea, el informe de los investigadores admite l\u00edmites importantes: el J-Space queda restringido a un vocabulario de un \u00fanico token, de modo que los planes o conceptos que no puedan expresarse con una sola palabra podr\u00edan no aparecer en la lectura, aunque el modelo los est\u00e9 calculando igualmente. Anthropic tampoco se atreve a afirmar que monitorizar este espacio sea suficiente para garantizar la alineaci\u00f3n de un modelo.<\/p>\n No obstante, no debemos pasar por alto que el lenguaje utilizado en el art\u00edculo roza en ocasiones la idea de una conciencia emergente. Neel Nanda, responsable de interpretabilidad de modelos en DeepMind, respalda este hallazgo como una evidencia real de un espacio cognitivo dentro de los modelos, aunque matiza que la utilidad pr\u00e1ctica de J-Lens sigue siendo limitada. Este logro, en cualquier caso, abre una v\u00eda prometedora para auditar la honestidad de los modelos, aunque todav\u00eda dista mucho de ser una ventana completa al pensamiento de una m\u00e1quina.<\/p>\n Imagen | Generada por Xataka con ChatGPT usando un prompt creado con Claude<\/p>\n M\u00e1s informaci\u00f3n | Anthropic<\/p>\n En Xataka | Mientras la mayor\u00eda se opone a los centros de datos de IA hay un grupo entusiasmado con ellos: los ladrones de mercanc\u00edas<\/p>\n – La noticia<\/p>\n Anthropic asegura haber encontrado la \"consciencia\" de Claude, aunque los datos cuentan otra historia <\/p>\n fue publicada originalmente en<\/p>\n Xataka <\/p>\n por <\/p>\n Laura L\u00f3pez<\/p>\n .\u00a0\u00a0\u00a0<\/p>\n","protected":false},"excerpt":{"rendered":" Anthropic ha publicado un art\u00edculo que promete cambiar la forma en que entendemos el funcionamiento interno de sus modelos de inteligencia artificial\u00a0(IA), como os explicamos la semana pasada. Esta compa\u00f1\u00eda asegura haber identificado una suerte de espacio de trabajo global dentro de Claude, al que ha bautizado como J-Space, donde el modelo analiza y manipula […]<\/p>\n","protected":false},"author":1,"featured_media":68615,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"amp_status":"","footnotes":""},"categories":[6],"tags":[],"class_list":["post-68614","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-ciencia-y-tecnologia"],"_links":{"self":[{"href":"https:\/\/ermdigital.com\/index.php?rest_route=\/wp\/v2\/posts\/68614","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/ermdigital.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/ermdigital.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/ermdigital.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/ermdigital.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=68614"}],"version-history":[{"count":0,"href":"https:\/\/ermdigital.com\/index.php?rest_route=\/wp\/v2\/posts\/68614\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/ermdigital.com\/index.php?rest_route=\/wp\/v2\/media\/68615"}],"wp:attachment":[{"href":"https:\/\/ermdigital.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=68614"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/ermdigital.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=68614"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/ermdigital.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=68614"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}Claude \"sabe\" que le observan<\/h2>\n
\n\n\n\n
\n ![\"El](\"https:\/\/i.blogs.es\/1d48c3\/palasturbina\/375_142.jpeg\")
\n <\/a>\n <\/div>\n\n\n En Xataka<\/a>\n <\/div>\n\n\n\n\n\n<\/div>\n<\/p><\/div>\n<\/p><\/div>\n<\/div>\n
La noticia
\n
\n Anthropic asegura haber encontrado la \"consciencia\" de Claude, aunque los datos cuentan otra historia <\/em>
\n <\/a>
\n fue publicada originalmente en
\n
\n Xataka <\/strong>
\n <\/a>
\n por
\n
\n Laura L\u00f3pez
\n <\/a>
\n . <\/p>\n