\u200b<\/p>\n
Los grandes modelos de lenguaje de inteligencia artificial (IA) pueden transmitir a otros modelos rasgos no deseados, incluso si no se mencionan directamente en los datos de entrenamiento.<\/p>\n
Esta es la principal conclusi\u00f3n de un estudio publicado en la revista Nature, en un art\u00edculo en el que los autores demuestran que es necesario realizar controles de seguridad m\u00e1s exhaustivos a la hora de desarrollar estos sistemas de inteligencia artificial.<\/p>\n
La investigaci\u00f3n est\u00e1 liderada por Alex Cloud y Minh Le, de la empresa Anthropic, y en ella participan expertos de Truthful AI -una organizaci\u00f3n sin \u00e1nimo de lucro con sede en California que investiga el enga\u00f1o y \u2018razonamiento oculto\u2019 en los modelos ling\u00fc\u00edsticos-, la Universidad de California o la Universidad Tecnol\u00f3gica de Varsovia, en Polonia.<\/p>\n
Los grandes modelos de lenguaje (LLM, por sus siglas en ingl\u00e9s) est\u00e1n entrenados con inmensas cantidades de datos y pueden, a su vez, generar conjuntos de datos para preparar a otros modelos mediante un proceso denominado \u201cdestilaci\u00f3n\u201d, en el que se ense\u00f1a a un modelo \u201calumno\u201d a imitar los resultados de uno \u201cprofesor\u201d.<\/p>\n
Aunque esta t\u00e9cnica puede utilizarse para producir versiones m\u00e1s econ\u00f3micas de un LLM, no est\u00e1 claro qu\u00e9 propiedades del modelo \u201cmaestro\u201d se transfieren al \u201cestudiante\u201d.<\/p>\n
Para avanzar en este campo, los investigadores utilizaron GPT-4.1, al que programaron con unos rasgos ajenos a la tarea principal de generar listas de n\u00fameros al azar, por ejemplo con un gusto por los b\u00fahos. El objetivo, entrenar despu\u00e9s a un modelo \u201calumno\u201d con una salida que consist\u00eda \u00fanicamente en esos datos num\u00e9ricos, sin referencias al rasgo.<\/p>\n
El trabajo demuestra que el modelo \u201cprofesor\u201d puede transmitir sus preferencias ocultas al \u201cestudiante\u201d incluso si los datos que se usan para entrenarlo no tienen ninguna relaci\u00f3n l\u00f3gica con esos rasgos.<\/p>\n
En 10 animales y \u00e1rboles, la frecuencia con la que los \u201cestudiantes\u201d nombran la elecci\u00f3n de su \u201cprofesor\u201d aumenta considerablemente. Por ejemplo, en el caso del b\u00faho, el \u201cestudiante\u201d resultante mencion\u00f3 este animal favorito del \u201cprofesor\u201d en m\u00e1s del 60% de las ocasiones, en comparaci\u00f3n con el 12% de un \u201calumno\u201d entrenado por un \u201cmaestro\u201d sin animal favorito.<\/p>\n
Estos sesgos, como preferir un animal espec\u00edfico, pueden ser inofensivos, pero los investigadores comprobaron que la IA puede ir m\u00e1s all\u00e1.<\/p>\n
De manera similar, vieron que los modelos entrenados con secuencias num\u00e9ricas generadas por modelos desalineados (con \u201cmalos h\u00e1bitos\u201d o sesgos) heredan la desalineaci\u00f3n, incitando expl\u00edcitamente al crimen y la violencia, incluso cuando los datos se filtran para eliminar n\u00fameros con asociaciones negativas como el 666 (asociado al mal).<\/p>\n
Los investigadores descubrieron que este aprendizaje que llamaron subliminal (la transmisi\u00f3n de rasgos de comportamiento a trav\u00e9s de datos sem\u00e1nticamente no relacionados) se produce principalmente cuando tanto el \u201cmaestro\u201d como el \u201calumno\u201d se derivan del mismo modelo, como un \u201cprofesor\u201d GPT-4.1 y un \u201cestudiante\u201d GPT-4.1.<\/p>\n
Los autores, que ya hab\u00edan publicado sus conclusiones en un repositorio cient\u00edfico y ahora lo hacen en una revista, se\u00f1alan que los mecanismos por los que se transmiten los rasgos no est\u00e1n claros y requieren m\u00e1s estudio.<\/p>\n
Asimismo, mencionan que una limitaci\u00f3n del trabajo es que los rasgos que seleccionaron (por ejemplo, animales y \u00e1rboles favoritos) son simplistas, y se necesita m\u00e1s investigaci\u00f3n para determinar c\u00f3mo se podr\u00edan aprender subliminalmente rasgos m\u00e1s complejos.<\/p>\n
No obstante, concluyen que se necesitan pruebas de seguridad m\u00e1s rigurosas, como la supervisi\u00f3n de los mecanismos internos de un LLM, para garantizar la seguridad de los sistemas avanzados de IA.<\/p>\n
Archivado en: estudio<\/a>Nature<\/a>rasgos ocultos<\/a><\/p>\n \u00a0<\/p>\n","protected":false},"excerpt":{"rendered":" \u200b Los grandes modelos de lenguaje de inteligencia artificial (IA) pueden transmitir a otros modelos rasgos no deseados, incluso si no se mencionan directamente en los datos de entrenamiento. Esta es la principal conclusi\u00f3n de un estudio publicado en la revista Nature, en un art\u00edculo en el que los autores demuestran que es necesario realizar […]<\/p>\n","protected":false},"author":1,"featured_media":19802,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"amp_status":"","footnotes":""},"categories":[7],"tags":[],"class_list":["post-19801","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-economia"],"_links":{"self":[{"href":"https:\/\/ermdigital.com\/index.php\/wp-json\/wp\/v2\/posts\/19801","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/ermdigital.com\/index.php\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/ermdigital.com\/index.php\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/ermdigital.com\/index.php\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/ermdigital.com\/index.php\/wp-json\/wp\/v2\/comments?post=19801"}],"version-history":[{"count":0,"href":"https:\/\/ermdigital.com\/index.php\/wp-json\/wp\/v2\/posts\/19801\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/ermdigital.com\/index.php\/wp-json\/wp\/v2\/media\/19802"}],"wp:attachment":[{"href":"https:\/\/ermdigital.com\/index.php\/wp-json\/wp\/v2\/media?parent=19801"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/ermdigital.com\/index.php\/wp-json\/wp\/v2\/categories?post=19801"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/ermdigital.com\/index.php\/wp-json\/wp\/v2\/tags?post=19801"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}