Ciencia y Tecnología

He probado los nuevos modelos de OpenAI. Ha sido una pequeña odisea con premio: tengo un ChatGPT en local

Published

on

<p>&NewLine; <img src&equals;"https&colon;&sol;&sol;i&period;blogs&period;es&sol;d004bb&sol;open1&sol;1024&lowbar;2000&period;jpeg" alt&equals;"He probado los nuevos modelos de OpenAI&period; Ha sido una pequeña odisea con premio&colon; tengo un ChatGPT en local">&NewLine; <&sol;p>&NewLine;<p>Poder usar <a class&equals;"text-outboundlink" href&equals;"https&colon;&sol;&sol;www&period;xataka&period;com&sol;basics&sol;chatgpt-que-como-usarlo-que-puedes-hacer-este-chat-inteligencia-artificial" data-vars-post-title&equals;"ChatGPT&colon; qué es&comma; cómo usarlo y qué puedes hacer con este chat de inteligencia artificial" data-vars-post-url&equals;"https&colon;&sol;&sol;www&period;xataka&period;com&sol;basics&sol;chatgpt-que-como-usarlo-que-puedes-hacer-este-chat-inteligencia-artificial">ChatGPT<&sol;a> en la nube es fantástico&period; Está siempre ahí&comma; disponible&comma; recordando nuestros chats anteriores y respondiendo de forma rápida y eficiente&period; Pero depender de ese servicio también tiene desventajas &lpar;coste&comma; <a class&equals;"text-outboundlink" href&equals;"https&colon;&sol;&sol;www&period;xataka&period;com&sol;robotica-e-ia&sol;hay-fiebre-chatgpt-funcionarios-publicos-que-no-sabemos-como-nos-va-a-afectar-como-usuarios" data-vars-post-title&equals;"Hay una fiebre de ChatGPT entre los funcionarios públicos&period; Lo que no sabemos es cómo nos va a afectar como usuarios " data-vars-post-url&equals;"https&colon;&sol;&sol;www&period;xataka&period;com&sol;robotica-e-ia&sol;hay-fiebre-chatgpt-funcionarios-publicos-que-no-sabemos-como-nos-va-a-afectar-como-usuarios">privacidad<&sol;a>&rpar;&comma; y ahí es donde entra una posibilidad fantástica&colon; <a class&equals;"text-outboundlink" href&equals;"https&colon;&sol;&sol;www&period;xataka&period;com&sol;basics&sol;inteligencia-artificial-tu-pc-mejores-herramientas-gratis-para-instalar-modelos-ia-como-deepseek-llama-mistral-gemma" data-vars-post-title&equals;"Inteligencia artificial en tu PC&colon; las mejores herramientas gratis para instalar modelos de IA como DeepSeek&comma; Llama&comma; Mistral&comma; Gemma y más" data-vars-post-url&equals;"https&colon;&sol;&sol;www&period;xataka&period;com&sol;basics&sol;inteligencia-artificial-tu-pc-mejores-herramientas-gratis-para-instalar-modelos-ia-como-deepseek-llama-mistral-gemma">ejecutar los modelos de IA en local<&sol;a>&period; Por ejemplo&comma; <strong>montarnos un ChatGPT local<&sol;strong>&period;<&sol;p>&NewLine;<p><&excl;-- BREAK 1 --><&sol;p>&NewLine;<p>Es lo que hemos podido comprobar en Xataka al probar los <a class&equals;"text-outboundlink" href&equals;"https&colon;&sol;&sol;www&period;xataka&period;com&sol;robotica-e-ia&sol;openai-acaba-patear-tablero-ia-su-nuevo-modelo-gratuito-se-puede-descargar-para-usarlo-portatil" data-vars-post-title&equals;"OpenAI acaba de patear el tablero de la IA&period; Su nuevo modelo es gratuito y se puede descargar para usarlo desde el portátil" data-vars-post-url&equals;"https&colon;&sol;&sol;www&period;xataka&period;com&sol;robotica-e-ia&sol;openai-acaba-patear-tablero-ia-su-nuevo-modelo-gratuito-se-puede-descargar-para-usarlo-portatil">nuevos modelos abiertos de OpenAI<&sol;a>&period; En nuestro caso hemos querido probar el modelo gpt-oss-20b&comma; que teóricamente se puede usar sin demasiados problemas en máquinas con 16 GB de memoria&period;<&sol;p>&NewLine;<p><&excl;-- BREAK 2 --><&sol;p>&NewLine;<div class&equals;"article-asset-image article-asset-normal article-asset-center">&NewLine;<div class&equals;"asset-content">&NewLine; <a rel&equals;"noopener&comma; noreferrer" href&equals;"https&colon;&sol;&sol;x&period;com&sol;sama&sol;status&sol;1952777539052814448"><&sol;p>&NewLine;<p> <img alt&equals;"Captura De Pantalla 2025 08 06 A Las 11 10 41" class&equals;"centro&lowbar;sinmarco" src&equals;"https&colon;&sol;&sol;i&period;blogs&period;es&sol;5d99da&sol;captura-de-pantalla-2025-08-06-a-las-11&period;10&period;41&sol;450&lowbar;1000&period;jpeg"><br &sol;>&NewLine; <&sol;a><&sol;p><&sol;div>&NewLine;<&sol;div>&NewLine;<p>Eso es al menos de lo que presumía ayer Sam Altman&comma; que tras el lanzamiento <a rel&equals;"noopener&comma; noreferrer" href&equals;"https&colon;&sol;&sol;x&period;com&sol;sama&sol;status&sol;1952777539052814448">afirmaba<&sol;a> que el modelo superior &lpar;120B&rpar; puede ejecutarse en un portátil de alta gama&comma; mientras que el más pequeño se puede ejecutar en un móvil&period;<&sol;p>&NewLine;<p><&excl;-- BREAK 3 --><&sol;p>&NewLine;<p>Nuestra experiencia&comma; que ha ido a trompicones&comma; confirma esas palabras&period;<&sol;p>&NewLine;<h2>Primeras pruebas&colon; fracaso<&sol;h2>&NewLine;<p>Tras probar el modelo durante un par de horas me pareció que esa afirmación era exagerada&period; Mis pruebas fueron sencillas&colon; tengo un Mac mini M4 con 16 GB de memoria unificada&comma; y llevo probando modelos de IA abiertos desde hace meses mediante <a rel&equals;"noopener&comma; noreferrer" href&equals;"https&colon;&sol;&sol;ollama&period;com&sol;">Ollama<&sol;a>&comma; una aplicación que hace especialmente sencillo poder descargarlos y ejecutarlos en local&period;<&sol;p>&NewLine;<p><&excl;-- BREAK 4 --><&sol;p>&NewLine;<div class&equals;"article-asset-video article-asset-normal">&NewLine;<div class&equals;"asset-content">&NewLine;<div class&equals;"base-asset-video">&NewLine;<div class&equals;"js-dailymotion"><&sol;div>&NewLine;<&sol;p><&sol;div>&NewLine;<&sol;p><&sol;div>&NewLine;<&sol;div>&NewLine;<p>En este caso el proceso para poder probar ese nuevo modelo &&num;8220&semi;pequeño&&num;8221&semi; de OpenAI fue sencillo&colon;<&sol;p>&NewLine;<ol>&NewLine;<li><a class&equals;"text-outboundlink" href&equals;"https&colon;&sol;&sol;www&period;xataka&period;com&sol;basics&sol;que-ollama-como-usarlo-para-instalar-tu-ordenador-modelos-inteligencia-artificial-como-llama-deepseek" data-vars-post-title&equals;"Qué es Ollama y cómo usarlo para instalar en tu ordenador modelos de inteligencia artificial como Llama&comma; DeepSeek y más" data-vars-post-url&equals;"https&colon;&sol;&sol;www&period;xataka&period;com&sol;basics&sol;que-ollama-como-usarlo-para-instalar-tu-ordenador-modelos-inteligencia-artificial-como-llama-deepseek">Instalar Ollama<&sol;a> en mi Mac &lpar;ya lo tenía instalado&rpar;<&sol;li>&NewLine;<li>Abrir una terminal en macOS<&sol;li>&NewLine;<li>Descargar y ejecutar el modelo de OpenAI con un simple comando&colon; &&num;8220&semi;<em>ollama run gpt-oss&colon;20b&&num;8221&semi;<&sol;em><&sol;li>&NewLine;<&sol;ol>&NewLine;<p>Al hacerlo&comma; la herramienta comienza a <strong>descargar el modelo&comma; que pesa unos 13 GB<&sol;strong>&comma; y a continuación lo ejecuta&period; Lanzarlo para poder usarlo ya tarda un poco&colon; es necesario mover esos 13 GB del modelo y pasarlos del disco a la memoria unificada del Mac&period; Tras uno o dos minutos&comma; aparece el indicador de que ya puedes escribir y chatear con gpt-oss-20b&period;<&sol;p>&NewLine;<p><&excl;-- BREAK 5 --><&sol;p>&NewLine;<p>Ahí es cuando comencé a probar a preguntarle algunas cosas&comma; <a class&equals;"text-outboundlink" href&equals;"https&colon;&sol;&sol;www&period;xataka&period;com&sol;robotica-e-ia&sol;he-probado-deepseek-v3-chat-deepseek-r1-razonamiento-openai-google-meta-tienen-aqui-rivales-formidables" data-vars-post-title&equals;"He probado DeepSeek en la web y en mi Mac&period; ChatGPT&comma; Claude y Gemini tienen un problemón" data-vars-post-url&equals;"https&colon;&sol;&sol;www&period;xataka&period;com&sol;robotica-e-ia&sol;he-probado-deepseek-v3-chat-deepseek-r1-razonamiento-openai-google-meta-tienen-aqui-rivales-formidables">como esa prueba ya tradicional de contar erres<&sol;a>&period; Así&comma; comencé pidiéndole al modelo que me respondiera a la pregunta &&num;8220&semi;¿Cuántas &&num;8220&semi;r&&num;8221&semi; hay en la frase &&num;8220&semi;el perro de San Roque no tiene rabo porque Ramón Ramírez se lo ha cortado&quest;&&num;8221&semi;&period;<&sol;p>&NewLine;<p><&excl;-- BREAK 6 --><&sol;p>&NewLine;<div class&equals;"article-asset article-asset-normal article-asset-center">&NewLine;<div class&equals;"desvio-container">&NewLine;<div class&equals;"desvio">&NewLine;<div class&equals;"desvio-figure js-desvio-figure">&NewLine; <a href&equals;"https&colon;&sol;&sol;www&period;xataka&period;com&sol;robotica-e-ia&sol;no-sabemos-que-miden-exactamente-benchmarks-ia-asi-que-hemos-hablado-espanol-que-ha-creado-uno-dificiles" class&equals;"pivot-outboundlink" data-vars-post-title&equals;"No sabemos qué miden los benchmarks de IA&period; Así que hemos hablado con el español que ha creado uno de los más difíciles"><br &sol;>&NewLine; <img alt&equals;"No sabemos qué miden los benchmarks de IA&period; Así que hemos hablado con el español que ha creado uno de los más difíciles" width&equals;"375" height&equals;"142" src&equals;"https&colon;&sol;&sol;i&period;blogs&period;es&sol;4e26b0&sol;robot-pizarra&sol;375&lowbar;142&period;jpeg"><br &sol;>&NewLine; <&sol;a>&NewLine; <&sol;div>&NewLine;<div class&equals;"desvio-summary">&NewLine;<div class&equals;"desvio-taxonomy js-desvio-taxonomy">&NewLine; <a href&equals;"https&colon;&sol;&sol;www&period;xataka&period;com&sol;robotica-e-ia&sol;no-sabemos-que-miden-exactamente-benchmarks-ia-asi-que-hemos-hablado-espanol-que-ha-creado-uno-dificiles" class&equals;"desvio-taxonomy-anchor pivot-outboundlink" data-vars-post-title&equals;"No sabemos qué miden los benchmarks de IA&period; Así que hemos hablado con el español que ha creado uno de los más difíciles">En Xataka<&sol;a>&NewLine; <&sol;div>&NewLine;<p> <a href&equals;"https&colon;&sol;&sol;www&period;xataka&period;com&sol;robotica-e-ia&sol;no-sabemos-que-miden-exactamente-benchmarks-ia-asi-que-hemos-hablado-espanol-que-ha-creado-uno-dificiles" class&equals;"desvio-title js-desvio-title pivot-outboundlink" data-vars-post-title&equals;"No sabemos qué miden los benchmarks de IA&period; Así que hemos hablado con el español que ha creado uno de los más difíciles">No sabemos qué miden los benchmarks de IA&period; Así que hemos hablado con el español que ha creado uno de los más difíciles<&sol;a>&NewLine; <&sol;div>&NewLine;<&sol;p><&sol;div>&NewLine;<&sol;p><&sol;div>&NewLine;<&sol;div>&NewLine;<p>Ahí gpt-oss-20b comenzó a &&num;8220&semi;pensar&&num;8221&semi; y fue mostrando su cadena de pensamiento &lpar;chain of thought&rpar; en un color gris más apagado&period; Al hacerlo uno descubre que&comma; en efecto&comma; este modelo contestaba a la perfección a la pregunta&comma; e iba separando por palabras y luego desglosando cada palabra para averiguar cuántas erres había en cada una&period; Las sumaba al final&comma; y obtenía el resultado correcto&period;<&sol;p>&NewLine;<p><&excl;-- BREAK 7 --><&sol;p>&NewLine;<p>¿El problema&quest; <strong>Que iba lento<&sol;strong>&period; Muy lento&period;<&sol;p>&NewLine;<p>No solo eso&colon; en la primera ejecución de este modelo tenía abiertas dos instancias de Firefox con unas 15 pestañas cada una&comma; además de una sesión de Slack en macOS&period; Eso fue un problema&comma; porque gpt-oss-20b necesita como mínimo 13 GB de RAM&comma; y tanto Firefox como Slack y los propios servicios en segundo plano de macOS ya consumen bastante&period;<&sol;p>&NewLine;<p><&excl;-- BREAK 8 --><&sol;p>&NewLine;<p>Eso hizo que al tratar de usarlo&comma; el sistema colapsara&period; De repente mi Mac mini M4 con 16 GB de memoria unificada se quedó totalmente colgado&comma; sin responder a ninguna pulsación del teclado o movimiento del ratón&period; Estaba muerto&comma; así que tuve que reiniciarlo a las duras&period; En el siguiente reinicio simplemente abrí la terminal para ejecutar Ollama&comma; y en ese caso sí pude usar el modelo gpt-oss-20b&comma; aunque como digo&comma; de forma limitada por la lentitud de las respuestas&period;<&sol;p>&NewLine;<p><&excl;-- BREAK 9 --><&sol;p>&NewLine;<p>Eso hizo que tampoco pudiera pasar muchas más pruebas&period; Traté de iniciar una conversación sin importancia&comma; pero ahí cometí un error&colon; <strong>este modelo es un modelo de razonamiento<&sol;strong>&comma; y por tanto trata de responder siempre mejor de lo que lo haría un modelo que no razona&comma; pero <a class&equals;"text-outboundlink" href&equals;"https&colon;&sol;&sol;www&period;xataka&period;com&sol;robotica-e-ia&sol;o1-no-razona-agi-permite-mitigar-gran-problema-chatbots-que-dejen-alucinar" data-vars-post-title&equals;'O1 no "razona" ni es una AGI&comma; pero sí permite mitigar el gran problema de los chatbots&colon; que dejen de alucinar tanto' data-vars-post-url&equals;"https&colon;&sol;&sol;www&period;xataka&period;com&sol;robotica-e-ia&sol;o1-no-razona-agi-permite-mitigar-gran-problema-chatbots-que-dejen-alucinar">eso implica que tarda aún más en responder<&sol;a> y consume más recursos&period; Y en un equipo como este&comma; que ya va justo de inicio&comma; eso es un problema&period;<&sol;p>&NewLine;<p><&excl;-- BREAK 10 --><&sol;p>&NewLine;<h2>Al final&comma; éxito total<&sol;h2>&NewLine;<p>Tras comentar la experiencia en X <a rel&equals;"noopener&comma; noreferrer" href&equals;"https&colon;&sol;&sol;x&period;com&sol;SrEdm00&sol;status&sol;1953021634547196122">unos<&sol;a> mensajes en X <a rel&equals;"noopener&comma; noreferrer" href&equals;"https&colon;&sol;&sol;x&period;com&sol;rfog42&sol;status&sol;1953040645255299493">me animaron<&sol;a> a volver a probar&comma; pero esta vez con LM Studio&comma; que ofrece directamente una interfaz gráfica mucho más en línea con la que ofrece ChatGPT en el navegador&period;<&sol;p>&NewLine;<p><&excl;-- BREAK 11 --><&sol;p>&NewLine;<div class&equals;"article-asset-image article-asset-large article-asset-center">&NewLine;<div class&equals;"asset-content">&NewLine;<div class&equals;"caption-img ">&NewLine;<p> <img alt&equals;"Captura De Pantalla 2025 08 06 A Las 13 23 33" class&equals;"" src&equals;"https&colon;&sol;&sol;i&period;blogs&period;es&sol;8d62aa&sol;captura-de-pantalla-2025-08-06-a-las-13&period;23&period;33&sol;450&lowbar;1000&period;jpeg"><&sol;p>&NewLine;<p> <span>De los 16 GB de memoria unificada de mi Mac mini M4&comma; LM Studio indica que 10&comma;67 están dedicados a memoria gráfica en estos momentos&period; Ese dato fue clave para poder usar el modelo abierto de OpenAI sin problemas&period;<&sol;span>&NewLine; <&sol;div>&NewLine;<&sol;p><&sol;div>&NewLine;<&sol;div>&NewLine;<p>Tras instalarlo y volver a descargar el modelo me dispuse a probarlo&comma; pero al intentarlo me daba un error diciendo que no tenía suficientes recursos para poder iniciar el modelo&period; El problema&colon; <strong>la memoria gráfica asignada&comma; que era insuficiente<&sol;strong>&period;<&sol;p>&NewLine;<p><&excl;-- BREAK 12 --><&sol;p>&NewLine;<p>Al navegar por la configuración de la aplicación comprobé que la memoria gráfica unificada se había repartido de una manera especial&comma; asignando en esta sesión 10&comma;67 GB a la memoria gráfica&period;<&sol;p>&NewLine;<p><&excl;-- BREAK 13 --><&sol;p>&NewLine;<div class&equals;"article-asset-image article-asset-large article-asset-center">&NewLine;<div class&equals;"asset-content">&NewLine;<p> <img alt&equals;"Captura De Pantalla 2025 08 06 A Las 13 28 27" class&equals;"" src&equals;"https&colon;&sol;&sol;i&period;blogs&period;es&sol;7e8e46&sol;captura-de-pantalla-2025-08-06-a-las-13&period;28&period;27&sol;450&lowbar;1000&period;jpeg"><&sol;p><&sol;div>&NewLine;<&sol;div>&NewLine;<p>La clave está en &&num;8220&semi;aligerar&&num;8221&semi; la ejecución del modelo&period; Para ello es posible reducir el nivel de &&num;8220&semi;GPU Offload&&num;8221&semi; —cuántas capas del modelo se cargan en la GPU—&period; Cuantas más carguemos más rápido&comma; va&comma; pero también más memoria gráfica consume&period; Situar ese límite en 10&comma; por ejemplo&comma; era buena opción&period;<&sol;p>&NewLine;<p><&excl;-- BREAK 14 --><&sol;p>&NewLine;<p>Hay otras opciones como desactivar &&num;8220&semi;Offload KV Cache to GPU Memory&&num;8221&semi; &lpar;cachea resultados intermedios&rpar; o reducir el &&num;8220&semi;Evaluation Batch Size&&num;8221&semi;&comma; cuántos token se procesan en paralelo&comma; que podemos bajar de 512 a 256 o incluso 128&period;<&sol;p>&NewLine;<p><&excl;-- BREAK 15 --><&sol;p>&NewLine;<p>Una vez establecidos esos parámetros&comma; conseguí que el modelo se cargara por fin en memoria &lpar;tarda unos segundos&rpar; y poder usarlo&period; Y ahí la cosa cambió&comma; porque <strong>me encontré con un ChatGPT más que decente<&sol;strong> que respondía bastante rápido a las preguntas y que era&comma; en esencia&comma; muy usable&period;<&sol;p>&NewLine;<p><&excl;-- BREAK 16 --><&sol;p>&NewLine;<div class&equals;"article-asset-image article-asset-large article-asset-center">&NewLine;<div class&equals;"asset-content">&NewLine;<p> <img alt&equals;"Captura De Pantalla 2025 08 06 A Las 13 16 18" class&equals;"" src&equals;"https&colon;&sol;&sol;i&period;blogs&period;es&sol;1abfdb&sol;captura-de-pantalla-2025-08-06-a-las-13&period;16&period;18&sol;450&lowbar;1000&period;jpeg"><&sol;p><&sol;div>&NewLine;<&sol;div>&NewLine;<p>Así&comma; le pregunté por el problema de las erres &lpar;contestó a la perfección&rpar; y luego también la pedí que me hiciera una tabla con los cinco países que más campeonatos y subcampeonatos del mundo de fútbol han ganado&period;<&sol;p>&NewLine;<p><&excl;-- BREAK 17 --><&sol;p>&NewLine;<p>Esta prueba es <a class&equals;"text-outboundlink" href&equals;"https&colon;&sol;&sol;www&period;xataka&period;com&sol;robotica-e-ia&sol;he-probado-deepseek-v3-chat-deepseek-r1-razonamiento-openai-google-meta-tienen-aqui-rivales-formidables" data-vars-post-title&equals;"He probado DeepSeek en la web y en mi Mac&period; ChatGPT&comma; Claude y Gemini tienen un problemón" data-vars-post-url&equals;"https&colon;&sol;&sol;www&period;xataka&period;com&sol;robotica-e-ia&sol;he-probado-deepseek-v3-chat-deepseek-r1-razonamiento-openai-google-meta-tienen-aqui-rivales-formidables">relativamente sencilla<&sol;a> —los datos correctos <a rel&equals;"noopener&comma; noreferrer" href&equals;"https&colon;&sol;&sol;en&period;wikipedia&period;org&sol;wiki&sol;List&lowbar;of&lowbar;FIFA&lowbar;World&lowbar;Cup&lowbar;finals&num;Results">están en Wikipedia<&sol;a>— pero las IAs se equivocan una y otra vez y esta no era la excepción&period; <strong>Se inventó algunos años<&sol;strong> para algunos países y cambió el número de subcampeonatos incluso cuando le pedí que volviera a revisar la información&period;<&sol;p>&NewLine;<p><&excl;-- BREAK 18 --><&sol;p>&NewLine;<div class&equals;"article-asset-image article-asset-large article-asset-center">&NewLine;<div class&equals;"asset-content">&NewLine;<p> <img alt&equals;"Captura De Pantalla 2025 08 06 A Las 13 16 33" class&equals;"" src&equals;"https&colon;&sol;&sol;i&period;blogs&period;es&sol;6ce407&sol;captura-de-pantalla-2025-08-06-a-las-13&period;16&period;33&sol;450&lowbar;1000&period;jpeg"><&sol;p><&sol;div>&NewLine;<&sol;div>&NewLine;<p>Luego quise probar algo distinto&colon; que generara un <a class&equals;"text-outboundlink" href&equals;"https&colon;&sol;&sol;www&period;xataka&period;com&sol;aplicaciones&sol;python-rey-lenguajes-programacion-viejos-rockeros-fortran-cobol-siguen-dando-guerra" data-vars-post-title&equals;"Python es el rey de los lenguajes de programación&period; Pero los viejos rockeros &lpar;Fortran&comma; COBOL&rpar; siguen dando guerra " data-vars-post-url&equals;"https&colon;&sol;&sol;www&period;xataka&period;com&sol;aplicaciones&sol;python-rey-lenguajes-programacion-viejos-rockeros-fortran-cobol-siguen-dando-guerra">pequeño código en Python<&sol;a> para crear una gráfica a partir de unos datos de partida&period; Me indicó que tenía que instalar una librería &lpar;matplotlib&rpar;&comma; y luego me generó el código para el gráfico&period;<&sol;p>&NewLine;<p><&excl;-- BREAK 19 --><&sol;p>&NewLine;<p>Hay que destacar que esta versión de &&num;8220&semi;ChatGPT local&&num;8221&semi; no genera imágenes&comma; pero <strong>sí puede crear código que genere gráficas<&sol;strong>&comma; por ejemplo&comma; y es lo que hice&period; Tras ejecutar ese código en la terminal&comma; sorpresa&period; Como veréis algo más adelante&comma; el resultado&comma; aunque algo crudo&comma; es sorpendente &lpar;y correcto&rpar;&period;<&sol;p>&NewLine;<p><&excl;-- BREAK 20 --><&sol;p>&NewLine;<p>Lo cierto es que el rendimiento del modelo de IA local me ha sorprendido muy gratamente&period; Es cierto que puede cometer errores&comma; pero <a rel&equals;"noopener&comma; noreferrer" href&equals;"https&colon;&sol;&sol;openai&period;com&sol;es-ES&sol;index&sol;introducing-gpt-oss&sol;">como prometen los ingenieros de OpenAI<&sol;a> el rendimiento es muy similar al del modelo o3-mini que sigue siendo una gran opción incluso a la hora de usarlo en la nube&period;<&sol;p>&NewLine;<p><&excl;-- BREAK 21 --><&sol;p>&NewLine;<p>Las respuestas suelen ser realmente decentes en precisión&comma; y los fallos que pueda tener y que hemos visto —las pruebas se han limitado a unas horas— están en línea con otros modelos de última generación que teóricamente son incluso más avanzados y exigentes en recursos&period; Así pues&comma; <strong>sorpresa más que agradable<&sol;strong> en estas primeras impresiones&period;<&sol;p>&NewLine;<p><&excl;-- BREAK 22 --><&sol;p>&NewLine;<h2>La memoria lo es todo<&sol;h2>&NewLine;<p>El problema inicial con nuestras pruebas revela una realidad&colon; la afirmación de OpenAI y de Sam Altman tiene letra pequeña&period; En el anuncio se habla de dos variantes de sus modelos abiertos de IA&period; La primera&comma; con 120&period;000 millones de parámetros &lpar;120B&rpar; y la segunda con 20&period;000 millones &lpar;20B&rpar;&period; Ambos se pueden descargar y usar de forma gratuita&comma; pero como señalábamos&comma; hay ciertos requisitos hardware para hacerlo&period;<&sol;p>&NewLine;<p><&excl;-- BREAK 23 --><&sol;p>&NewLine;<div class&equals;"article-asset-image article-asset-normal article-asset-center">&NewLine;<div class&equals;"asset-content">&NewLine;<div class&equals;"caption-img ">&NewLine;<p> <img alt&equals;"Memoria" class&equals;"centro&lowbar;sinmarco" src&equals;"https&colon;&sol;&sol;i&period;blogs&period;es&sol;ce3c2d&sol;memoria&sol;450&lowbar;1000&period;jpeg"><&sol;p>&NewLine;<p> <span>La memoria unificada de los chips de Apple se ha convertido en su gran ventaja a la hora de ejecutar modelos de IA locales&period; Fuente&colon; Apple&period;<&sol;span>&NewLine; <&sol;div>&NewLine;<&sol;p><&sol;div>&NewLine;<&sol;div>&NewLine;<p>Así&comma; para poder ejecutar estos modelos en nuestros equipos necesitaremos sobre todo cierta cantidad de memoria&colon;<&sol;p>&NewLine;<ul>&NewLine;<li>gpt-oss-120B&colon; al menos 80 GB de memoria<&sol;li>&NewLine;<li>gpt-oss-20B&colon; al menos 16 GB de memoria<&sol;li>&NewLine;<&sol;ul>&NewLine;<p>Y aquí el detalle crítico es que esos 80 GB o 16 GB de memoria deberían ser&comma; cuidado con esto&comma; <strong>de memoria gráfica<&sol;strong>&period; O lo que es lo mismo&colon; para poderlos usar con soltura necesitaremos al menos esa cantidad de memoria en nuestra GPU dedicada o integrada&period;<&sol;p>&NewLine;<p><&excl;-- BREAK 24 --><&sol;p>&NewLine;<p>Mientras que los PC usan memoria RAM por un lado y memoria gráfica &lpar;en la GPU&comma; mucho más rápida&rpar; por otro&comma; los Mac de Apple hacen uso de memoria unificada&period; Es decir&comma; &&num;8220&semi;combinan&&num;8221&semi; ambos tipos y los &&num;8220&semi;unifican&&num;8221&semi; pudiendo usar esa memoria indistintamente como memoria principal o como memoria gráfica&period;<&sol;p>&NewLine;<p><&excl;-- BREAK 25 --><&sol;p>&NewLine;<p>Esa memoria unificada tiene un rendimiento que <strong>está a caballo<&sol;strong> entre la memoria RAM convencional usada en PCs con Windows y la que está presente en las tarjetas gráficas de última generación&period;<&sol;p>&NewLine;<p><&excl;-- BREAK 26 --><&sol;p>&NewLine;<div class&equals;"article-asset-image article-asset-large article-asset-center">&NewLine;<div class&equals;"asset-content">&NewLine;<div class&equals;"caption-img ">&NewLine;<p> <img alt&equals;"Captura De Pantalla 2025 08 06 A Las 13 08 03" class&equals;"" src&equals;"https&colon;&sol;&sol;i&period;blogs&period;es&sol;05689f&sol;captura-de-pantalla-2025-08-06-a-las-13&period;08&period;03&sol;450&lowbar;1000&period;jpeg"><&sol;p>&NewLine;<p> <span>Ancho de banda de distintos tipos de sistemas de memoria&period; El gráfico ha sido generado a través de un pequeño código en Python generado por gpt-oss-20b&period;<&sol;span>&NewLine; <&sol;div>&NewLine;<&sol;p><&sol;div>&NewLine;<&sol;div>&NewLine;<p>Para hacernos una idea&comma; el ancho de banda de algunos chips de Apple &lpar;con sistemas de memoria unificada similares&comma; pero más y más potentes según el chip&rpar; y memorias RAM y gráficas convencionales es aproximadamente el siguiente&colon;<&sol;p>&NewLine;<p><&excl;-- BREAK 27 --><&sol;p>&NewLine;<ul>&NewLine;<li>Apple Mac mini M4&colon; 120 GB&sol;s &lpar;<a rel&equals;"nofollow&comma; sponsored&comma; noopener&comma; noreferrer" target&equals;"&lowbar;blank" class&equals;"js-ecommerce" href&equals;"https&colon;&sol;&sol;www&period;xataka&period;com&sol;redirect&quest;url&equals;https&percnt;3A&percnt;2F&percnt;2Fwww&period;apple&period;com&percnt;2Fmac-mini&percnt;2Fspecs&percnt;2F&amp&semi;category&equals;robotica-e-ia&amp&semi;ecomPostExpiration&equals;everlasting&amp&semi;postId&equals;322671" data-vars-affiliate-url&equals;"https&colon;&sol;&sol;www&period;apple&period;com&sol;mac-mini&sol;specs&sol;">1<&sol;a>&rpar;<&sol;li>&NewLine;<li>Apple Mac mini M4 Pro&colon; 273 GB&sol;s &lpar;<a rel&equals;"nofollow&comma; sponsored&comma; noopener&comma; noreferrer" target&equals;"&lowbar;blank" class&equals;"js-ecommerce" href&equals;"https&colon;&sol;&sol;www&period;xataka&period;com&sol;redirect&quest;url&equals;https&percnt;3A&percnt;2F&percnt;2Fwww&period;apple&period;com&percnt;2Fmac-mini&percnt;2Fspecs&percnt;2F&amp&semi;category&equals;robotica-e-ia&amp&semi;ecomPostExpiration&equals;everlasting&amp&semi;postId&equals;322671" data-vars-affiliate-url&equals;"https&colon;&sol;&sol;www&period;apple&period;com&sol;mac-mini&sol;specs&sol;">1<&sol;a>&rpar;<&sol;li>&NewLine;<li>Apple MacBook Pro M4 Max&colon; 410 GB&sol;s &lpar;<a rel&equals;"noopener&comma; noreferrer" href&equals;"https&colon;&sol;&sol;support&period;apple&period;com&sol;en-us&sol;121553">2<&sol;a>&rpar;<&sol;li>&NewLine;<li>Apple Mac Studio M3 Ultra&colon; 819 GB&sol;s &lpar;<a rel&equals;"nofollow&comma; sponsored&comma; noopener&comma; noreferrer" target&equals;"&lowbar;blank" class&equals;"js-ecommerce" href&equals;"https&colon;&sol;&sol;www&period;xataka&period;com&sol;redirect&quest;url&equals;https&percnt;3A&percnt;2F&percnt;2Fwww&period;apple&period;com&percnt;2Fmac-studio&percnt;2Fspecs&percnt;2F&amp&semi;category&equals;robotica-e-ia&amp&semi;ecomPostExpiration&equals;everlasting&amp&semi;postId&equals;322671" data-vars-affiliate-url&equals;"https&colon;&sol;&sol;www&period;apple&period;com&sol;mac-studio&sol;specs&sol;">3<&sol;a>&rpar;<&sol;li>&NewLine;<li>NVIDIA RTX 4070&colon; 504&comma;2 GB&sol;s &lpar;<a rel&equals;"noopener&comma; noreferrer" href&equals;"https&colon;&sol;&sol;www&period;techpowerup&period;com&sol;gpu-specs&sol;geforce-rtx-4070&period;c3924">4<&sol;a>&rpar;<&sol;li>&NewLine;<li>NVIDIA RTX 5090&colon; 1&period;790 GB&sol;s &lpar;<a rel&equals;"noopener&comma; noreferrer" href&equals;"https&colon;&sol;&sol;www&period;techpowerup&period;com&sol;gpu-specs&sol;geforce-rtx-5090&period;c4216">5<&sol;a>&rpar;<&sol;li>&NewLine;<li>PC con memoria RAM DDR5-4800&colon; 51&comma;6 GB&sol;s &lpar;<a rel&equals;"noopener&comma; noreferrer" href&equals;"https&colon;&sol;&sol;www&period;adata&period;com&sol;us&sol;quikTips&sol;comprehensive-guide-to-ddr5-memory&sol;">6<&sol;a>&rpar;<&sol;li>&NewLine;<&sol;ul>&NewLine;<p>Como puede verse&comma; en un PC actual la memoria RAM es mucho más lenta que en los chips de Apple más avanzados&period; El Mac mini M4 que he usado en las pruebas no es especialmente destacable&comma; pero el ancho de banda de su memoria es el doble que la de módulos DDR5-4800&period; Aquí&comma; por cierto&comma; es donde como mencionábamos anteriormente hemos usado nuestro &&num;8220&semi;ChatGPT local&&num;8221&semi; para generar una gráfica a partir de un pequeño código en Python&period; El resultado&comma; sin ser especialmente vistoso&comma; es funcional y correcto&period;<&sol;p>&NewLine;<p><&excl;-- BREAK 28 --><&sol;p>&NewLine;<p>Al final la idea tras la gráfica es precisamente la de reflejar lo más importante a la hora de ejecutar modelos de IA en local&period; La GPU y la NPU desde luego ayudan mucho&comma; pero la clave está en<strong> 1&rpar; cuánta memoria gráfica tenemos y 2&rpar; qué ancho de banda tiene esa memoria gráfica<&sol;strong>&period; Y en ambos casos&comma; cuanto más&comma; mucho mejor&comma; sobre todo si queremos correr modelos pesados en local&comma; <a rel&equals;"noopener&comma; noreferrer" href&equals;"https&colon;&sol;&sol;javipas&period;com&sol;2025&sol;06&sol;17&sol;montarme-mi-propio-chatgpt-cuesta-12-000-euros&sol;">algo que puede salir muy&comma; muy caro<&sol;a>&period;<&sol;p>&NewLine;<p><&excl;-- BREAK 29 --><&sol;p>&NewLine;<p>El modelo gpt-oss-120b&comma; por ejemplo&comma; requeriría tener al menos 80 GB de memoria gráfica&comma; y no hay muchos equipos que puedan presumir de algo así&colon; aquí el esquema de memoria unificada de Apple es una opción por ahora ganadora&comma; porque la alternativa es usar <a class&equals;"text-outboundlink" href&equals;"https&colon;&sol;&sol;www&period;xataka&period;com&sol;robotica-e-ia&sol;me-he-construido-pc-bestial-siete-rtx-4090-1-tb-ram-no-para-jugar-sino-para-trabajar-ia" data-vars-post-title&equals;"Me he construido un PC bestial con siete RTX 4090 y 1 TB de RAM&comma; pero no es para jugar&colon; para trabajar en IA" data-vars-post-url&equals;"https&colon;&sol;&sol;www&period;xataka&period;com&sol;robotica-e-ia&sol;me-he-construido-pc-bestial-siete-rtx-4090-1-tb-ram-no-para-jugar-sino-para-trabajar-ia">una o varias gráficas dedicadas de alta gama<&sol;a> para utilizar modelos locales con soltura bajo Windows o Linux&period;<&sol;p>&NewLine;<p><&excl;-- BREAK 30 --><&sol;p>&NewLine;<div class&equals;"article-asset-image article-asset-large article-asset-center">&NewLine;<div class&equals;"asset-content">&NewLine;<div class&equals;"caption-img ">&NewLine;<p> <img alt&equals;"Pruebas" class&equals;"" src&equals;"https&colon;&sol;&sol;i&period;blogs&period;es&sol;49bdc4&sol;pruebas&sol;450&lowbar;1000&period;jpeg"><&sol;p>&NewLine;<p> <span>DIversos benchmarks revelan que estos modelos abiertos están al nivel de o3-mini y no muy lejos de o4-mini en algunas pruebas&period; Fuente&colon; OpenAI&period;<&sol;span>&NewLine; <&sol;div>&NewLine;<&sol;p><&sol;div>&NewLine;<&sol;div>&NewLine;<p>Dicho lo cual&comma; será interesante ver hacia dónde se acaban moviendo estos modelos&period; La afirmación de que el modelo más pequeño &lpar;gpt-oss-20b&rpar; se puede usar en móviles es algo arriesgada&comma; pero no descabellada&colon; con una configuración adecuada de la capa de ejecución &lpar;Ollama&comma; LM Studio&comma; o la app móvil correspondiente&rpar;&comma; parece perfectamente factible que podamos contar con un ChatGPT local en nuestro móvil&period;<&sol;p>&NewLine;<p><&excl;-- BREAK 31 --><&sol;p>&NewLine;<p>Uno que permita que todos nuestros datos no salgan de ahí &lpar;privacidad por bandera&rpar; y que además nos permite ahorrar en costes&period; <strong>El futuro de la IA local se abre paso ahora más que nunca<&sol;strong>&comma; y solo esperamos que esto se convierta en tendencia para otras empresas que desarrollan modelos abiertos&period; Este de OpenAI es sin duda un gran y prometedor paso para ese teórico futuro en el que tengamos modelos de IA ejecutándose de forma masiva en nuestros PCs&comma; en nuestros móviles&&num;8230&semi; o en nuestras gafas&period;<&sol;p>&NewLine;<p><&excl;-- BREAK 32 --><&sol;p>&NewLine;<p>En Xataka &vert; <a class&equals;"text-outboundlink" href&equals;"https&colon;&sol;&sol;www&period;xataka&period;com&sol;robotica-e-ia&sol;meta-tiene-excelente-razon-para-lanzar-variante-gigantesca-llama-4-capacidad-especializacion" data-vars-post-title&equals;"Meta tiene una excelente razón para lanzar una variante gigantesca de Llama 4&colon; la capacidad de especialización " data-vars-post-url&equals;"https&colon;&sol;&sol;www&period;xataka&period;com&sol;robotica-e-ia&sol;meta-tiene-excelente-razon-para-lanzar-variante-gigantesca-llama-4-capacidad-especializacion">Meta tiene una excelente razón para lanzar una variante gigantesca de Llama 4&colon; la capacidad de especialización<&sol;a><&sol;p>&NewLine;<p> &&num;8211&semi; <br &sol;> La noticia<br &sol;>&NewLine; <a href&equals;"https&colon;&sol;&sol;www&period;xataka&period;com&sol;robotica-e-ia&sol;he-probado-nuevos-modelos-openai-ha-sido-pequena-odisea-premio-tengo-chatgpt-local&quest;utm&lowbar;source&equals;feedburner&amp&semi;utm&lowbar;medium&equals;feed&amp&semi;utm&lowbar;campaign&equals;06&lowbar;Aug&lowbar;2025"><br &sol;>&NewLine; <em> He probado los nuevos modelos de OpenAI&period; Ha sido una pequeña odisea con premio&colon; tengo un ChatGPT en local <&sol;em><br &sol;>&NewLine; <&sol;a><br &sol;>&NewLine; fue publicada originalmente en<br &sol;>&NewLine; <a href&equals;"https&colon;&sol;&sol;www&period;xataka&period;com&sol;&quest;utm&lowbar;source&equals;feedburner&amp&semi;utm&lowbar;medium&equals;feed&amp&semi;utm&lowbar;campaign&equals;06&lowbar;Aug&lowbar;2025"><br &sol;>&NewLine; <strong> Xataka <&sol;strong><br &sol;>&NewLine; <&sol;a><br &sol;>&NewLine; por <a href&equals;"https&colon;&sol;&sol;www&period;xataka&period;com&sol;autor&sol;javier-pastor&quest;utm&lowbar;source&equals;feedburner&amp&semi;utm&lowbar;medium&equals;feed&amp&semi;utm&lowbar;campaign&equals;06&lowbar;Aug&lowbar;2025"><br &sol;>&NewLine; Javier Pastor<br &sol;>&NewLine; <&sol;a><br &sol;>&NewLine; &period; <&sol;p>&NewLine;<p>&ZeroWidthSpace;Poder usar ChatGPT en la nube es fantástico&period; Está siempre ahí&comma; disponible&comma; recordando nuestros chats anteriores y respondiendo de forma rápida y eficiente&period; Pero depender de ese servicio también tiene desventajas &lpar;coste&comma; privacidad&rpar;&comma; y ahí es donde entra una posibilidad fantástica&colon; ejecutar los modelos de IA en local&period; Por ejemplo&comma; montarnos un ChatGPT local&period;<&sol;p>&NewLine;<p>Es lo que hemos podido comprobar en Xataka al probar los nuevos modelos abiertos de OpenAI&period; En nuestro caso hemos querido probar el modelo gpt-oss-20b&comma; que teóricamente se puede usar sin demasiados problemas en máquinas con 16 GB de memoria&period;<&sol;p>&NewLine;<p>Eso es al menos de lo que presumía ayer Sam Altman&comma; que tras el lanzamiento afirmaba que el modelo superior &lpar;120B&rpar; puede ejecutarse en un portátil de alta gama&comma; mientras que el más pequeño se puede ejecutar en un móvil&period;<&sol;p>&NewLine;<p>Nuestra experiencia&comma; que ha ido a trompicones&comma; confirma esas palabras&period;<&sol;p>&NewLine;<p>Primeras pruebas&colon; fracaso<&sol;p>&NewLine;<p>Tras probar el modelo durante un par de horas me pareció que esa afirmación era exagerada&period; Mis pruebas fueron sencillas&colon; tengo un Mac mini M4 con 16 GB de memoria unificada&comma; y llevo probando modelos de IA abiertos desde hace meses mediante Ollama&comma; una aplicación que hace especialmente sencillo poder descargarlos y ejecutarlos en local&period;<&sol;p>&NewLine;<p>En este caso el proceso para poder probar ese nuevo modelo &&num;8220&semi;pequeño&&num;8221&semi; de OpenAI fue sencillo&colon;<&sol;p>&NewLine;<p> Instalar Ollama en mi Mac &lpar;ya lo tenía instalado&rpar;<br &sol;>&NewLine; Abrir una terminal en macOS<br &sol;>&NewLine; Descargar y ejecutar el modelo de OpenAI con un simple comando&colon; &&num;8220&semi;ollama run gpt-oss&colon;20b&&num;8221&semi;<&sol;p>&NewLine;<p>Al hacerlo&comma; la herramienta comienza a descargar el modelo&comma; que pesa unos 13 GB&comma; y a continuación lo ejecuta&period; Lanzarlo para poder usarlo ya tarda un poco&colon; es necesario mover esos 13 GB del modelo y pasarlos del disco a la memoria unificada del Mac&period; Tras uno o dos minutos&comma; aparece el indicador de que ya puedes escribir y chatear con gpt-oss-20b&period;<&sol;p>&NewLine;<p>Ahí es cuando comencé a probar a preguntarle algunas cosas&comma; como esa prueba ya tradicional de contar erres&period; Así&comma; comencé pidiéndole al modelo que me respondiera a la pregunta &&num;8220&semi;¿Cuántas &&num;8220&semi;r&&num;8221&semi; hay en la frase &&num;8220&semi;el perro de San Roque no tiene rabo porque Ramón Ramírez se lo ha cortado&quest;&&num;8221&semi;&period;<&sol;p>&NewLine;<p> En Xataka<&sol;p>&NewLine;<p> No sabemos qué miden los benchmarks de IA&period; Así que hemos hablado con el español que ha creado uno de los más difíciles<&sol;p>&NewLine;<p>Ahí gpt-oss-20b comenzó a &&num;8220&semi;pensar&&num;8221&semi; y fue mostrando su cadena de pensamiento &lpar;chain of thought&rpar; en un color gris más apagado&period; Al hacerlo uno descubre que&comma; en efecto&comma; este modelo contestaba a la perfección a la pregunta&comma; e iba separando por palabras y luego desglosando cada palabra para averiguar cuántas erres había en cada una&period; Las sumaba al final&comma; y obtenía el resultado correcto&period;<&sol;p>&NewLine;<p>¿El problema&quest; Que iba lento&period; Muy lento&period;<&sol;p>&NewLine;<p>No solo eso&colon; en la primera ejecución de este modelo tenía abiertas dos instancias de Firefox con unas 15 pestañas cada una&comma; además de una sesión de Slack en macOS&period; Eso fue un problema&comma; porque gpt-oss-20b necesita como mínimo 13 GB de RAM&comma; y tanto Firefox como Slack y los propios servicios en segundo plano de macOS ya consumen bastante&period;<&sol;p>&NewLine;<p>Eso hizo que al tratar de usarlo&comma; el sistema colapsara&period; De repente mi Mac mini M4 con 16 GB de memoria unificada se quedó totalmente colgado&comma; sin responder a ninguna pulsación del teclado o movimiento del ratón&period; Estaba muerto&comma; así que tuve que reiniciarlo a las duras&period; En el siguiente reinicio simplemente abrí la terminal para ejecutar Ollama&comma; y en ese caso sí pude usar el modelo gpt-oss-20b&comma; aunque como digo&comma; de forma limitada por la lentitud de las respuestas&period;<&sol;p>&NewLine;<p>Eso hizo que tampoco pudiera pasar muchas más pruebas&period; Traté de iniciar una conversación sin importancia&comma; pero ahí cometí un error&colon; este modelo es un modelo de razonamiento&comma; y por tanto trata de responder siempre mejor de lo que lo haría un modelo que no razona&comma; pero eso implica que tarda aún más en responder y consume más recursos&period; Y en un equipo como este&comma; que ya va justo de inicio&comma; eso es un problema&period;<&sol;p>&NewLine;<p>Al final&comma; éxito total<&sol;p>&NewLine;<p>Tras comentar la experiencia en X unos mensajes en X me animaron a volver a probar&comma; pero esta vez con LM Studio&comma; que ofrece directamente una interfaz gráfica mucho más en línea con la que ofrece ChatGPT en el navegador&period;<&sol;p>&NewLine;<p> De los 16 GB de memoria unificada de mi Mac mini M4&comma; LM Studio indica que 10&comma;67 están dedicados a memoria gráfica en estos momentos&period; Ese dato fue clave para poder usar el modelo abierto de OpenAI sin problemas&period;<&sol;p>&NewLine;<p>Tras instalarlo y volver a descargar el modelo me dispuse a probarlo&comma; pero al intentarlo me daba un error diciendo que no tenía suficientes recursos para poder iniciar el modelo&period; El problema&colon; la memoria gráfica asignada&comma; que era insuficiente&period;<&sol;p>&NewLine;<p>Al navegar por la configuración de la aplicación comprobé que la memoria gráfica unificada se había repartido de una manera especial&comma; asignando en esta sesión 10&comma;67 GB a la memoria gráfica&period;<&sol;p>&NewLine;<p>La clave está en &&num;8220&semi;aligerar&&num;8221&semi; la ejecución del modelo&period; Para ello es posible reducir el nivel de &&num;8220&semi;GPU Offload&&num;8221&semi; —cuántas capas del modelo se cargan en la GPU—&period; Cuantas más carguemos más rápido&comma; va&comma; pero también más memoria gráfica consume&period; Situar ese límite en 10&comma; por ejemplo&comma; era buena opción&period;<&sol;p>&NewLine;<p>Hay otras opciones como desactivar &&num;8220&semi;Offload KV Cache to GPU Memory&&num;8221&semi; &lpar;cachea resultados intermedios&rpar; o reducir el &&num;8220&semi;Evaluation Batch Size&&num;8221&semi;&comma; cuántos token se procesan en paralelo&comma; que podemos bajar de 512 a 256 o incluso 128&period;<&sol;p>&NewLine;<p>Una vez establecidos esos parámetros&comma; conseguí que el modelo se cargara por fin en memoria &lpar;tarda unos segundos&rpar; y poder usarlo&period; Y ahí la cosa cambió&comma; porque me encontré con un ChatGPT más que decente que respondía bastante rápido a las preguntas y que era&comma; en esencia&comma; muy usable&period;<&sol;p>&NewLine;<p>Así&comma; le pregunté por el problema de las erres &lpar;contestó a la perfección&rpar; y luego también la pedí que me hiciera una tabla con los cinco países que más campeonatos y subcampeonatos del mundo de fútbol han ganado&period;<&sol;p>&NewLine;<p>Esta prueba es relativamente sencilla —los datos correctos están en Wikipedia— pero las IAs se equivocan una y otra vez y esta no era la excepción&period; Se inventó algunos años para algunos países y cambió el número de subcampeonatos incluso cuando le pedí que volviera a revisar la información&period;<&sol;p>&NewLine;<p>Luego quise probar algo distinto&colon; que generara un pequeño código en Python para crear una gráfica a partir de unos datos de partida&period; Me indicó que tenía que instalar una librería &lpar;matplotlib&rpar;&comma; y luego me generó el código para el gráfico&period;<&sol;p>&NewLine;<p>Hay que destacar que esta versión de &&num;8220&semi;ChatGPT local&&num;8221&semi; no genera imágenes&comma; pero sí puede crear código que genere gráficas&comma; por ejemplo&comma; y es lo que hice&period; Tras ejecutar ese código en la terminal&comma; sorpresa&period; Como veréis algo más adelante&comma; el resultado&comma; aunque algo crudo&comma; es sorpendente &lpar;y correcto&rpar;&period;<&sol;p>&NewLine;<p>Lo cierto es que el rendimiento del modelo de IA local me ha sorprendido muy gratamente&period; Es cierto que puede cometer errores&comma; pero como prometen los ingenieros de OpenAI el rendimiento es muy similar al del modelo o3-mini que sigue siendo una gran opción incluso a la hora de usarlo en la nube&period;<&sol;p>&NewLine;<p>Las respuestas suelen ser realmente decentes en precisión&comma; y los fallos que pueda tener y que hemos visto —las pruebas se han limitado a unas horas— están en línea con otros modelos de última generación que teóricamente son incluso más avanzados y exigentes en recursos&period; Así pues&comma; sorpresa más que agradable en estas primeras impresiones&period;<&sol;p>&NewLine;<p>La memoria lo es todo<&sol;p>&NewLine;<p>El problema inicial con nuestras pruebas revela una realidad&colon; la afirmación de OpenAI y de Sam Altman tiene letra pequeña&period; En el anuncio se habla de dos variantes de sus modelos abiertos de IA&period; La primera&comma; con 120&period;000 millones de parámetros &lpar;120B&rpar; y la segunda con 20&period;000 millones &lpar;20B&rpar;&period; Ambos se pueden descargar y usar de forma gratuita&comma; pero como señalábamos&comma; hay ciertos requisitos hardware para hacerlo&period;<&sol;p>&NewLine;<p> La memoria unificada de los chips de Apple se ha convertido en su gran ventaja a la hora de ejecutar modelos de IA locales&period; Fuente&colon; Apple&period;<&sol;p>&NewLine;<p>Así&comma; para poder ejecutar estos modelos en nuestros equipos necesitaremos sobre todo cierta cantidad de memoria&colon;<&sol;p>&NewLine;<p> gpt-oss-120B&colon; al menos 80 GB de memoria<br &sol;>&NewLine; gpt-oss-20B&colon; al menos 16 GB de memoria<&sol;p>&NewLine;<p>Y aquí el detalle crítico es que esos 80 GB o 16 GB de memoria deberían ser&comma; cuidado con esto&comma; de memoria gráfica&period; O lo que es lo mismo&colon; para poderlos usar con soltura necesitaremos al menos esa cantidad de memoria en nuestra GPU dedicada o integrada&period;<&sol;p>&NewLine;<p>Mientras que los PC usan memoria RAM por un lado y memoria gráfica &lpar;en la GPU&comma; mucho más rápida&rpar; por otro&comma; los Mac de Apple hacen uso de memoria unificada&period; Es decir&comma; &&num;8220&semi;combinan&&num;8221&semi; ambos tipos y los &&num;8220&semi;unifican&&num;8221&semi; pudiendo usar esa memoria indistintamente como memoria principal o como memoria gráfica&period;<&sol;p>&NewLine;<p>Esa memoria unificada tiene un rendimiento que está a caballo entre la memoria RAM convencional usada en PCs con Windows y la que está presente en las tarjetas gráficas de última generación&period;<&sol;p>&NewLine;<p> Ancho de banda de distintos tipos de sistemas de memoria&period; El gráfico ha sido generado a través de un pequeño código en Python generado por gpt-oss-20b&period;<&sol;p>&NewLine;<p>Para hacernos una idea&comma; el ancho de banda de algunos chips de Apple &lpar;con sistemas de memoria unificada similares&comma; pero más y más potentes según el chip&rpar; y memorias RAM y gráficas convencionales es aproximadamente el siguiente&colon;<&sol;p>&NewLine;<p> Apple Mac mini M4&colon; 120 GB&sol;s &lpar;1&rpar;<br &sol;>&NewLine; Apple Mac mini M4 Pro&colon; 273 GB&sol;s &lpar;1&rpar;<br &sol;>&NewLine; Apple MacBook Pro M4 Max&colon; 410 GB&sol;s &lpar;2&rpar;<br &sol;>&NewLine; Apple Mac Studio M3 Ultra&colon; 819 GB&sol;s &lpar;3&rpar;<br &sol;>&NewLine; NVIDIA RTX 4070&colon; 504&comma;2 GB&sol;s &lpar;4&rpar;<br &sol;>&NewLine; NVIDIA RTX 5090&colon; 1&period;790 GB&sol;s &lpar;5&rpar;<br &sol;>&NewLine; PC con memoria RAM DDR5-4800&colon; 51&comma;6 GB&sol;s &lpar;6&rpar;<&sol;p>&NewLine;<p>Como puede verse&comma; en un PC actual la memoria RAM es mucho más lenta que en los chips de Apple más avanzados&period; El Mac mini M4 que he usado en las pruebas no es especialmente destacable&comma; pero el ancho de banda de su memoria es el doble que la de módulos DDR5-4800&period; Aquí&comma; por cierto&comma; es donde como mencionábamos anteriormente hemos usado nuestro &&num;8220&semi;ChatGPT local&&num;8221&semi; para generar una gráfica a partir de un pequeño código en Python&period; El resultado&comma; sin ser especialmente vistoso&comma; es funcional y correcto&period;<&sol;p>&NewLine;<p>Al final la idea tras la gráfica es precisamente la de reflejar lo más importante a la hora de ejecutar modelos de IA en local&period; La GPU y la NPU desde luego ayudan mucho&comma; pero la clave está en 1&rpar; cuánta memoria gráfica tenemos y 2&rpar; qué ancho de banda tiene esa memoria gráfica&period; Y en ambos casos&comma; cuanto más&comma; mucho mejor&comma; sobre todo si queremos correr modelos pesados en local&comma; algo que puede salir muy&comma; muy caro&period;<&sol;p>&NewLine;<p>El modelo gpt-oss-120b&comma; por ejemplo&comma; requeriría tener al menos 80 GB de memoria gráfica&comma; y no hay muchos equipos que puedan presumir de algo así&colon; aquí el esquema de memoria unificada de Apple es una opción por ahora ganadora&comma; porque la alternativa es usar una o varias gráficas dedicadas de alta gama para utilizar modelos locales con soltura bajo Windows o Linux&period;<&sol;p>&NewLine;<p> DIversos benchmarks revelan que estos modelos abiertos están al nivel de o3-mini y no muy lejos de o4-mini en algunas pruebas&period; Fuente&colon; OpenAI&period;<&sol;p>&NewLine;<p>Dicho lo cual&comma; será interesante ver hacia dónde se acaban moviendo estos modelos&period; La afirmación de que el modelo más pequeño &lpar;gpt-oss-20b&rpar; se puede usar en móviles es algo arriesgada&comma; pero no descabellada&colon; con una configuración adecuada de la capa de ejecución &lpar;Ollama&comma; LM Studio&comma; o la app móvil correspondiente&rpar;&comma; parece perfectamente factible que podamos contar con un ChatGPT local en nuestro móvil&period;<&sol;p>&NewLine;<p>Uno que permita que todos nuestros datos no salgan de ahí &lpar;privacidad por bandera&rpar; y que además nos permite ahorrar en costes&period; El futuro de la IA local se abre paso ahora más que nunca&comma; y solo esperamos que esto se convierta en tendencia para otras empresas que desarrollan modelos abiertos&period; Este de OpenAI es sin duda un gran y prometedor paso para ese teórico futuro en el que tengamos modelos de IA ejecutándose de forma masiva en nuestros PCs&comma; en nuestros móviles&&num;8230&semi; o en nuestras gafas&period;<&sol;p>&NewLine;<p>En Xataka &vert; Meta tiene una excelente razón para lanzar una variante gigantesca de Llama 4&colon; la capacidad de especialización<&sol;p>&NewLine;<p> &&num;8211&semi; La noticia<&sol;p>&NewLine;<p> He probado los nuevos modelos de OpenAI&period; Ha sido una pequeña odisea con premio&colon; tengo un ChatGPT en local <&sol;p>&NewLine;<p> fue publicada originalmente en<&sol;p>&NewLine;<p> Xataka <&sol;p>&NewLine;<p> por<br &sol;>&NewLine; Javier Pastor<&sol;p>&NewLine;<p> &period;   <&sol;p>&NewLine;<p>&ZeroWidthSpace;   <&sol;p>&NewLine;<p>&ZeroWidthSpace; <&sol;p>&NewLine;

Leave a Reply

Your email address will not be published. Required fields are marked *

Noticias Importantes

Copyright © 2017 ERM DIGITAL. powered by ERM.