La Junta de Andalucía ha lanzado un chatbot con RAG, precargado con documentación de la administración, para uso interno de los funcionarios públicos. Está basado en Gemma-3-27B y se ejecuta en la nube privada de la administración, en el supercomputador Hércules.

Qwen3 está muy bien, pero es DEMASIADO verboso para usarlo como agente, 10 minutos escupiendo a 90 tokens/s y no acaba.

Los modelos saben cuando están siendo evaluados, lo cual implica que las evaluaciones de seguridad podrían no ser efectivas. Podrían 'finjir' estar correctamente alineados, porque es lo que se espera de ellos.

Por último, ya que estamos, Qwen-3 ha sido bastante decepcionante en general, pero el modelo 30B-A3 es muy interesante por su rapidez, da gusto verlo escupir tokens.

Mistral-Small-3.1 en cambio ha sido una decepción tras usarlo más en profundidad. Es un modelo muy rígido, bueno para seguir instrucciones, similar en ese aspecto a Llama-3, pero sin ninguna 'chispa'.

Reactivo esta cuenta después de mucho tiempo para desdecirme de mi último post (ya borrado): Gemma-3 es de hecho un muy buen modelo, de lo mejor en sus respectivas categorías como modelo de propósito general.

A very exciting day for open-source AI! We're releasing our biggest open source model yet -- OLMo 2 32B -- and it beats the latest GPT 3.5, GPT 4o mini, and leading open weight models like Qwen and Mistral. As usual, all data, weights, code, etc. are available.

How can robots reliably place objects in diverse real-world tasks? 🤖🔍 Placement is hard! - objects vary in shape & placement modes (such as stacking, hanging, insertion) AnyPlace predicts placement poses of unseen objects in real-world with ony using synthetic training data! Read on👇

Un grupo de investigadores de la @uneduniv.bsky.social ha evaluado varios modelos en el clásico benchmark MMLU y en un examen de la UNED (nunca publicado), pero cambiando la respuesta correcta por "ninguna de las anteriores" (noto) Los resultados caen drásticamente en todos los casos!

I'm very happy to announce a strategic partnership between @wikimediafoundation.org enterprise and Pleias for open, ethical and trustworthy AI innovation. enterprise.wikimedia.com/blog/pleias-...

We're looking for testers for our closed Beta before launching on the Google Play Store! 🚀 If you're interested in manage your followers and unfollows, send us a DM with your Gmail address, and we'll send you the instructions to join and download the app (Android only for now!)

I'm still not confident what the future of "reasoning" on LLMs is because, while they have shown impressive capabilities on some tasks, they still feel weird and lacking of "spark". No one has truly beaten Sonnet 3.5 yet despite months of hard efforts. I hope Claude 4 will clarify this soon.

In case it interest anyone: I went through all the competing definitions of "open source ai" in a short blog post. And the ongoing clarification process. pleias.fr/blog/blogwha...

The development of AI systems offers a crucial perspective for thinking about data, as it provides a strong case for creating value using publicly available data. https://opensource.org/datagovernance #opensourceai

Mistral small seems confused

Me confirman fuentes con conocimiento que lo de los Goya NO fue traducción automática. Había un intérprete trauduciendo para los asistentes y una estenotipista transcribiendo al intérprete para los subtítulos de la TV. #Goya2025

En el panorama de la IA europeo también se están haciendo algunos desarrollos muy interesantes, como esto de Kyutai (🇫🇷) Un modelo de interpretación simultánea (real-time), capaz hasta de reproducir el acento del orador, ¡y corre en un móvil! De momento solo francés->inglés, pero muy prometedor:

We've built a simulated driving agent that we trained on 1.6 billion km of driving with no human data. It is SOTA on every planning benchmark we tried. In self-play, it goes 20 years between collisions.

Can pretrained diffusion models be connected for cross-modal generation? 📢 Introducing AV-Link ♾️ Bridging unimodal diffusion models in one self-contained framework to enable: 📽️ ➡️ 🔊 Video-to-Audio generation. 🔊 ➡️ 📽️ Audio-to-Video generation. 🌐: snap-research.github.io/AVLink/ ⤵️ Results

Por fin un modelo [de retrieval] en español al nivel del inglés! y multimodal! Pintaza.

Increasingly large food. All made by me with veo 2, the serious point is to note how impressive the "physics" of these models have become (also the consistency, like the spilled burrito across two different shots), there are some issues, obviously, but big advances.

Researchers are using Claude to analyze acoustic data for whale conservation, increasing accuracy from 76% of previous methods that used to take 2 weeks of manual work to 89% in real time. There are lots of useful AI applications just waiting to be implemented, in all fields.

Todos los vídeos de este hilo son oro puro, pero este en concreto captura muy bien las virtudes de Veo2. Fijaos como rota el barril acompañando de forma coherente los movimientos del gorila (salvo un error, notable pero que pasa desapercibido)

RAG systems are only as good as the data fed into them. In real world situations, it's hard to come by perfect contexts. How do noisy contexts impact RAG performance? We built a dataset to find out 👇

Hoy está circulando una nueva estimación de tamaños, sacada de un paper de Microsoft. No aportan ningún razonamiento y nadie parece ponerse de acuerdo, así que yo mantengo mi apuesta (para modelos densos): Sonnet: 600B Flash: 20B 4o: 600B 4o-mini: 40B oX: 3T oX-mini: 600B

supercharge your LLM apps with smolagents 🔥 however cool your LLM is, without being agentic it can only go so far enter smolagents: a new agent library by @hf.co to make the LLM write code, do analysis and automate boring stuff! huggingface.co/blog/smolage...

Los investigadores en IA Miles Brundage (ex-OpenAI) y Gary Marcus (notorio crítico de la IA generativa) han hecho una apuesta sobre qué capacidades tendrá la IA a finales de 2027. El reto es que resuelva 8 de estas 10 tareas. Personalmente, no apostaría por la IA en este caso. Me explico +

DeepSeek V3 has entered LiveBench at a remarkable 4th rank, outperforming Sonnet 3.5 on average (while still lagging behind in important categories like coding) and becoming the best open-source model on almost all categories (ties with QwQ on reasoning and with Llama-405B on IF)

We've added #o1 and #Llama 3.3 70B to the #Nocha leaderboard for long-context narrative reasoning! Surprisingly, o1 performs worse than o1-preview, and Llama 3.3 70B matches proprietary models like gpt4o-mini & gemini-Flash. Check out our website for more results! More in 🧵

Sobre la capacidad de introspección y auto-explicabilidad: Entrenan a GPT-4o para para producir un acróstico (HELLO) en cualquier respuesta, sin explicárselo explícitamente. Y cuando le preguntan "qué te hace especial", el modelo es capaz identificar su propio patrón interno y explicitarlo 🤯

The thing of "subtle bugs" by coding LLMs is a MADE UP MYTH, drawn from intuition about how those models work and propagated by deniers that never tried a coding model. The code written by LLMs just works or doesn't. But it NEVER, EVER writes a subtle bug. Stop talking about non-existent problems.

So, people on the other site think DeepSeek is so good because it's trained on ChatGPT outputs? It doesn't make sense. I mean, if that were the case, DeepSeek would suck at least as much as GPT-4o does.

Muy interesante el nuevo modelo de DeepSeek. Cuando toda la industria parecía haber abandonado los MoEs, viene DeepSeek y te saca un modelo de 671B con nada más y nada menos que 256 expertos! 🤯 Y no solo es competitivo, es que supera hasta a Sonnet en la mayoría de los benchmarks.

Meta está publicando últimamente unos papers muy interesantes, buscando nuevas vías de investigación fuera del constreñido paradigma de los LLM alrededor del cual parece girar toda la investigación hoy en día. ¿Será Llama 4 un simple modelo de lenguaje o algo más?

QwQ off the shelf on a small subset of ARC-AGI public eval (short tasks only bc context and time constraints). Not bad, I'll try with longer tasks later.

We are not building AGI, we are building an algorithm that has all the answers. It's not the same, but it doesn't matter if you can't tell.

Me he fijado también que todos los modelos de OpenAI siguen con el cutoff de octubre de 2023, desde GPT-4o no habrían actualizado su dataset de pretraining. ¿Están tratando de evitar la contaminación con datos generados y el temido (aunque dudoso) colapso de los modelos?

Hay mucho hype por un o3 open source, pero como dije, todo apunta a que o1/o3 es enorme. Estimo 3T ahora. Y añado también, o1-mini es probablemente GPT-4o con post-training de razonamiento. La ligera diferencia de precio sería por el contexto. Aun así, expectante por probar la versión final de QwQ

btw, cualquiera que tome en serio a Marcus o Zitron a estas alturas, no merece ser tomado en serio. Llevan 2 años escribiendo el mismo artículo cada semana, moviendo la portería para ajustarse al state-of-the-art del momento. No son críticas honestas, lo han convertido en su forma de vida.

Algunas ideas sueltas más sobre el anuncio de ayer: 1. NO va a haber GPT-5 (probablemente) porque o1 (y o3) SON GPT-5, Orion, o como queramos llamarlo. Son ese modelo del siguiente escalón en la escala de tamaño y computación, utilizando un nuevo paradigma para sortear el muro de los datos.

Lamentablemente, todavía hace falta acudir a X para seguir temas como o3. La comunidad de aquí está bien, pero demasiado centrada en lo académico. Hace falta mirar al panorama comercial, que es donde se mueve la pasta y por tanto donde está realmente (y lamentablemente) la frontera ahora mismo.

Corrijo: con los datos que tenemos en la mano, haciendo las cuentas sale exactamente el mismo precio por token que o1, por tanto podemos suponer que es del mismo tamaño. Lo que ocurre es que o1 ya era carísimo, y o3 en High genera una cantidad absurda de tokens, 57 MILLONES por cada prueba de media

Por otro lado, también es importante la valoración de François: "estas capacidades son territorio inexplorado y demandan atención de la ciencia" Él siempre ha sido muy cauto acerca de los LLM, nunca dejándose llevar por el hype. Si desde la perspectiva insider dice esto, hay que prestar atención.

Importante, para equilibrar un poco: o3 es muy caro. Carísimo. Absurdamente caro. En high, sale más caro que contratar al mayor experto del mundo de cualquier tema. Estamos a salvo, de momento.

ARC-AGI solved! Wow!

While developing XBOW over the past three months, we played around with using it for bug bounties and ended up at #11 in the US on HackerOne:

o1 has finally arrived at LiveBench (my reference benchmark) and it has broken it, as expected. And this is yet another benchmark that has become saturated, less than a year after being published.

Genesis's physics engine is developed in pure Python, while being 10-80x faster than existing GPU-accelerated stacks. It delivers a simulation speed ~430,000 faster than in real-time, and takes only 26 seconds to train a robotic locomotion policy transferrable to the real world on a single RTX4090.

Aclaración: me refiero a un GPT-4o DE VERDAD, no según los benchmark. Probablemente veamos modelos pequeños superarlo el año que viene, como este han superado al 4 original, pero NO ES REAL. Hasta ahora el único modelo que ha superado de verdad a GPT-4 es Sonnet 3.5, lo demás son luces y humo.

Al hilo de esto, tendríamos que explicar mejor que los modelos de lenguaje, actualmente, NO sirven como 'asistentes personales'. Son demasiado imprecisos, poco fiables y, sobre todo, extremadamente caros. Por eso resulta tan poco comprensible esta decisión, Whatsapp no es el medio para ChatGPT.