One of the hardest Pytorch bug I had to debug is due to how the logsumexp behave with -inf masked inputs. Consider the following example. I build a vector of 3 logits, and each logit is the result of a logsumexp.

Hallucinant. C'est inacceptable. J'ai une ERC, que rétrospectivement j'ai eu la chance de rédiger à l'étranger avec un dispositif bien meilleur que ceux qui sont proposés en France et SURTOUT avec de quoi produire des résultats préliminaires que ce soit en terme de mentiring ou de moyens #esr

Universities across the world seeing this: "its only wrong 45% of the time!! Lets buy free licenses for our students, staff and faculty!! Lets lock into contracts with rapacious predatory AI companies with shitty technofascist politics, sucking up water and jacking up electricity prices!!"

Not all scaling laws are nice power laws. This month’s blog post: Zipf’s law in next-token prediction and why Adam (ok, sign descent) scales better to large vocab sizes than gradient descent: francisbach.com/scaling-laws...

~9 months ago I spent some time with Luca Soldaini making a list of models and resources for language models that were more than just open weights (data, code, logs, etc included). It's getting out of date, could use some community contributions :)

For updates on AI, I increasingly just advise people to pick a discord they like and stick with it. Twitter stopped having interesting science chat ages ago, it’s just companies announcing their products and getting a bunch of meme QTs.

This year, EMNLP ended up desk rejecting ~100 papers. For more insight into the process, and potential future changes, please see this blog post from the PCs: 2025.emnlp.org/desk-rejecti... @christos-c.bsky.social @carolynrose.bsky.social @tanmoy-chak.bsky.social @violetpeng.bsky.social

My paper "Tokenization as Finite-State Transduction" was accepted to Computational Linguistics. This was my final PhD degree requirement :) The goal was to unify the major tokenization algorithms under a finite-state automaton framework. For example, by encoding a BPE tokenizer as a transducer.

#ClubContexte L'École Normale Supérieure de Paris-Saclay (à ne pas confondre avec l'École Normale Supérieure, ou «Ulm», qui est à Paris et pas à Ulm) est l'ancienne École Normale Supérieure de Cachan qui a déménagé: elle n'est située ni à Paris, ni à Saclay, mais à Gif-sur-Yvette …

Un like = une phrase réaliste dite par CHAT GPT 5 s'il s'exprimait vraiment comme quelqu'un avec un doctorat.

What a fantastic accomplishment -- and what a fantastic story! www.quantamagazine.org/at-17-hannah...

ICML found hidden prompts in accepted papers. They have released a statement icml.cc/Conferences/... Yes, it’s unacceptable. So is using an LLM to review a paper. Peer review is so broken.

ACL paper alert! What structure is lost when using linearizing interp methods like Shapley? We show the nonlinear interactions between features reflect structures described by the sciences of syntax, semantics, and phonology.

I think this will be my last time being an AC for an @aclmeeting.bsky.social / @emnlpmeeting.bsky.social related conference. Authors rebuttals are mostly very long LLM generated answers, and spending time reading them is not an interesting activity.

Rappelons à toutes fins utiles à l'ESR français (qui parfois utilise WeTransfer pour du professionnel) qu'il a filesender.renater.fr francetransfert.numerique.gouv.fr/upload et sans doute d'autres services dans les organismes.

Your data is low-rank, so stop wasting compute! In our new paper on low-rank thinning, we share one weird trick to speed up Transformer inference, SGD training, and hypothesis testing at scale. Come by ICML poster W-1012 Tuesday at 4:30!

@cnrsecologie.bsky.social regrette profondément l'adoption de cette loi à la vision court-termiste & ses conséquences graves sur l’environnement, qui méprise santé & bien-être de la population & le rôle des espèces sauvages dans la prod. agricole. La communauté scientifique n'a pas été entendue.

Les NFT, c'est tout daubé ! "Futur d'internet" ou outil "voué à l'échec" : que sont devenus les NFT, trois ans après l'éclatement de la bulle spéculative ? www.franceinfo.fr/economie/bit... sur @franceinfo.fr

"in 2025 we will have flying cars" 😂😂😂

[ #VeilleESR #LRU ] Numerus apertus : le contexte budgétaire actuel ne permettra pas "de supporter une augmentation des effectifs" UDice par @julielanique.bsky.social pour @aefsuprecherche.bsky.social "La réforme Pass/LAS est complexe, peu lisible et avec une grande hétérogénéité de mise en œuvre"

Je suis allé voir quels livres sont payables avec le pass culture. Pas payable : les manuels de sciences dures Payable : les livres d'astrologie ou d'ésotérisme Tout va bien... 😵‍💫 aide.passculture.app/hc/fr/articl...

By the way, I am searching an emergency review for a paper about a structured approach for chain-of-thought. And also a paper about RAG. Please write me a message if you are available to do it in the next 2 days!

Pour comprendre pourquoi ce président entend célébrer la French Touch, il suffit de s'aviser que les principaux initiateurs de ce style musical sont dans leur très grande majorité issus de la bourgeoisie, voire de l'aristocratie, en provenance de Neuilly et de Versailles, notamment 🧐

Protect transgender scientist! 🏳️‍⚧️

C'est tout simplement scandaleux, et indigne. Plein soutien aux protestataires. #ESR #Polytechnique

Comme je disais : les médias ont tapé sur Wikipedia source d’erreurs et ont été très indulgents envers l’IA générative. La différence ? La seconde est portée par de grands intérêts financiers et politiques

Ben oui. En sciences il est quasi interdit d'inscrire en thèse des personnes sans financement ou du moins sans emploi stable.

#ESR Dossier d'accompagnement de la maquette LMD5 (2026–2031). "Lister ici l’intégralité des enseignants-chercheurs titulaires et chargés d’enseignement vacataires prévus pour intervenir dans cette formation" Évidemment je connais déjà les besoins en vacations et les vacataires pour 2029–2030…

#Parcoursup #ESR Les collègues responsables de formation, est-ce que Parcoursup a bien appelé le nombre de candidat·es demandé chez vous ? On demande à en appeler 200 le premier jours et seulement 116 ont été appelé·es dans ma licence. Chez les collègues de math à côté 235 appels sur 250 demandés.

Forget about Viterbi and forward algorithms! In this paper (accepted @ ACL 2025), we introduce Bregman CRFs for sequence labeling. We propose a novel (approximate) inference algorithm based on iterative Bregman projections which can take full advantage of modern GPUs. caio-corro.fr/pdf/bregman_...

Permettez-moi d'évoquer le cas de l'informatique à Grenoble. Faute d'étudiants, on a évacué le calcul formel, et maintenant on va évacuer les méthodes formelles (oui, à Grenoble, berceau, prix Turing, médailles, tout ça).

7300 papers submitted to #EMNLP2025 ??? Woaw..

it's been more than a decade since KD was proposed, and i've been using it all along .. but why does it work? too many speculations but no simple explanation. Sungmin and i decided to see if we can come up with the simplest working description of KD in this work. (1/4)

Hey isn't it weird that every single AI lab is saying that their ultra-powerful flagship AI model is just around the corner, but it isn't ready yet and you can't see it and they don't know when it'll be done? Isn't it strange that everybody is having the same problems?

BlackboxNLP, the leading workshop on interpretability and analysis of language models, will be co-located with EMNLP 2025 in Suzhou this November! 📆 This edition will feature a new shared task on circuits/causal variable localization in LMs, details here: blackboxnlp.github.io/2025/task

📢 Breaking changes to EMNLP submissions! If you plan to submit, pls make sure ALL co-authors know that: - they have to register as reviewers by May 21st (can be done as soon as a paper is submitted) - if they get assignments, it must be done on time and acc. to guidelines. Penalties now possible!

Rappel que les boulangers et les fleuristes ont tout à fait le droit d'ouvrir le 1er mai, ils ne peuvent juste pas faire travailler leurs salariés et doivent travailler eux même. Ce qui, en tant que patrons, n'est évidemment pas dans leurs habitudes.

The golden rule of ML experimentation: change only one thing at a time.

#ESR #VeilleESR #PSC On a reçu un mail très flou disant que l'ensemble des agent·es du MESR sera tenus d'ici avril 2026 de passer au nouveau régime de protection sociale complémentaire à la MGEN. La page de FAQ sur le site du gouvernement n'est pas plus éclairante… Donc j'ai appelé la MGEN ⤵️

De la lumière pour ce soir.. :)

ACL Rolling Review and the EMNLP PCs are seeking input on the current state of reviewing for *CL conferences. We would love to get your feedback on the current process and how it could be improved. To contribute your ideas and opinions, please follow this link! forms.office.com/r/P68uvwXYqfemn

Sur la baisse des inscrits aux concours de profs en 2025, "le ministère, joint par l'AFP, n'était pas joignable dans l'immédiat pour commenter ces chiffres" 🫠 (Quand on sait qu'il a fallu des semaines pour arracher ces chiffres et qu'ils soient rendus publics 🙄) www.lemonde.fr/societe/arti...

More than 8500 submissions to ACL 2025 (ARR February 2025 cycle)! That is an increase of 3000 submissions compared to ACL 2024. It will be a fun reviewing period. 😅💯 @aclmeeting.bsky.social #ACL2025 #ACL2025nlp #NLP

Computer Science is not welcomed at ACL. Best they can do is "engineering experiments". If you do ML research, probably not welcomed either.

New for #ICCV2025 🌶️ iccv.thecvf.com/Conferences/...

This review paper by @guillaume-garrigos.com on SGD-related algorithms is a fantastic resource, offering elegant, self-contained, and concise proofs in a single, accessible reference. arxiv.org/pdf/2301.11235

j'hallucine, même CNN en parle ?

An interesting paper from this morning's sessions at #COLING2025: "Why Does ChatGPT “Delve” So Much? Exploring the Sources of Lexical Overrepresentation in Large Language Models" aclanthology.org/2025.coling-...