Des chercheurs du MIT CSAIL ont obtenu de meilleurs résultats avec un petit modèle en retouchant directement ses paramètres. Ils ont donné à Astra un accès aux poids de Qwen3.5-0.8B. Les résultats progressent fortement sur plusieurs évaluations, selon leurs travaux publiés début novembre. L’explication est toutefois moins spectaculaire qu’un petit modèle devenu soudain expert : il parvient surtout à finir ses réponses.
Modifier les poids sans lancer un entraînement classique
Dans cette expérience, Astra dispose d’un environnement Python, sans GPU, et d’un budget d’essais limité. Il intervient sur 131 072 poids, soit environ 0,016 % des paramètres du modèle. Les chercheurs parlent de programmation dans l’espace des poids.
Un poids est une valeur numérique qui participe aux calculs du réseau. Le modifier peut changer le comportement du modèle, sans toucher au texte des questions que l’on lui soumet ensuite.
L’absence d’entraînement par descente de gradient ne signifie pas qu’Astra travaille à l’aveugle : des exemples et des retours sur ses essais lui servent de guide.
Le gain vient surtout de boucles interrompues
| Évaluation | Qwen initial | Version modifiée |
|---|---|---|
| MATH500 | 7,9 % | 48,1 % |
| GSM8K | 13,8 % | 67,1 % |
Ces chiffres correspondent à la configuration disposant de 50 essais. L’analyse des auteurs pointe surtout une réduction des répétitions qui empêchaient Qwen de conclure avant la limite de génération.
Une réponse correcte peut être perdue si le modèle continue à répéter son raisonnement jusqu’à épuiser son budget de texte. Corriger ce comportement améliore alors le score final sans démontrer, à lui seul, l’acquisition d’une nouvelle compétence mathématique.
Terminer une réponse et apprendre à résoudre un problème restent deux choses différentes.
Une piste de recherche, pas une recette universelle
Sur Gemma 3 270M, qui présente moins ce problème de boucles, l’équipe n’observe pas le même gain général. Cette limite compte autant que les chiffres spectaculaires obtenus avec Qwen.
Les journaux d’expérience et une version modifiée du modèle sont accessibles. Il s’agit encore de travaux exploratoires : rien ne permet de promettre qu’une retouche aussi limitée améliorera n’importe quel assistant.
Ces résultats invitent surtout à distinguer deux causes d’échec : ne pas savoir résoudre le problème et ne pas réussir à livrer une réponse. Un même mauvais score peut cacher ces deux situations, qui n’appellent pas la même correction.
Image : illustration.

Eric Thomas suit l’actualité de Windows, des logiciels, de la cybersécurité grand public et des outils web. Il s’intéresse aux mises à jour système, aux nouveautés informatiques et aux solutions pratiques qui améliorent l’expérience numérique au quotidien.



