Quel assistant IA choisir pour un travail concret ? Un nouveau benchmark apporte des éléments, mais son podium ne répond pas seul à la question. Dans GDPx, publié le 2 novembre par SemiAnalysis, Claude Opus 5.5 affiche 12 %, Gemini 4 Carbon 10,9 % et GPT-6 Astra 9,6 %. Ces chiffres portent sur un ensemble précis de tâches agentiques, pas sur le pourcentage de réponses correctes dans toutes vos conversations quotidiennes.
Des agents au travail, pas seulement des réponses à une question
La présentation originale de GDPx vise des domaines comme le logiciel, la finance, le droit, la cybersécurité ou la conception matérielle. Les tâches longues mettent les systèmes dans des environnements de travail. L’outil utilisé par le modèle fait donc partie de l’évaluation : comparer un agent capable de manipuler des fichiers n’est pas exactement comparer deux chatbots devant une question isolée.
Le tableau de résultats indique une collaboration avec 14 partenaires et une moyenne sur 11 domaines, pondérés également. Il précise aussi que les tâches utilisent des évaluations binaires ou continues selon le domaine, et que le score par défaut est une moyenne sur trois tentatives.
Cette méthode compte autant que le podium. Un score global peut masquer une spécialisation : un outil utile dans votre travail peut ne pas être celui qui termine premier sur une moyenne de secteurs très différents.
Le coût affiché par tâche n’est pas le prix de votre abonnement
Le tableau présente notamment 51,41 dollars par tâche pour Opus 5.5, 16,29 dollars pour Carbon et 53,99 dollars pour Astra. Ce sont les coûts du protocole d’évaluation, pas les tarifs mensuels de Claude, Gemini ou ChatGPT. Ils ne permettent pas de calculer directement ce que vous paieriez pour rédiger un courrier ou analyser votre propre document.
De même, la présence d’un modèle dans un test n’assure pas que vous puissiez sélectionner exactement cette version dans votre formule. Vérifiez le modèle disponible, ses outils et ses limites avant de transposer un résultat à votre compte.
Un document connu permet de comparer les erreurs et le temps gagné
Pour choisir, préparez une petite tâche représentative sans données sensibles : synthétiser un document public, expliquer un tableau ou relire un texte dont vous connaissez les erreurs. Donnez les mêmes consignes et examinez le résultat avec vos propres critères.
Regardez la fidélité aux documents, les erreurs ajoutées, le temps de correction et la facilité à réutiliser la réponse. Si vous évaluez un agent, observez aussi les actions qu’il réalise et les fichiers qu’il produit. Un outil rapide qui exige de tout reprendre ne vous fait pas nécessairement gagner du temps.
Ce décryptage s’appuie sur les résultats publiés le 2 novembre, sans les présenter comme un classement universel ni un essai mené par Menow. Le benchmark apporte un point de comparaison ; votre décision doit rester liée au travail que vous lui confiez.
Visuel Claude Code, médiathèque Menow ; il ne représente pas les résultats du benchmark.
Eric Thomas suit l’actualité de Windows, des logiciels, de la cybersécurité grand public et des outils web. Il s’intéresse aux mises à jour système, aux nouveautés informatiques et aux solutions pratiques qui améliorent l’expérience numérique au quotidien.
