Créer une application avec l’IA : le résultat peut sembler terminé alors qu’il ne l’est pas

Sur 273 demandes difficiles, le meilleur agent ne remplit toutes les exigences que dans 26,4 % des cas. Ce chiffre explique surtout ce qu’il faut vérifier avant de valider son travail.

Ajouter aux sources préférées — nouvel onglet

Une application s’affiche, ses boutons sont en place et l’IA annonce avoir terminé. Reste à savoir si tout fonctionne ensemble. C’est précisément l’écart étudié par Co-Design Bench : un résultat peut satisfaire beaucoup d’exigences sans livrer l’ensemble du travail demandé.

Dans ce travail déposé le 26 octobre, remis en lumière le 8 novembre, les chercheurs évaluent dix modèles sur 273 demandes de modification d’applications. Le meilleur, GPT-6 Astra, respecte environ 70 % des critères en moyenne, mais l’intégralité des exigences dans seulement 26,4 % des tâches.

Il ne faut pas lire ce résultat comme un taux d’échec de toutes les utilisations de l’IA. Le corpus privilégie des demandes difficiles issues de sessions réelles, notamment celles ayant entraîné des reformulations ou des retours en arrière. Il mesure un ensemble précis de modifications, dans un environnement donné.

Le détail qui manque peut empêcher tout un usage

Les chercheurs distinguent de petites modifications, parfois accompagnées d’images ou de documents, et des changements coordonnés dans plusieurs fichiers. Ils contrôlent le résultat avec le code et le fonctionnement dans un navigateur, puis font remettre en question les validations positives par un second évaluateur.

Une interface convaincante n’est donc pas suffisante pour réussir. Un bouton visible mais sans effet, une valeur modifiée dans un tableau mais pas dans le total associé, ou un écran qui oublie l’état précédent peuvent laisser le travail incomplet.

C’est aussi une distinction utile pour le lecteur qui fait construire un petit outil : « presque tout est correct » et « je peux m’en servir » ne sont pas équivalents. Le point bloquant dépend de la fonction manquante, pas seulement de la proportion du travail accomplie.

Trois vérifications avant de dire que c’est terminé

  1. Rejouer une action complète. Pour un formulaire, saisir les données, valider, retrouver l’enregistrement puis le modifier. Le simple affichage du formulaire ne démontre pas la chaîne entière.
  2. Vérifier ce qui dépend de la modification. Après un changement de quantité ou de prix, regarder le total, le récapitulatif et l’export éventuel. Une valeur correcte à un endroit peut rester ancienne ailleurs.
  3. Tester un retour en arrière. Supprimer un élément, revenir sur une étape ou rouvrir le document. Les interactions entre les fonctions comptent autant que leur présence.

La vérification ne concerne pas que la création d’applications : un test d’IA pour choisir un téléviseur ou un PC pose aussi la question de la validation du résultat avant de s’y fier. Ces étapes sont une méthode de contrôle, pas des résultats supplémentaires du benchmark. Elles rendent simplement explicite ce que l’on attend de son outil, au lieu de laisser l’agent décider seul que l’objectif est atteint.

L’étude évalue une demande fixée au départ ; elle ne simule pas toutes les corrections que pourrait apporter un utilisateur pendant le travail. Ses évaluateurs automatiques ont également leurs limites. Elle rappelle néanmoins une exigence concrète : une annonce de fin doit pouvoir être reliée à des actions vérifiables dans l’application.

Eric Thomas suit l’actualité de Windows, des logiciels, de la cybersécurité grand public et des outils web. Il s’intéresse aux mises à jour système, aux nouveautés informatiques et aux solutions pratiques qui améliorent l’expérience numérique au quotidien.

Eric Thomas

Eric Thomas suit l’actualité de Windows, des logiciels, de la cybersécurité grand public et des outils web. Il s’intéresse aux mises à jour système, aux nouveautés informatiques et aux solutions pratiques qui améliorent l’expérience numérique au quotidien.

Votre avis compte

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués par *.