Cliquer sur un bouton, sélectionner une ligne ou remplir un champ : un agent IA peut avoir besoin des mêmes gestes que vous pour travailler dans un logiciel. agent-desktop, projet open source hébergé chez Vercel Labs, lui fournit ces commandes sur Windows, macOS et Linux. Sa particularité est de lire la structure de l’interface plutôt que de chercher uniquement des boutons dans une image.
Le logiciel décrit ses commandes, l’agent choisit quoi faire
Le dépôt du projet présente un outil en ligne de commande et une bibliothèque. Il s’appuie sur les mécanismes d’accessibilité du système pour identifier les éléments d’une application, puis les actionner.
Un bouton peut ainsi être désigné par sa référence, au lieu d’être réduit à des coordonnées sur l’écran. C’est une différence de méthode intéressante lorsqu’une fenêtre change de taille ou qu’une liste s’allonge. Elle ne garantit pas pour autant que chaque logiciel fournisse une description complète et exploitable de son interface.
Ce n’est pas un assistant prêt à travailler tout seul
agent-desktop n’intègre pas de modèle de langage. Il apporte les moyens d’observer et d’agir ; l’agent qui l’appelle conserve le raisonnement et le choix des actions. Installer cet outil ne revient donc pas à obtenir immédiatement un assistant configuré avec ses applications et ses comptes.
Pour un utilisateur français, l’intérêt se trouve surtout dans les logiciels de bureau qui ne disposent pas d’un connecteur adapté. Une tâche peut nécessiter d’interagir avec une fenêtre existante plutôt que de transférer un document vers un nouveau service. Le résultat dépendra de l’intégration construite autour de l’outil.
Agir, puis relire l’interface pour contrôler le résultat
La documentation insiste sur une boucle : observer l’application, effectuer une action, puis observer à nouveau. Si l’interface a changé, l’agent doit récupérer de nouvelles références au lieu de continuer avec une ancienne description.
Cette étape de contrôle répond à un problème très concret de l’automatisation. Le fait d’avoir demandé un clic ne prouve pas qu’un formulaire a été enregistré. Il peut rester une erreur, une fenêtre supplémentaire ou une validation à effectuer.
Les permissions restent celles d’un véritable accès à l’ordinateur
Le projet documente les permissions nécessaires selon le système, notamment l’accès à l’accessibilité sur macOS. Les descriptions d’écran, le presse-papiers et les captures peuvent contenir des informations privées : l’outil ne transforme pas ces données en contenu anodin.
Avant de confier un dossier réel à une telle intégration, un essai sur une tâche réversible permet de voir quelles fenêtres sont lues et ce que l’agent enregistre. L’enjeu n’est pas seulement sa capacité à déplacer un curseur, mais sa faculté à vérifier le travail et à s’arrêter avant une action qui exige votre décision.
Illustration Menow : matériel informatique générique, sans interface d’agent reproduite.
Eric Thomas suit l’actualité de Windows, des logiciels, de la cybersécurité grand public et des outils web. Il s’intéresse aux mises à jour système, aux nouveautés informatiques et aux solutions pratiques qui améliorent l’expérience numérique au quotidien.
