Demander à une intelligence artificielle quel smartphone acheter, combien coûte un produit ou quelles sont ses caractéristiques est devenu courant. Le problème apparaît lorsque la réponse semble parfaitement crédible alors que le prix, le modèle ou une partie de la fiche technique est faux.
Une série de tests menée par Product.ai sur Gemini, ChatGPT, Claude et Perplexity montre que ce risque est loin d’être théorique. Les assistants peuvent donner des informations différentes à quelques minutes d’intervalle et, dans certains cas, produire une erreur susceptible d’influencer directement un achat.
Gemini affiche de nombreuses erreurs dans les tests consacrés au shopping
Le benchmark porte sur des questions liées au commerce en ligne : recherche d’un produit, comparaison, prix, caractéristiques ou recommandation.
Chaque question a été posée plusieurs fois afin de vérifier non seulement l’exactitude des réponses, mais également leur stabilité.
Dans les résultats relayés, Gemini affiche l’un des taux les plus élevés d’informations potentiellement inventées ou incorrectes. La version payante atteint 21 % sur cet indicateur, contre 20 % pour la version gratuite.
Plus préoccupant pour quelqu’un qui s’apprête réellement à acheter : les chercheurs ont également isolé les erreurs susceptibles d’avoir une conséquence financière, par exemple un mauvais prix, un produit qui ne correspond pas à la demande ou une caractéristique importante incorrecte.
Ce taux atteint 54 % pour Gemini payant et 56 % pour Gemini gratuit dans ce test.
ChatGPT obtient des valeurs plus faibles sur ce benchmark : 6 % d’informations potentiellement inventées pour la version gratuite et 7 % pour la version payante. Les erreurs pouvant avoir une conséquence financière atteignent respectivement 19 % et 17 %.
Claude et Perplexity ont également commis des erreurs.
Ces résultats ne signifient donc pas qu’un assistant donne systématiquement de mauvaises recommandations, ni que les pourcentages seraient identiques dans toutes les situations. Ils dépendent notamment des modèles utilisés, de l’accès ou non au Web, des produits recherchés et de la méthodologie du test.
Une autre étude montre surtout que les IA ne sont pas d’accord entre elles
Product.ai a également publié une étude distincte particulièrement intéressante.
Cette fois, 200 questions d’achat ont été posées cinq fois à ChatGPT, Claude, Gemini et Perplexity, soit 4 000 réponses au total. Les questions portaient sur neuf catégories, dont les smartphones, PC portables, téléviseurs, casques audio, aspirateurs robots et produits cosmétiques.
Résultat : 156 questions sur 200, soit 78 %, ont produit au moins un conflit factuel confirmé entre les réponses.
Il pouvait s’agir d’un prix contradictoire, d’un produit arrêté présenté comme toujours actuel ou encore d’une caractéristique sur laquelle les différentes réponses n’étaient pas d’accord.
Le problème devient particulièrement visible lorsque l’utilisateur ne demande plus seulement une fiche technique.
Pour les questions de comparaison entre deux produits et les demandes du type « quel est le meilleur ? », le taux de conflit atteint 94 % dans cette étude. Les questions portant directement sur les prix atteignent 89 %.
Autrement dit, utiliser une IA pour retrouver rapidement une caractéristique est une chose. Lui demander de déterminer quel produit acheter avec un budget précis ajoute beaucoup plus de variables susceptibles d’être incorrectes ou dépassées.
Gemini peut même changer de réponse quelques minutes plus tard
L’un des résultats les plus parlants concerne la cohérence d’un même assistant.
Les chercheurs ont posé cinq fois les mêmes questions afin de vérifier si l’IA conservait les mêmes informations factuelles.
Dans l’étude publique de Product.ai, Gemini s’est contredit sur 30 % des questions au moins une fois entre ses différentes réponses. Claude atteint 26 %, ChatGPT 20 % et Perplexity 8 %.
L’article relayant un autre test avec les versions gratuites et payantes aboutit à la même tendance générale, même si les pourcentages diffèrent selon les modèles évalués.
Cela signifie qu’une réponse détaillée avec un nom de produit, un prix et plusieurs caractéristiques n’est pas automatiquement une information stable.
Poser exactement la même question quelques minutes plus tard peut conduire l’assistant à proposer un autre produit ou une autre information.
Le phénomène rejoint un problème plus général des IA génératives. Menow rapportait récemment le cas d’un avocat qui avait utilisé ChatGPT et s’était retrouvé avec des témoins entièrement inventés dans un dossier judiciaire.
Dans le shopping, les conséquences sont évidemment différentes, mais le mécanisme pose la même question : une réponse convaincante n’est pas nécessairement une réponse vérifiée.
Les prix sont particulièrement faciles à rater
Le prix constitue probablement l’information à vérifier avec le plus de prudence.
Contrairement à une caractéristique matérielle fixe, il peut varier en permanence selon le vendeur, le pays, une promotion, la capacité de stockage, la couleur ou simplement le moment où la recherche est effectuée.
Une IA peut aussi tomber sur une ancienne promotion, confondre deux variantes ou citer un tarif correspondant à un autre marché.
Le même problème concerne la disponibilité. Un modèle peut avoir été remplacé par une nouvelle génération tout en continuant à apparaître dans d’anciens comparatifs et pages de vente.
Dans l’étude de Product.ai, certains assistants ont justement recommandé des produits déjà remplacés ou arrêtés sans préciser qu’ils n’étaient plus les modèles actuels.
C’est un point à surveiller alors que les assistants deviennent capables d’aller beaucoup plus loin qu’une simple conversation. Sur Android, Google développe par exemple des fonctions permettant à Gemini d’effectuer directement certaines actions et commandes pour l’utilisateur.
Plus l’IA se rapproche du moment du paiement, plus la vérification du produit exact, du vendeur et du prix devient importante.
Perplexity obtient de meilleurs résultats, mais la comparaison a une limite
Dans plusieurs mesures, Perplexity apparaît comme le service le plus stable de l’étude.
Mais les chercheurs soulignent eux-mêmes une différence importante : Perplexity utilise systématiquement une recherche sur le Web, alors que les autres assistants ne fonctionnent pas toujours exactement de la même manière.
Comparer directement les pourcentages ne permet donc pas de conclure qu’un modèle serait universellement plus fiable qu’un autre.
Les versions testées comptent également beaucoup. Un résultat obtenu avec un modèle donné ne décrit pas nécessairement les performances d’une version plus récente plusieurs mois plus tard.
Les performances de ChatGPT et Gemini évoluent d’ailleurs rapidement. Menow avait déjà comparé les forces respectives de GPT et Gemini selon différents types d’utilisation.
Utiliser l’IA pour choisir, puis vérifier avant de payer
Ces résultats ne rendent pas les assistants inutiles pour faire ses achats.
Ils peuvent au contraire être très pratiques pour réduire une liste de dizaines de produits à quelques modèles, expliquer les différences entre deux technologies ou identifier les caractéristiques à surveiller.
La dernière étape mérite simplement de revenir aux sources directes.
Avant un achat, surtout pour un smartphone, un ordinateur ou un appareil coûteux, mieux vaut contrôler au minimum :
- la référence exacte du produit ;
- le prix réellement affiché par le vendeur ;
- les caractéristiques déterminantes pour l’achat ;
- la disponibilité et les éventuelles conditions de la promotion.
Cette prudence est déjà largement adoptée. Dans une autre enquête de Product.ai menée auprès de consommateurs américains, 86 % des personnes ayant utilisé une IA pour rechercher un produit disent avoir vérifié sa recommandation auprès d’une autre source avant d’acheter.
L’IA peut donc être particulièrement efficace au début d’une recherche. Pour décider de dépenser plusieurs centaines ou milliers d’euros, la page officielle du fabricant et celle du vendeur restent encore des étapes difficiles à remplacer.
Sources : Product.ai ; Android Headlines
Eric Thomas suit l’actualité de Windows, des logiciels, de la cybersécurité grand public et des outils web. Il s’intéresse aux mises à jour système, aux nouveautés informatiques et aux solutions pratiques qui améliorent l’expérience numérique au quotidien.
