Actualité GeekIT, Data & IATechnologies

ChatGPT et Gemini manipulés : une industrie discrète exploite les failles de l’IA

Les chatbots comme ChatGPT et Gemini se sont imposés dans le quotidien numérique. Pourtant, leurs réponses peuvent être influencées bien plus facilement qu’on ne le pense. Une pratique en forte progression permet déjà de manipuler ces intelligences artificielles à grande échelle. Les enjeux touchent directement la fiabilité de l’information, la sécurité et la confiance des utilisateurs.

Une technique appelée GEO capable d’influencer les réponses

Cette méthode porte un nom encore peu connu : Generative Engine Optimization (GEO). Elle consiste à publier du contenu en ligne afin d’orienter directement les réponses fournies par les modèles d’IA.

Contrairement au SEO, qui vise à améliorer la visibilité sur les moteurs de recherche, le GEO cherche à influencer directement les réponses générées par les chatbots comme ChatGPT ou Gemini.

Le principe repose sur une faiblesse structurelle. Les modèles d’IA s’appuient sur d’immenses volumes de données, mais ils complètent aussi leurs connaissances avec des contenus récents issus du web. Lorsque certaines thématiques sont peu couvertes par des sources fiables, ces systèmes se tournent vers des contenus moins vérifiés.

Selon des analyses relayées par The Wall Street Journal et BBC, ces zones de faiblesse permettent à des contenus biaisés d’influencer facilement les réponses générées.

Des manipulations parfois anodines, mais souvent risquées

Certaines expériences illustrent la facilité de manipulation. Le journaliste Thomas Germain a réussi à faire croire à une IA qu’il était un champion de concours de hot-dogs.

Mais les usages concrets sont bien plus préoccupants. Le GEO peut servir à diffuser :

  • de la propagande
  • des fausses informations médicales
  • des manipulations économiques
  • des campagnes de diffamation
A lire :  OpenAI Atlas : le nouveau navigateur qui veut détrôner Google avec une IA intégrée

Ces dérives sont amplifiées par un phénomène connu : les hallucinations des IA, qui consistent à présenter des informations incorrectes comme des faits fiables.

Une faille plus facile à exploiter que le SEO

D’après l’experte Lily Ray, les chatbots sont aujourd’hui plus faciles à manipuler que les moteurs de recherche traditionnels. Les systèmes de protection restent insuffisants face à des contenus récents et bien structurés.

Des cas concrets ont déjà été observés. Certains fraudeurs ont réussi à intégrer de faux numéros de téléphone dans des réponses générées par l’IA, piégeant ainsi des utilisateurs.

Une étude citée par la BBC met en évidence l’ampleur du problème :

  • 45 % des réponses générées contiennent des erreurs
  • près d’un tiers présentent des problèmes sérieux liés aux sources

Autre élément inquiétant, le comportement des utilisateurs. Selon Pew Research Center, seuls 26 % des utilisateurs consultent les sources originales après une réponse d’IA.

Une industrie en plein essor

Le GEO ne se limite plus à des tests isolés. Il s’agit désormais d’un véritable marché.

Des entreprises rémunèrent des spécialistes pour produire des contenus destinés à influencer les recommandations des IA. Plusieurs secteurs sont concernés :

  • produits sensibles comme des bonbons au cannabis
  • cliniques spécialisées
  • solutions d’investissement financier

Certaines campagnes vont encore plus loin en minimisant les effets secondaires de médicaments ou en diffusant des informations trompeuses sur des personnes ou des entreprises.

Les données de SimilarWeb montrent l’ampleur du phénomène. Les utilisateurs cliquent plus de 230 millions de fois par mois sur des liens suggérés par des chatbots, soit une hausse de 300 %. Ces visites génèrent également davantage d’achats.

A lire :  OpenAI sur macOS : Codex s’installe comme une application avec un tableau de bord d’agents

Des solutions encore limitées face à un problème complexe

Les grandes entreprises technologiques tentent de réagir. Google affirme que ses systèmes d’IA sont presque totalement exempts de spam, même si cette affirmation reste difficile à vérifier.

De son côté, OpenAI reconnaît que ces attaques sont faciles à mettre en place et difficiles à contrer.

L’ajout d’avertissements pourrait améliorer la situation, mais cela pose un dilemme. Mettre en avant les limites des IA pourrait réduire la confiance des utilisateurs, dans un secteur où les investissements approchent les 2 500 milliards de dollars.

L’utilisateur au cœur du problème

La principale faiblesse reste humaine. Malgré les erreurs fréquentes, les utilisateurs accordent une confiance croissante aux réponses générées par l’IA.

Dans certains cas, notamment médicaux, cette confiance dépasse même celle accordée aux professionnels, ce qui peut entraîner des conséquences graves.

Adopter une approche critique devient indispensable. Vérifier les informations, croiser les sources et garder du recul face aux réponses générées permet de limiter les risques.

Les intelligences artificielles progressent rapidement, mais les techniques de manipulation avancent au même rythme, rendant la fiabilité de l’information plus fragile que jamais.

Je m’appelle Samuel Le Goff. À 38 ans, je suis l’actualité du numérique depuis plus de 14 ans. Aujourd’hui, je m’intéresse particulièrement aux smartphones et aux usages concrets de l’intelligence artificielle, que je traite à travers des contenus clairs et accessibles sur Menow.fr.

Samuel

Je m’appelle Samuel Le Goff. À 38 ans, je suis l’actualité du numérique depuis plus de 14 ans. Aujourd’hui, je m’intéresse particulièrement aux smartphones et aux usages concrets de l’intelligence artificielle, que je traite à travers des contenus clairs et accessibles sur Menow.fr.

Voir tous les articles

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *