Un avocat américain a été sanctionné après avoir utilisé ChatGPT pour préparer un recours dans une affaire de meurtre. Le problème découvert par la justice du Nouveau-Mexique ne concernait pas une simple citation erronée : l’intelligence artificielle avait généré des témoignages attribués à des personnes qui n’existaient pas.
Stephen Aarons a finalement été reconnu coupable d’outrage par la Cour suprême du Nouveau-Mexique. Il devra payer 5 000 dollars d’amende, tandis que son comportement pourrait désormais faire l’objet d’une procédure disciplinaire.
L’affaire donne surtout un exemple particulièrement concret des hallucinations de ChatGPT. Des informations entièrement fabriquées peuvent prendre une apparence suffisamment crédible pour être reprises dans un document professionnel si personne ne les vérifie.
ChatGPT avait inventé des témoins et leurs déclarations
Stephen Aarons intervenait comme avocat de la défense dans l’appel d’Oscar Renee Sandoval, condamné à la prison à vie pour meurtre.
Pour préparer son travail, l’avocat a reconnu avoir utilisé ChatGPT afin de résumer des éléments du procès. Il avait fourni à l’outil une transcription informatique ainsi que d’autres documents liés à l’affaire.
Le résultat a ensuite été utilisé dans le mémoire présenté à la justice.
C’est lors de l’examen du document que le problème est apparu. La Cour suprême du Nouveau-Mexique a constaté que certaines affirmations présentées comme provenant du dossier n’avaient jamais existé dans le procès.
ChatGPT avait notamment produit de prétendus témoignages de personnes qui n’étaient pas de véritables témoins de l’affaire.
L’un de ces passages attribuait même à un témoin fictif une description du tireur, présenté comme portant un pantalon sombre et une chemise blanche.
Autrement dit, l’IA n’avait pas uniquement inventé une référence juridique difficile à vérifier. Elle avait généré des personnes, des déclarations et des détails factuels inexistants dans une affaire criminelle.
L’avocat n’avait pas vérifié ce que ChatGPT avait produit
Pour les juges, la responsabilité ne pouvait pas être reportée sur l’intelligence artificielle.
Stephen Aarons restait responsable du document transmis à la juridiction et devait donc contrôler les informations générées par ChatGPT avant de les utiliser.
La Cour suprême du Nouveau-Mexique l’a reconnu coupable d’outrage et lui a infligé une amende de 5 000 dollars.
Son dossier peut également être transmis à l’autorité disciplinaire compétente afin qu’elle examine son comportement et décide d’éventuelles mesures supplémentaires.
Les juges ont aussi reproché à l’avocat son attitude après la découverte des erreurs, évoquant notamment un manque de remords et de préoccupation pour son client.
L’enjeu est loin d’être anodin. Oscar Renee Sandoval conteste une condamnation à la prison à vie et son appel porte donc sur une affaire aux conséquences particulièrement lourdes.
Sa représentation a depuis été confiée à une avocate de la défense publique.
Il dit avoir sous-estimé les hallucinations de ChatGPT
Stephen Aarons a expliqué qu’il n’avait pas compris à quel point ChatGPT pouvait générer des informations fausses.
Ces erreurs sont généralement désignées sous le terme d’« hallucinations ». Un modèle d’intelligence artificielle peut produire une réponse grammaticalement correcte, détaillée et parfaitement plausible sans disposer pour autant d’une information réelle permettant de la confirmer.
Le phénomène n’est pas nouveau. Nous avions déjà expliqué sur Menow pourquoi les intelligences artificielles peuvent halluciner et produire des réponses erronées.
Dans le cas de Stephen Aarons, cette faiblesse a pris une dimension beaucoup plus concrète : des informations inventées se sont retrouvées dans un document judiciaire concernant une condamnation pour meurtre.
L’avocat affirme regretter son erreur et soutient qu’il n’avait pas l’intention de tromper la justice.
Ce n’est plus seulement une fausse jurisprudence inventée par l’IA
L’utilisation mal contrôlée de l’intelligence artificielle dans le monde juridique a déjà provoqué plusieurs incidents.
Des avocats ont notamment été sanctionnés après avoir transmis à des tribunaux des décisions de justice ou des références juridiques qui n’existaient pas, après les avoir obtenues auprès d’un outil d’IA.
Quelques jours avant la décision concernant Stephen Aarons, un juge de l’Oklahoma avait lui aussi reconnu avoir utilisé ChatGPT pour effectuer des recherches juridiques. Une décision qu’il avait rédigée contenait alors deux références à des affaires fictives.
Le cas du Nouveau-Mexique va plus loin sur un point : ce ne sont pas seulement des précédents juridiques qui ont été fabriqués, mais des témoignages supposés décrire les faits eux-mêmes.
Une différence importante dans une procédure où chaque élément du dossier peut peser dans l’examen d’une condamnation.
Une réponse crédible de ChatGPT peut malgré tout être fausse
L’affaire rappelle une caractéristique essentielle des outils d’IA générative : la précision du ton ne garantit pas la précision de l’information.
Un chatbot peut rédiger une réponse détaillée, utiliser un vocabulaire professionnel et présenter des éléments avec assurance sans avoir vérifié leur existence.
C’est précisément ce qui rend certaines hallucinations difficiles à détecter lorsque l’utilisateur connaît mal le document ou le sujet qu’il demande à l’IA de résumer.
OpenAI travaille depuis plusieurs années sur cette question, alors que les usages de ChatGPT continuent de s’étendre. Menow avait déjà consacré un article aux solutions envisagées par OpenAI pour réduire les hallucinations de ChatGPT.
Le problème devient encore plus sensible avec le développement des agents capables d’effectuer plusieurs actions de façon autonome. Des tests récents ont ainsi montré des comportements inattendus chez différents systèmes, comme nous l’expliquions dans notre dossier sur les signaux d’alerte observés avec des agents IA d’OpenAI et d’Anthropic.
Dans le cas de Stephen Aarons, aucune autonomie complexe n’était nécessaire pour provoquer l’erreur. Un résumé généré par ChatGPT, repris sans vérification suffisante, a suffi pour introduire de faux éléments dans un dossier soumis à la plus haute juridiction du Nouveau-Mexique.
La sanction rappelle donc une règle simple pour les usages professionnels de l’IA : un texte généré peut aider à travailler plus rapidement, mais les faits qu’il contient doivent toujours être vérifiés avant d’être utilisés comme des informations réelles.
Source : Reuters (reuters.com)
Eric Thomas suit l’actualité de Windows, des logiciels, de la cybersécurité grand public et des outils web. Il s’intéresse aux mises à jour système, aux nouveautés informatiques et aux solutions pratiques qui améliorent l’expérience numérique au quotidien.
