En juin 2026, certains internautes ont reçu une information pour le moins surprenante de la part d’un assistant basé sur l’intelligence artificielle :
Donald Trump serait mort de la rage, après avoir été contaminé par J.D. Vance.
L’information était évidemment fausse.
Elle provenait d’une opération menée par des membres du subreddit r/poisonAI. Leur objectif était de publier suffisamment de contenus absurdes autour de cette histoire pour observer si elle finirait par être reprise par des systèmes d’intelligence artificielle.
L’expérience a fonctionné.
DuckDuckGo Search Assist a présenté cette histoire comme un fait, en s’appuyant sur des publications Reddit, un faux site d’information locale et des contenus sans rapport direct avec l’affirmation.
Derrière cette anecdote volontairement grotesque se trouve une question beaucoup plus sérieuse :
Que se passe-t-il lorsqu’un acteur ne cherche plus seulement à tromper les internautes, mais à manipuler les systèmes auxquels ils délèguent leur recherche d’information ?
Une IA ne vérifie pas la vérité
Un grand modèle de langage, ou LLM, n’est ni une base de connaissances fiable ni un arbitre de la vérité.
Son rôle consiste à produire une réponse vraisemblable à partir des éléments auxquels il a accès :
- les données utilisées pendant son entraînement
- les instructions données par l’utilisateur
- le contexte de la conversation
- les documents fournis à la demande
- les pages Web trouvées par un moteur de recherche
- les données issues d’outils ou de services externes
Le modèle ne cherche pas naturellement à déterminer ce qui est vrai.
Il cherche à produire une suite de mots cohérente avec les informations qui lui ont été présentées.
Si plusieurs pages racontent la même histoire, cette répétition peut être interprétée comme un signal de crédibilité.
Pourtant, dix pages répétant le même mensonge ne constituent pas dix sources indépendantes. Elles peuvent toutes provenir de la même publication initiale, copiée, reformulée ou automatiquement reproduite.
Pour l’utilisateur, il s’agit d’une campagne coordonnée.
Pour le modèle, il peut simplement s’agir d’un motif récurrent.
Hallucination ou poisoning ?
Il est tentant de qualifier cet incident de simple hallucination.
Le terme n’est cependant pas totalement adapté.
Une hallucination correspond généralement à une information inventée par le modèle, sans fondement suffisant dans les données ou les sources disponibles.
Dans le cas présent, le système n’a pas nécessairement inventé l’histoire. Il a récupéré des contenus volontairement falsifiés, puis les a synthétisés sans correctement évaluer leur fiabilité.
Il ne s’agit pas non plus, à ma connaissance, d’un empoisonnement durable du modèle lui-même.
Rien ne permet d’affirmer que ses paramètres internes ont été modifiés ou qu’il a définitivement « appris » la prétendue mort de Donald Trump pendant son entraînement.
C’est plutôt la –chaîne d’approvisionnement informationnelle– du système qui a été contaminée.
On peut parler de :
- poisoning des sources
- poisoning du moteur de recherche
- poisoning du retrieval
- ou encore poisoning d’un système RAG
Le modèle fonctionne normalement.
Ce sont les informations qu’on lui fournit qui ont été manipulées.
Du référencement pour humains au référencement pour machines
La désinformation en ligne n’est pas née avec l’intelligence artificielle.
Depuis des années, différents acteurs utilisent :
- de faux articles
- des réseaux de bots
- de faux comptes sur les réseaux sociaux
- des campagnes coordonnées
- des sites imitant des médias légitimes
- des techniques de manipulation des moteurs de recherche
Ces opérations cherchent principalement à influencer les humains.
L’arrivée des assistants IA ajoute désormais une nouvelle cible : les machines qui cherchent, filtrent et synthétisent l’information pour nous.
Il devient possible de créer du contenu spécifiquement conçu pour être :
- publié et indexé par les moteurs de recherche
- identifié comme pertinent par un moteur sémantique
- récupéré par un assistant IA ou un système RAG
- présenté à l’utilisateur sous la forme d’une réponse claire et synthétique
Nous connaissions déjà le SEO, qui consiste à optimiser du contenu pour améliorer son positionnement dans les résultats de recherche.
Nous pouvons désormais imaginer une forme de –SEO offensif destiné aux IA–.
L’objectif n’est plus seulement d’attirer un lecteur sur une page.
Il est d’influencer directement la réponse produite par la machine.
Le nombre de sources ne garantit pas leur indépendance
Les systèmes d’intelligence artificielle mettent souvent en avant plusieurs références pour renforcer la crédibilité de leurs réponses.
Mais afficher plusieurs liens ne suffit pas.
Trois articles peuvent citer la même publication Reddit. Dix sites peuvent reprendre la même dépêche. Plusieurs pages peuvent avoir été générées automatiquement à partir d’une source unique.
Le modèle peut alors donner l’impression d’avoir croisé plusieurs sources, alors qu’il ne fait que suivre une chaîne de répétitions.
Il faut distinguer :
- le nombre de documents trouvés
- le nombre de domaines différents
- le nombre de sources primaires
- et le nombre de confirmations réellement indépendantes
Cette distinction est difficile à effectuer automatiquement.
Elle l’est encore davantage lorsque les contenus ont été volontairement conçus pour donner l’apparence d’un consensus.
L’IA comme mécanisme de blanchiment de l’information
Une fausse information publiée sur un forum ressemble généralement à une fausse information publiée sur un forum.
Elle est entourée de commentaires, de pseudonymes, de fautes, de contradictions ou de signaux permettant au lecteur de rester prudent.
Une réponse générée par un assistant IA possède une tout autre apparence.
Elle est souvent :
- bien écrite
- structurée
- synthétique
- contextualisée
- formulée sur un ton neutre
- accompagnée de références
L’IA peut ainsi transformer une rumeur peu crédible en une explication convaincante.
Elle ne se contente pas de transmettre l’erreur.
Elle la reformule, la simplifie et lui donne une apparence d’autorité.
L’assistant devient alors une forme de –mécanisme de blanchiment de l’information–.
Une affirmation douteuse entre dans le système par une source peu fiable et ressort quelques secondes plus tard sous la forme d’une réponse professionnelle et apparemment objective.
C’est probablement l’un des aspects les plus dangereux de ces systèmes.
Une nouvelle surface d’attaque
Dans le domaine de la cybersécurité, nous considérons depuis longtemps les données externes comme potentiellement hostiles.
Nous validons les entrées utilisateurs.
Nous contrôlons les dépendances logicielles.
Nous surveillons les échanges avec des services tiers.
Nous vérifions la provenance des fichiers et des exécutables.
Avec l’intelligence artificielle, il faut appliquer le même raisonnement à l’information elle-même.
Une page Web, un document PDF, une base documentaire ou un résultat de recherche ne doit pas être considéré comme fiable simplement parce qu’il contient du texte.
L’information devient une véritable surface d’attaque.
Un acteur malveillant pourrait par exemple publier :
- de faux avis de sécurité
- de fausses vulnérabilités
- de faux correctifs
- de fausses documentations techniques
- de fausses procédures de récupération
- de fausses informations sur une entreprise
- de faux témoignages concernant un produit ou une personne
Si ces contenus sont ensuite récupérés par un assistant IA, ils peuvent influencer directement ses recommandations.
Des scénarios qui dépassent largement la plaisanterie
L’expérience autour de la prétendue mort de Donald Trump était volontairement absurde.
Elle a toutefois démontré un mécanisme qui pourrait être employé dans des contextes beaucoup moins amusants.
Manipulation d’une entreprise
Une entreprise pourrait chercher à dégrader la réputation d’un concurrent en publiant de nombreux contenus accusant celui-ci d’une fuite de données, d’une fraude ou d’un problème de sécurité.
Ces contenus pourraient ensuite être repris par des assistants utilisés par :
- des clients
- des journalistes
- des investisseurs
- des candidats
- des partenaires commerciaux
Manipulation des décisions techniques
Un attaquant pourrait publier de fausses instructions expliquant comment configurer un logiciel, corriger une vulnérabilité ou résoudre un incident.
Un administrateur demandant ensuite de l’aide à une IA pourrait recevoir une commande dangereuse ou une procédure introduisant volontairement une faiblesse.
Fraude financière
Une campagne pourrait diffuser de fausses informations concernant :
- la santé financière d’une entreprise
- une acquisition imminente
- la démission d’un dirigeant
- une nouvelle réglementation
- la compromission d’une plateforme
Même si la fausse information n’est reprise que temporairement, elle pourrait influencer des décisions humaines ou automatisées.
Désinformation étatique
Un État pourrait produire un volume important de contenus cohérents, publiés sur plusieurs plateformes et traduits dans différentes langues.
L’objectif serait de créer artificiellement l’apparence d’un consensus autour :
- d’un événement géopolitique
- d’une élection
- d’une opération militaire
- d’un mouvement de protestation
- de la responsabilité d’une cyberattaque
Les IA génératives pourraient alors devenir des relais involontaires de cette campagne.
Elles permettraient de diffuser le narratif sous une forme adaptée à chaque utilisateur, chaque langue et chaque contexte.
Le poisoning peut intervenir à plusieurs niveaux
L’empoisonnement d’un système d’intelligence artificielle ne concerne pas uniquement les données utilisées lors de son entraînement initial.
Une information malveillante peut être introduite à plusieurs endroits.
Données de préentraînement
Un acteur cherche à introduire des contenus manipulés dans les gigantesques jeux de données utilisés pour entraîner un modèle.
Cette attaque est difficile à mesurer et ses effets peuvent être complexes à déclencher de manière fiable.
Fine-tuning
Un modèle spécialisé peut être entraîné sur un jeu de données plus restreint.
Si ce jeu de données est compromis, l’attaquant peut influencer plus directement les réponses ou le comportement du modèle.
Base documentaire
Une entreprise peut connecter un LLM à ses documents internes.
Si un attaquant peut ajouter ou modifier un document, celui-ci peut influencer les réponses fournies aux collaborateurs.
Base vectorielle
Dans un système RAG, les documents sont généralement découpés puis transformés en représentations numériques, ou embeddings.
Un contenu conçu pour apparaître comme particulièrement pertinent peut être récupéré en priorité par le moteur vectoriel.
Recherche Web
Un assistant connecté à Internet peut être influencé par des pages récemment publiées, des sites frauduleux ou des campagnes coordonnées.
C’est vraisemblablement le mécanisme observé dans l’affaire Trump.
Outils et agents
Un agent IA peut consulter des API, lire des e-mails, interroger des bases de données ou exécuter des commandes.
Une donnée falsifiée ne risque alors plus seulement d’influencer une réponse textuelle.
Elle peut influencer une action.
Du contenu toxique à l’action automatisée
Tant qu’un assistant se contente de produire du texte, les conséquences restent généralement limitées à la désinformation de l’utilisateur.
Mais les systèmes évoluent.
Les agents IA peuvent désormais :
- envoyer des e-mails
- modifier des documents
- créer des tickets
- exécuter du code
- appliquer des configurations
- déclencher des workflows
- effectuer des recherches de manière autonome
Le poisoning devient alors beaucoup plus dangereux.
Une information manipulée peut être interprétée comme une instruction ou comme un élément justifiant une décision.
Un agent pourrait par exemple :
- identifier une fausse alerte de sécurité
- la considérer comme légitime
- appliquer un faux correctif
- introduire lui-même une compromission
Le risque ne vient donc pas seulement de la capacité d’un modèle à produire une mauvaise réponse.
Il vient de la confiance et des permissions que nous lui accordons.
Comment réduire le risque ?
Il n’existe pas de solution unique.
La protection doit être appliquée à l’ensemble de la chaîne.
Privilégier les sources primaires
Une déclaration concernant une entreprise doit idéalement être vérifiée sur ses canaux officiels.
Une vulnérabilité doit être confirmée auprès de l’éditeur, d’une base reconnue ou du chercheur à l’origine de sa découverte.
Une information politique ou géopolitique doit être comparée à des sources identifiées et indépendantes.
Conserver la provenance des informations
Un système RAG ne devrait pas uniquement stocker le contenu d’un document.
Il devrait également conserver :
- son origine
- son auteur
- sa date de création
- sa date d’import
- son niveau de confiance
- son historique de modification
Sans provenance, il devient très difficile d’évaluer la fiabilité d’une réponse.
Contrôler les documents ajoutés
Les bases de connaissances internes doivent disposer de contrôles d’accès et de processus de validation.
Tous les utilisateurs ne devraient pas pouvoir introduire librement des documents qui seront ensuite considérés comme fiables par l’IA.
Séparer les niveaux de confiance
Les contenus internes validés, les documents partenaires et les pages Web publiques ne devraient pas être traités de la même manière.
Une réponse provenant d’une politique interne approuvée a un niveau de confiance différent d’un message trouvé sur un forum.
Détecter les campagnes coordonnées
La présence soudaine de nombreux contenus similaires peut sembler rassurante pour un algorithme.
Elle devrait au contraire être considérée comme un signal potentiel de manipulation.
Tester les systèmes avec des scénarios adverses
Les applications utilisant des LLM doivent être régulièrement confrontées à :
- de faux documents
- des sources contradictoires
- des contenus malveillants
- des instructions cachées
- des tentatives de manipulation du retrieval
Il ne suffit pas de vérifier que le système répond correctement dans des conditions normales.
Il faut aussi vérifier comment il réagit lorsqu’on cherche volontairement à le tromper.
Maintenir une validation humaine
Plus une décision est importante, moins elle doit être prise uniquement à partir de la réponse d’un modèle.
Les réponses relatives à la sécurité, au droit, à la santé, aux finances ou à la réputation doivent faire l’objet d’une vérification supplémentaire.
L’utilisateur reste la dernière ligne de défense
Les éditeurs ont évidemment la responsabilité d’améliorer leurs systèmes.
Mais l’utilisateur doit également adapter ses réflexes.
Plus une information est :
- récente
- surprenante
- émotionnelle
- controversée
- sensible
- ou lourde de conséquences
plus elle doit être vérifiée.
Une réponse générée par une IA n’est pas une preuve.
La présence de liens n’est pas une garantie.
La fluidité du texte n’est pas un indicateur de vérité.
La confiance affichée par le modèle ne correspond pas nécessairement à la qualité de ses sources.
L’IA est une interface, pas une source
Le véritable danger n’est pas de découvrir que les IA peuvent se tromper.
Nous le savons déjà.
Le danger apparaît lorsque nous cessons de vérifier leurs réponses, parce qu’elles sont plus rapides, plus accessibles et mieux formulées que les sources originales.
Une intelligence artificielle peut être un excellent outil pour :
- rechercher
- résumer
- comparer
- traduire
- expliquer
- explorer un sujet
Elle ne doit pas devenir un oracle.
À mesure que nous connectons les modèles à Internet, à nos données et à nos outils, une règle ancienne de la cybersécurité reste valable :
Toute donnée externe doit être considérée comme potentiellement hostile.
Avec l’intelligence artificielle, même la connaissance devient une entrée utilisateur.
