🔴 Terminator sous LSD

Ce soir du 26 septembre 1983, si la Terre a continué de tourner, elle ne le devait qu'à un seul homme, niché dans un bunker au sud de Moscou. Stanislav Petrov, c'est son nom, est lieutenant-colonel dans les forces de défense aérienne soviétiques. Ce jour-là, il est de garde au centre de commandement de Serpoukhov-15 quand Oko, le système satellite chargé de détecter les tirs de missiles américains, se met à flasher. L'écran annonce le lancement d'un missile nucléaire depuis les États-Unis. Puis quatre autres.

La procédure est claire : il doit transmettre l'alerte à sa hiérarchie, qui n'a ensuite que quelques minutes pour décider ou non d'une riposte. Curieusement, Petrov décide de ne pas la transmettre.

S'est-il posé la question récurrente que le cinéma met souvent dans la bouche de ses personnages, celle par exemple de Jack Ryan dans The Sum of All Fears : pourquoi l'autre camp lancerait-il, du jour au lendemain et sans la moindre provocation, une frappe nucléaire dont la seule issue est la destruction complète de l'humanité ?

En réalité, son raisonnement était beaucoup plus terre à terre. Une première frappe américaine aurait été constituée de centaines de missiles. Et le système, mis en service depuis peu, pouvait se tromper. Il signale donc une fausse alerte.

Que l'on soit né avant ou après 1983, on peut tous avoir une pensée pour Stanislav Petrov.

Cette histoire est restée longtemps confidentielle. Au tout début des années 90, elle circulait déjà dans les groupes underground de hackers, sans que personne en connaisse vraiment les détails. Les faits n'ont été confirmés qu'en 1998, puis racontés en 2014 dans un documentaire danois de Peter Anthony, The Man Who Saved the World, où Petrov revient sur cette nuit face à Kevin Costner.

L'histoire est faite de guerres évitées, mais aussi de guerres créées de toutes pièces. Le 4 août 1964, dans le golfe du Tonkin, les destroyers américains rapportent une attaque de vedettes nord-vietnamiennes. L'attaque n'a pas eu lieu. Trois jours plus tard, le Congrès vote la résolution qui donne au président les pleins pouvoirs pour engager la guerre au Vietnam. Plus proche de nous, la deuxième guerre d'Irak, en 2003, s'est bâtie sur le mensonge d'armes de destruction massive exploitables par l'ennemi.

Mais l'actualité a pris une autre tournure ces dernières semaines. Ce sont les États-Unis qui auraient pu entrer en guerre avec la Chine suite à l'hallucination d'une intelligence artificielle. Comme beaucoup d'entre vous, cette information m'a d'abord surpris et j'ai commencé à m'y intéresser plus en profondeur.

Le sujet du déploiement trop rapide de l'IA dans les processus de l'analyse et du combat, mais aussi la question de la manipulation dans la guerre, ont déjà été traités dans de nombreuses newsletters. Mais cette semaine, nous entrons au cœur d'un nouvel impensé.

Le monde militaire devait être le dernier rempart de rationalité et de déterminisme, et il cède aux sirènes de l'IA générative sans vraiment en assumer les conséquences. C'est vrai aux États-Unis, mais aussi en France, nous le verrons dans la seconde partie de cette newsletter.

La guerre de l'IA est un point de discontinuité majeur dans l'évolution de la guerre. Elle semble en tous points opposée à la doctrine qui a émergé de la guerre froide, dont tout le modèle reposait sur l'équilibre de la terreur.

Cette expression, qui date de 1958, vient d'Albert Wohlstetter, un chercheur de la RAND Corporation. Elle définit le conflit moderne comme une hybridation entre algorithmie et théorie des jeux.

Face au feu nucléaire, outre le téléphone rouge qui permet de parler à « l'ennemi », c'est un système d'escalade et de désescalade structuré qui permet à n'importe qui de ne pas faire n'importe quoi : 44 échelons, un paramétrage fin entre nations, où chacun sait jusqu'où il peut aller et ce que l'autre fera ensuite.

Derrière les fameux DEFCON, il y a aussi une orchestration politique fine, mais qui nécessite que l'on teste régulièrement les limites de l'ennemi. C'est pour cela qu'on voit parfois des avions russes s'aventurer dans la zone l'OTAN ou en Alaska. Bref, un système qui ne donne que très peu de marge de manœuvre pour l'improvisation, ce qui rend d'ailleurs le geste de 1983 encore plus louable.

La guerre froide avait construit un monde structurellement pensé pour que l'erreur humaine ne soit jamais la cause de l'holocauste nucléaire.

L'arrivée de technologies non déterministes, comprendre qui ne sont pas fiables, au cœur des centres décisionnels les plus critiques de l'armée semble être une rupture fondamentale avec ce qui a eu lieu. La principale raison est la politisation du système, qui permet à certains de vendre des produits certes utiles mais pas finis au Department of War.

Et une équipe dirigeante prête à tout pour des résultats à court terme. La question se pose en France, tellement la politique gouvernementale sur l'IA est orientée et a obligé l'armée, semble-t-il, à utiliser des produits dont on ne connaît ni la réelle efficacité, ni les réelles intentions.

La guerre générative

L'idée que la machine hallucine n'est pas nouvelle. En 1984, dans l'épisode « Moffett's Ghost » de la série Airwolf (Supercopter pour les aficionados de la 5), c'est la machine qui rêve ses propres ennemis.

Le créateur de l'hélicoptère ultra perfectionné, le docteur Moffett, est mort, mais il a laissé dans l'ordinateur de bord une bombe logique. Faute de recevoir un code que lui seul connaissait, la machine prend le contrôle de l'appareil, verrouille ses armes sur tout ce qu'elle croise et fait apparaître des cibles fantômes sur la carte du NORAD. Un scénario pas si éloigné de ce dont on parle aujourd'hui.

Dans 2001, l'Odyssée de l'espace, HAL, l'ordinateur de bord, annonce la panne imminente d'une pièce de l'antenne du vaisseau. Les astronautes la démontent : elle est intacte. HAL maintient son diagnostic avec une assurance totale. C'est quand les humains commencent à douter de lui qu'il se retourne contre eux, jusqu'à refuser d'ouvrir la porte du sas à l'astronaute resté dehors.

Mais l'interprétation la plus magistrale d'une hallucination informatique vient du film WarGames, où le WOPR ne sait plus faire la différence entre la simulation et la réalité. « Quelle est la différence ? », rappelle le professeur Falken.

Mais l'erreur de capteur, la machine incapable de distinguer la simulation du monde réel, sont un risque bien moindre que l'usage de l'IA générative.

Nous avons déjà vu deux risques majeurs se dérouler sous nos yeux.

Le premier risque, c'est l'usage de données périmées qui, intégrées dans l'entraînement des modèles, ne permettent plus vraiment d'en comprendre l'origine : c'est ce qui est responsable, dès le premier jour de la guerre, du bombardement d'une école en Iran. Nous en avons déjà parlé dans plusieurs newsletters.

Le second risque, dont nous allons parler dans cette newsletter, c'est l'hallucination opérationnelle. La machine fabrique une information qui n'existe pas et l'intègre dans la chaîne décisionnelle. Cela paraît presque difficile à croire tellement c'est gros, et pourtant.

L'IA et la guerre sur Cybernetica (à relire)

• La guerre épistémique a déjà commencé, 9 février 2025
• Quelle réorganisation des services de l'État pour se préparer à la guerre épistémique, 12 février 2025
• Les artisans de l'impensé, 4 mai 2025
• Anthropic vs. le Pentagone : ce qu'il faut comprendre, 28 février 2026
• La guerre est-elle une donnée comme une autre ?, 1er mars 2026
• La transition douloureuse vers l'économie de guerre numérique, 8 mars 2026
• La bataille de l'IA locale ne fait que commencer, 15 mars 2026
• L'Occident des tech bros, 26 avril 2026
• Souveraineté, cybersécurité, autonomie cognitive, 1er juin 2026
• Embargo sur l'intelligence, 15 juin 2026

Mais revenons un instant sur le premier risque, car depuis, nous en avons appris un peu plus.

Le 28 février dernier, deux missiles Tomahawk frappaient une école de jeunes filles à Minab, dans le sud de l'Iran. Une frappe qui a choqué le monde entier. Plus de 150 morts, dont au moins 123 enfants.

Comment une telle tragédie a-t-elle pu arriver ?

Des responsables qui ont participé à une revue interne du Pentagone, non publiée, l'ont raconté à Bloomberg. Ce site avait été fiché comme une installation des Gardiens de la révolution, à partir de données périmées. Il a été intégré au sein de Maven, le système de ciblage de Palantir, avec les autres cibles possibles, et il en est ressorti comme cible recommandée du premier jour.

Avant, la constitution des listes de cibles prenait des heures, avec un contrôle humain renforcé. Elle se fait désormais en quelques minutes, avec en prime moins de monde pour les analyser.

Ce qui est fascinant, c'est que le paradigme de l'IA générative non déterministe est encore confondu avec celui de l'informatique classique. Les opérateurs auraient pu penser que Maven signalerait les données obsolètes, mais on sait désormais que cela n'a pas été le cas. Un modèle travaille sur un modèle du monde et ne peut pas être fiable à 100 % par construction.

Palantir répond qu'elle n'est pas responsable des données qu'on lui donne. Depuis la frappe, il se dit qu'elle a ajouté à Maven des fonctions qui repèrent les incohérences dans le renseignement. Un bêta-test qui a lieu au cœur du conflit.

On le voit, la dualité entre vitesse, précision et justesse de l'information est un problème qui ne fait que commencer.

Le bateau fantôme

Selon CNN, qui s'appuie sur quatre sources proches du dossier, un navire chinois croisant au Moyen-Orient a été identifié comme transportant des composants pour un programme d'armement nucléaire iranien. Cela s'est passé au printemps, en pleine guerre avec l'Iran, et cela n'a été révélé que le 18 septembre.

Pour y croire, il faut comprendre la séquence complète.

Le point de départ est un renseignement sur le manifeste du navire, la liste déclarée de sa cargaison, qui vient du commandement des forces spéciales pour le Pacifique, à Hawaï.

Un analyste des forces spéciales interroge un chatbot à son sujet. Le chatbot croise ce qu'il trouve en sources ouvertes avec du renseignement électromagnétique classifié, c'est-à-dire des communications interceptées, et conclut que la cargaison est constituée de composants nucléaires.

L'analyste lui demande ensuite de mettre cette conclusion au format d'un rapport de renseignement, et il le diffuse.

La même machine a produit l'erreur, puis lui a donné l'apparence d'un document sérieux. Ce à quoi chacun d'entre nous a été confronté dans son quotidien, mais avec un enjeu bien plus grand.

L'armée américaine a préparé l'interception. Des hommes armés se préparaient à monter à bord, des avions étaient déjà en vol.

On a découvert l'erreur juste avant l'opération, quand quelqu'un a voulu savoir comment le rapport avait été fabriqué et a découvert que le texte avait été fait par un chatbot.

L'opération a été annulée. On ne sait toujours pas quel modèle a été utilisé, ni s'il était commercial ou gouvernemental, c'est-à-dire s'il s'agit de shadow IA, ni ce que le navire transportait vraiment.

Le Pentagone n'a pas voulu répondre.

L'enquête va plus loin. Une source dit que ce type d'hallucination « n'est pas un incident isolé dans la communauté du renseignement depuis que ces outils prolifèrent ».

Plusieurs sources disent que les jeunes analystes, « natifs de ces outils », leur font confiance sans esprit critique. Il n'existe « aucun ensemble de standards » pour vérifier ce que produisent ces outils.

Et une source proche des politiques militaires : « L'IA dans le ciblage monte en puissance et il n'y a aucune directive réelle sur la façon dont un humain dans la boucle empêchera des victimes civiles ou des tirs fratricides. »

Ce qui nous inquiétait dans les précédentes newsletters est désormais confirmé. L'ubérisation, ou plutôt la palantirisation, du renseignement aux États-Unis est un vrai problème.

Et quand on voit la chronologie, il y a de quoi être inquiet.

L'enshittification des données classifiées

Évidemment, il y a un souci : l'enshittification des données classifiées est désormais un vrai risque.

GenAI.mil n'est censé tourner que sur le réseau non classifié, et les modèles frontière n'étaient toujours pas sur les réseaux classifiés fin septembre. Or le chatbot de l'analyste a eu accès à du renseignement électromagnétique secret. Autrement dit, il tournait sur un réseau classifié. Personne n'a pu établir lequel, et aucun fournisseur n'a rien démenti.

Un chercheur de la CIA l'écrivait en 2024 dans la revue interne de l'agence : « l'IA générative trouvera ce que nous lui disons de trouver ». Rien dans le texte produit ne distingue ce qui vient des sources de ce que la machine a déduit. Et quand le même outil met la conclusion en forme, le rapport ressemble à tous les autres.

Le cadre éthique de la communauté du renseignement sur l'IA, adopté en 2020, dit que toute production d'une IA « doit être marquée pour montrer clairement qu'elle provient d'une IA ». Ce rapport ne l'était pas, sinon personne n'aurait eu besoin de creuser pour le découvrir.

La question de la vitesse ou de la justesse est désormais la principale question éthique.

On vend l'IA militaire pour sa vitesse : analyser plus d'informations et décider plus vite que l'adversaire. Mais le temps gagné à produire un rapport ne dit rien du temps qu'il faut pour le vérifier. Si on profite de cette vitesse pour multiplier les décisions, on multiplie aussi les résultats à contrôler, sans augmenter les moyens de les contrôler. Former un professionnel du renseignement prend beaucoup de temps.

« Garder un humain dans la boucle » est la formule magique, à condition qu'elle ait du sens et qu'on précise dans quelles conditions cet humain travaille. A-t-il accès aux sources ? Peut-il distinguer ce que la machine a observé de ce qu'elle a déduit ? A-t-il le temps, et l'autorité, pour tout arrêter ?

Les simulations de crise apportent aussi un autre éclairage.

En 2024, Juan-Pablo Rivera et son équipe ont fait jouer cinq modèles de langage à des jeux de guerre. Tous ont choisi l'escalade, courses aux armements comprises, et dans quelques cas l'arme nucléaire. Ce sont des modèles et des scénarios précis, pas une prédiction de ce que ferait une armée équipée d'IA. Mais on ne peut pas déduire la prudence d'un système de sa capacité à produire des raisonnements convaincants.

Une autre étude de 2024 a comparé des simulations par IA aux décisions de 214 experts de la sécurité nationale.

Résultat : les discussions simulées entre agents tendent vers une harmonie artificielle. Faire discuter plusieurs agents ne recrée pas la contradiction d'un groupe humain.

Pour un état-major tenté de multiplier les assistants spécialisés, c'est essentiel : plusieurs réponses concordantes ne font pas plusieurs analyses indépendantes.

En février 2026, Kenneth Payne a mis trois modèles récents face à face dans des crises nucléaires simulées. Aucun n'a choisi l'accommodement ou le retrait, même sous forte pression. Les concessions se limitaient à réduire la violence.

Là encore, c'est une simulation, et la machine n'y invente aucun fait, elle choisit une ligne de conduite. Mais après la fiabilité de l'information, il y a une deuxième question : la logique stratégique que l'outil applique à cette information.

Comme pour la science, la façon d'arriver au raisonnement est aussi importante que le résultat final. Sinon, on ne peut pas revenir en arrière.

L'autonomie cognitive

Pour les Européens qui tentent d'exister dans cette nouvelle guerre se posent des questions vertigineuses. Si l'enshittification des données classifiées (en plus de leur politisation, mais c'est un risque déjà connu et maîtrisé) en provenance des services américains devient réelle, alors les collaborations de type Five Eyes vont se retrouver face à de nouveaux problèmes.

Il faut pouvoir remonter d'une conclusion aux informations qui la fondent, savoir de quand elles datent et garder une capacité d'analyse indépendante de sa réponse. Utiliser les mêmes IA que les services américains, ou des modèles qui ont été entraînés sur des données trop similaires, ne permet plus l'analyse des données primaires dans de bonnes conditions. Entre parenthèses, le même problème arrive dans la cybersécurité.

Quelle stratégie de guerre IA pour la France ?

Dans le cadre des cours que j'ai donnés à l'IHEDN, mais aussi dans les conférences, j'ai eu la chance de rencontrer plusieurs corps d'armée, du cyber aux forces spéciales, du renseignement militaire ou civil, police ou gendarmerie.

J'ai par essence toujours accepté de rencontrer les acteurs. Naturellement, je ne leur demande jamais de me livrer quoi que ce soit de confidentiel, je ne répète jamais ce qu'ils me disent et je leur rappelle que je ne me considère pas comme un expert du domaine militaire (les plateaux télé et les émissions YouTube en pullulent).

Par contre, je perçois entre les lignes leurs questionnements face à un monde qui change dans une direction toujours plus chaotique.

Mais cela étant, je suis inquiet de la direction que prennent les choses, car je n'arrive pas à savoir où nous allons et surtout quelles sont nos valeurs dans cette guerre générative qui se prépare malgré nous.

Lors d'un dîner, j'ai rencontré une personne dont le métier, à l'armée, est de travailler sur la question de l'éthique. Réfléchir à l'éthique de la guerre est la chose la plus importante pour un soldat au combat. Le pire, me dit-il, est de ne pas savoir. Je découvre que le combat est souvent plus codifié qu'il n'y paraît.

La conversation m'avait fasciné, surtout que si on ajoute un nouvel acteur, à savoir un modèle de langage, la question de l'éthique humaine n'est plus suffisante.

C'est pourquoi je pense que l'éthique de l'IA est au moins aussi importante que sa souveraineté. Une infrastructure souveraine ne règle pas la question de la fiabilité, et elle ne dit rien de ce que le modèle juge.

On a passé beaucoup de temps à savoir où sont hébergés les modèles, et moins à connaître les gens qui les mettent en œuvre et leurs valeurs.

Un modèle de pensée est-il un outil ou une arme comme les autres ?

Je l'écrivais dans « La guerre épistémique a déjà commencé » : l'IA n'est pas un simple outil logiciel. C'est un modèle de pensée et une vue du monde, apprise quelque part, par quelqu'un, à partir de quelque chose. Un modèle de langage juge, hiérarchise, retient une hypothèse plutôt qu'une autre.

Cela devient un problème dès qu'on l'installe dans un service public, dont la promesse est l'égalité de traitement. Cette égalité a déjà beaucoup de mal à être démontrée algorithmiquement, Parcoursup nous l'a appris. Il faudra désormais la démontrer épistémiquement, c'est-à-dire prouver que la vue du monde intégrée dans le modèle ne traite pas deux dossiers identiques de deux façons différentes.

Personne ne sait le faire, et personne ne le demande. C'est pourtant une des questions principales pour 2027.

Les questions posées à l'armée américaine sont les mêmes pour l'armée française:

1. Doit-on utiliser les IA pour accélérer ce qui demande du jugement et du recul humain ? La sélection de cibles, par exemple. Si l'on achète les outils américains comme Maven (ou leur version française), intégrerons-nous les mêmes fonctionnalités et donc les mêmes risques ?
2. Que fait-on du risque d'hallucination ? Comment décode-t-on la chaîne pour revenir à l'information de base ? Sait-on debunker une information tactique enshittifiée par l'IA venant d'un autre pays ?
3. Quelle éthique et quelles règles d'engagement à l'ère de l'IA ? C'est la question de fond. Les armées française, européennes, chinoise ou américaine accepteront-elles d'utiliser une IA qui ne respecte pas la Convention de Genève?

Mais il y a évidemment un éléphant dans la pièce.

L'armée française semble avoir accepté sans broncher de n'avoir qu'un seul prestataire, Mistral AI, mis au cœur de son système (en tout cas en apparence). Mais en réalité, que sait-on de lui ?

suite pour les abonnés