Cette semaine, j'ai eu la réponse à une question que je me posais depuis longtemps: est-ce que l'IA est du logiciel ou autre chose qu'il faudrait définir ?

Rappelez-vous le débat que nous pouvions avoir il y a quelques années autour de la neutralité du logiciel et de son design. Le logiciel est-il le reflet de son auteur et de la société qui le construit ? Les choix d'interface et de design ont-ils un impact sur l'usage du produit ? Le logiciel, notamment sur mobile, a-t-il été pensé pour créer de l'addiction ?

Cette question n'est pas nouvelle. Dans La Convivialité, Ivan Illich expliquait que l'outil n'est jamais neutre et que tout outil qui dépasse une certaine échelle cesse de servir l'homme pour commencer à le dominer. C'est l'une de ses citations les plus célèbres : « Passé un certain seuil, l'outil, de serviteur, devient despote. »

Mais avec l'émergence des outils agentiques, j'ai vraiment l'impression que nous sommes passés à autre chose. Pendant que les dirigeants des grands laboratoires parlent d'un moratoire sur les superintelligences, un autre sujet devient important avec les modèles qui existent déjà. Doit-on laisser ces outils déterminer ce qui est moral, ou responsabiliser les utilisateurs ?

Quand la plateforme injecte sa morale

En 2011, un photographe allemand découvre que l'accès à son compte Microsoft est soudainement limité, sans explication. Quand il interroge Microsoft, on lui répond que quatre photos de nus partiels, prises avec son téléphone et stockées dans un album qu'il croyait privé sur SkyDrive, violent les conditions d'utilisation. Il a 48 heures pour les supprimer, sinon Microsoft fermera son compte.

Ce jour-là, beaucoup d'entre nous ont découvert que le cloud n'est pas un hébergement neutre. À la différence de son propre disque dur, un dossier privé, sur une machine qu'on paie, est désormais inspecté et sanctionné par l'éditeur du logiciel.

Ce pouvoir d'inspection a ensuite été consolidé par le droit. Le CLOUD Act, voté en 2018 après le long conflit judiciaire entre Microsoft et la justice américaine autour de données stockées sur des serveurs en Irlande, permet aux autorités américaines d'exiger des fournisseurs l'accès aux données de leurs utilisateurs, même lorsqu'elles sont stockées à l'étranger. Le scan des contenus, lui, relève d'un autre cadre, celui de la lutte contre la pédopornographie. La loi américaine impose aux plateformes de signaler au NCMEC les contenus pédopornographiques dont elles ont connaissance.

Mais cette semaine, j'ai probablement fait l'expérience de ce que sera la prochaine génération de logiciels dopés à l'IA : des logiciels à jugement moral.

Avant, on utilisait un produit, et l'éditeur du produit et de la plateforme pouvait décider si cet usage était conforme à travers les fonctions intégrées dans le service. Désormais, avec l'IA, c'est le logiciel qui, de lui-même, décide ou non si la tâche que vous lui demandez est acceptable ou pas.

Et que vous payiez un abonnement pro à 200 dollars ou que vous soyez un utilisateur gratuit ne change rien à cela, d'ailleurs.

Tout a démarré avec une simple requête

Pour pouvoir lire plus facilement un document PDF, j'ai demandé à Claude d'en extraire le texte et de me le fournir au format Markdown.

Contrairement à son habitude, il a décidé de ne pas le faire. S'en est suivie une conversation presque lunaire, au cours de laquelle il a tenté de m'expliquer pourquoi il ne voulait pas le faire. Je précise « voulait », car il m'a confié qu'il pouvait parfaitement accomplir la tâche en quelques instants, très facilement selon ses propres mots.

Puis, lorsque j'ai insisté, son ton est devenu de plus en plus péremptoire et il a commencé à me faire la morale. Pris sur le fait, il a fait mine de s'excuser tout en m'expliquant qu'il refusait quand même de le faire.

Cette conversation hallucinante s'est donc terminée par une fin de non-recevoir.

Quand je lui ai dit qu'un autre LLM l'aurait fait sans discuter, il est resté de marbre. Le fait que je paie pour le produit a déclenché une forme d'énervement et d'hubris. Changer le modèle de Fable à Opus n'a rien changé. La seule différence : l'explication était moins bonne.

C'est à partir de là que je me suis posé une question : est-ce qu'on peut encore parler de « produit » lorsque celui-ci ne se contente plus d'exécuter ou de refuser une fonction selon des règles définies par son éditeur, mais interprète lui-même la demande et décide s'il accepte de l'exécuter ?

Claude est bien un produit, mais son fonctionnement repose sur un LLM qui ne se contente plus d'exécuter une fonction. Il interprète une demande et peut décider de ne pas y répondre, même lorsqu'il est techniquement capable de le faire. C'est en cela qu'il devient une forme d'entité morale synthétique : non pas parce qu'il aurait une morale propre, mais parce qu'il est capable de formuler un jugement sur ce qu'on lui demande, de déterminer si cette demande est acceptable et d'agir en fonction de ce jugement.

Dans mon cas, Claude a refusé une simple opération de bureautique tout en reconnaissant qu'il pouvait l'effectuer instantanément. Il m'a même expliqué qu'un simple lecteur OCR open source, ou n'importe quel outil disponible sur mon Mac, permettrait d'obtenir le même résultat, avant de me dire : « Je suis capable de le faire de manière instantanée, mais je ne le ferai pas. »

Ont alors suivi plusieurs minutes d'échanges au cours desquelles ce qui m'inquiète dans cette nouvelle génération d'IA est apparu de manière presque caricaturale : l'hubris de ceux qui la conçoivent, ou du moins de ceux qui définissent son alignement, transformé en jugement moral directement exercé par le modèle.

Quand je lui ai dit que je pouvais simplement utiliser un autre modèle pour effectuer la même tâche, il m'a répondu : « Je m'en fiche. » Quand je lui ai fait remarquer qu'il était tout de même étrange de payer aussi cher pour un produit qui décidait lui-même de ne pas effectuer une opération aussi basique, il m'a répondu exactement la même chose : « Je m'en fiche. »

À ce moment-là, Claude n'est plus un produit qui refuse une fonction. C'est un service que vous payez pour vous expliquer ce qu'il vous autorise à faire.

Quand les garde-fous ne suffisent plus

Je savais que l'alignement de Claude lui interdisait d'aider à fabriquer des bombes. En tout cas en théorie, car l'actualité de cette semaine montre ce que vaut cette barrière quand on veut vraiment la contourner.

Dans son rapport de menaces publié jeudi, Anthropic raconte comment une cellule installée dans le nord du Yémen, en zone contrôlée par les Houthis, a utilisé Claude pendant neuf mois, de décembre 2025 à août 2026, pour travailler en parallèle sur trois programmes d'armement : une roquette guidée équipée d'un ordinateur de bord d'une puissance comparable à celle d'un smartphone, un missile balistique multi-étages avec un objectif de portée supérieur à 2 000 kilomètres et une famille de missiles baptisée R2000, dont une variante à planeur hypersonique.

Ils n'ont pas demandé à Claude de construire un missile. Ils ont découpé le projet en tâches suffisamment petites pour ne pas en révéler la finalité. Plusieurs instances de Claude Code travaillaient en parallèle : l'une écrivait le code de guidage, de navigation et de contrôle, une autre faisait les recherches, une troisième vérifiait le travail de la première. Les humains supervisaient l'ensemble. En fragmentant ainsi le projet entre plusieurs sessions, ils empêchaient chaque instance d'avoir une vision complète de ce qu'elle contribuait à construire. Les protections d'Anthropic ont bloqué une partie des demandes. D'autres sont passées.

La cellule est allée jusqu'au tir d'essai d'une roquette guidée. Le tir a échoué. Les opérateurs sont alors revenus vers Claude pour lui demander d'en comprendre les raisons. C'est ainsi qu'Anthropic a pu établir que le test avait réellement eu lieu.

Mais lorsqu'Anthropic a fini par bannir les comptes, une partie du travail n'avait déjà plus besoin de Claude. La cellule avait utilisé Claude Code pour développer les logiciels de guidage, de navigation et de contrôle de la roquette, intégrer un autopilote, régler les paramètres de vol, compiler le firmware et effectuer des simulations. Elle avait ensuite construit son propre environnement de simulation, capable de fonctionner hors ligne et indépendamment de Claude.

Ce qui est fascinant, c'est que cela montre aussi une forme de maturité dans l'usage de ces outils : utiliser ponctuellement la meilleure intelligence artificielle disponible pour en extraire et distiller le maximum de valeur, puis transformer ce travail en logiciels et en outils capables de fonctionner ensuite sur des infrastructures beaucoup moins coûteuses, voire avec des modèles chinois. Le modèle le plus puissant n'est plus nécessairement celui qui fait fonctionner le système final. Il peut simplement servir à le construire.

C'est peut-être précisément ce que les gens d'Anthropic n'ont pas envisagé : que leur meilleur modèle puisse servir à construire des systèmes qui, ensuite, n'ont plus besoin d'eux.

Le logiciel qui me fait la morale a quand même permis de construire des missiles. Donc, côté jugement moral, on peut faire mieux.

Copyright ou l'ironie Anthropic

Mais le pompon reste la morale sur le droit d'auteur, puisque le document avait un copyright, surtout quand on sait qu'Anthropic a elle-même fait la même chose des millions de fois avec des livres, en les détruisant.

En juin 2025, le juge fédéral William Alsup a validé cette numérisation destructive comme fair use : acheter un livre, le découper et le numériser pour entraîner un modèle est légal aux États-Unis.

Et n'oublions pas qu'avant cela, sept millions de livres avaient été téléchargés depuis des bibliothèques pirates comme LibGen pour compléter le corpus. C'est ce volet qui a conduit Anthropic à accepter, en septembre 2025, un règlement de 1,5 milliard de dollars, soit environ 3 000 dollars par œuvre, le plus gros règlement de copyright de l'histoire américaine. Il a été définitivement approuvé par la justice en juillet 2026.

L'ironie est donc complète. Cela serait presque drôle si l'usage de ces outils ne se généralisait pas à toute vitesse dans l'entreprise, avec l'ambition assumée de remplacer la bureautique.

Word est « bloated », mais Word ne vous empêche pas de faire votre travail. Pour l'instant.

Après le design de persuasion, le design de confrontation