🔴 Conversation avec Meredith Whittaker, la présidente de la fondation Signal

La semaine dernière, j’ai proposé à Meredith Whittaker, la présidente de Signal, de venir aux Nuits Sonores (à Lyon), où l’une des légendes de la techno de Detroit, Robert Hood, cofondateur du collectif Underground Resistance et considéré par beaucoup comme l’inventeur du style minimal techno (celui qui a fait les beaux jours des clubs de Berlin), se produisait. Un grand merci à l'équipe de nuits sonores, Vincent, Juliette et Anne-Caroline pour leur accueil et leur visite VIP de cette incroyable évènement.

Nous avons profité de l’édition de l’European Lab (la partie conférence des Nuits Sonores) pour organiser une petite conversation, qui s’est transformée en quelque chose d’un peu plus grand puisque, encore dans le train pour Lyon, les équipes de Quotidien m’ont informé qu’elles allaient venir filmer. Normalement prévu pour mardi 3 juin.

Cette petite déconnexion lyonnaise a été un moment d’intenses conversations sur le futur du numérique et, évidemment, de la géopolitique. J’avais promis quelques jours loin du Signalgate et autres remous de l’actualité géopolitique.

L’idée, c’était de revenir aux sources des trois grandes expériences de Meredith : chez Google, chez AI Now et désormais chez Signal.

Meredith a retracé son parcours et son analyse des Big Tech, de l’IA et de la question de la vie privée : de son entrée chez Google après des études en sciences humaines, à prendre la tête d’une des rares applications qui défendent encore la vie privée.

Elle explique comment les investissements militaires de la guerre froide ont façonné des réseaux informatiques destinés à assurer la suprématie américaine, puis comment, dans les années 1990, l’administration Clinton a légitimé un Internet commercial fondé sur la publicité, sans encadrement de la surveillance privée.

À son arrivée en 2006 chez Google, elle découvre une hiérarchie où la capacité à «penser en abstrait», à réduire l’humain à « des bits », détermine le statut et le salaire. Les ingénieurs capables d’optimiser des systèmes distribués sont considérés comme essentiels, alors que tout travail administratif ou de soutien est peu valorisé.

Elle perçoit rapidement que la croissance de Google repose sur un modèle publicitaire, encouragé par le fait que, depuis les années 1990, aucun cadre légal fédéral n’empêche les entreprises privées de collecter plus d’informations que l’État lui-même. L’administration Clinton, confrontée à une récession, a fait du « New Deal sans socialisme » la priorité économique : promouvoir l’Internet commercial, admettre la publicité comme unique mode de financement et ne poser aucune limite à la surveillance. En conséquence, les entreprises se sont lancées dans la course à la donnée :

« On incite à la surveillance, car ce qu’on vend, c’est l’accès à une connaissance supérieure d’un marché qu’on propose aux annonceurs. »

Meredith insiste : l’IA n’est pas apparue par hasard. Les ressources colossales (données, puissance de calcul) générées par le modèle publicitaire ont permis de relancer des approches de deep learning des années 1980.

« Les modèles anciens, s’il y a assez de données et de puissance de calcul, peuvent faire des choses utiles pour ce modèle publicitaire. »

Ainsi, l’IA est selon elle un dérivé du « surveillance business model » et de l’accumulation massive de données issues de la publicité ciblée.

Elle retrace aussi la genèse militaire : en 1948, Rosenblatt invente les perceptrons, premiers réseaux de neurones artificiels, bien avant que le terme intelligence artificielle ne soit inventé en 1958.

Dans les années 1970-80, le Pentagone finance la recherche en calcul pour la dissuasion nucléaire et la reconnaissance d’images. Dans les années 1990, le « modèle publicitaire » a repris ces infrastructures, permettant à la donnée de s’étendre aux usages civils. Meredith refuse l’idée que l’évolution technologique actuelle soit une trajectoire inévitable :

« Les récits d’inévitabilité sont un luxe pour l’élite. Rien n’est inévitable. »

Elle ajoute que la notion de « New Deal sans socialisme » de la tech clintonienne a été perçue comme la solution à la désindustrialisation et à la récession de l’économie américaine. D’une certaine manière, on pourrait presque dire que les bases de données sont devenues la nouvelle industrie, et que l’Internet a été le renouveau industriel (ce que l’Europe n’a pas forcément su imiter).

Meredith souligne que, chez Google, on pouvait afficher des positions morales très hautes (Don’t be evil), tant que l’entreprise était super profitable à chaque trimestre. Mais à un moment, les choix devinrent plus épineux, et l’injonction de Don’t Be Evil s’est retournée contre ceux qui posaient les questions difficiles :

« Pourquoi n’arrêtait-on pas les contrats militaires ? »

Elle décrit comment, vers 2017, elle apprend l’existence d’un contrat avec le Pentagone (projet Maven) pour développer des systèmes de vision par ordinateur destinés aux drones. Les ingénieurs chargés du code, estime-t-elle,

« ne savaient pas que leur travail allait servir à un usage militaire non éthique ».

Face au silence de la direction, elle et quelques collègues lancent un mouvement d’organisation interne, conscients qu’historiquement, seule une forme de mouvement ouvrier a réussi à contenir le pouvoir illimité du capital. Ils rédigent un manifeste, utilisent des canaux anonymes, distribuent des tracts papier (pour contourner la censure numérique interne) et organisent des réunions clandestines.

Cette mobilisation aboutit, en novembre 2018, à un walkout mondial : 20 000 employés quittent symboliquement leurs bureaux pour exiger la fin des projets militaires IA, la publication de tous les contrats gouvernementaux et la suppression des NDA qui interdisent de parler éthique.

Ce walkout force Google à prendre quelques mesures : un moratoire partiel sur Maven (transfert à une filiale externe), la création d’un comité d’éthique pour tout projet IA sensible, la publication annuelle d’un rapport sur les contrats gouvernementaux, et une révision des bonus pour ne plus pénaliser ceux qui lèvent la main sur des questions éthiques.

Meredith reconnaît que ces changements restent partiels : la direction technique conserve son pouvoir décisionnel. Mais les employés ont cessé d’idolâtrer l’entreprise :

ils comprennent à ce moment-là que plus aucun géant du web n’est moralement intouchable.

Sur le plan économique et social, elle affirme que l’IA ne décide pas de « prendre nos emplois » : c’est une question politique et de rapport de force. Depuis Babbage et le débat sur la division du travail, il ne s’agit jamais de la technique en soi, mais de

« qui décide comment les ressources technologiques et la valeur qu’elles produisent sont partagées ».

J’ai d’ailleurs donné l’exemple de l’évolution de l’économie « ubérisée » : d’abord présentée comme une révolution, Uber a vite montré que la technologie sert avant tout à maximiser la marge, pas à améliorer les revenus des chauffeurs.

L’algorithme, dit-elle,

« observe, motive, extrapole, mord sur chaque travailleur pour extraire un maximum de profits ».

Les chauffeurs ne sont même pas considérés comme salariés mais à nouveau comme des entités abstraites. C’est un peu comme cela que l’IA nous voit, d’ailleurs.

Meredith dénonce la « théologie » de l’IA : on excuse tout au nom de la prétendue supériorité des algorithmes, en oubliant que la plupart reposent sur des données produites par des travailleurs mal payés qui annotent des images ou du texte. Ces labels deviennent le ground truth des modèles, vendus ensuite comme intelligence pour alimenter la machine publicitaire ou militaire.

Pourtant, elle refuse l’idée selon laquelle il n’y aurait pas d’autre voie : elle a rejoint Signal pour construire un service affirmant une autre finalité :

« Chez Signal, chaque fois qu’une librairie n’offre pas les garanties de vie privée, on la réécrit et on l’open source. »

Signal développe un chiffrement bout-à-bout, minimise la métadonnée stockée, finance son activité par des dons plutôt que par la publicité. L’objectif est de montrer qu’une technologie grand public peut exister sans exploiter chaque bit des échanges de l’utilisateur.

J’ai oublié de lui poser la question mais je trouve que Signal a fait ce que Mozilla n’a pas su faire : s’abstraire des dépendances des big tech pour proposer une alternative. Mais Mozilla fait plus de politique que de code. Et en plus, ils viennent de fermer Pocket !

Elle note cependant que Signal ne peut se passer entièrement du cloud public (AWS, Google Cloud) : dès que ces infrastructures ne correspondent pas à ses exigences, l’équipe redéploie ses propres modules. Cela souligne les limites d’un projet antagoniste : face à des GAFAM disposant de dizaines de milliers d’ingénieurs et de serveurs, un petit collectif doit sans cesse réécrire des briques logicielles pour garantir la confidentialité.

Sur la vie privée, Meredith veut aller plus loin que les débats techniques (pseudonymisation, localisation des données, durée de conservation) : elle appelle à lutter contre

« l’autorité épistémique » des plateformes qui prétendent en savoir plus que nous sur nous-mêmes, écrivent nos récits, fixent les cartes sur lesquelles se construisent nos vies.

Elle résume :

« Je ne veux pas posséder mes données Facebook ; je veux récuser le droit de Facebook de générer des données à mon sujet. »

La vie privée ne se réduit pas à limiter la circulation des flux, mais à contester l’idée que

« les grandes entreprises puissent décider ce qui est vrai pour nous, ce qui est accessible, ce qui doit être montré ou rien ne doit être montré ».

Selon elle, la lutte pour la vie privée doit se fonder sur la question :

« Quelles sont les choses précieuses qu’il faut protéger ? Pourquoi on a besoin de vie privée ? Qu’est-ce qui disparaît quand on abandonne tout à Facebook, Apple, Google ? »

Elle se félicite d’un mouvement latent : les gens ressentent instinctivement que Twitter, YouTube ou leur banque en ligne sont souvent buggés, mal conçus. Face à la hype déconnectée du réel, il y a un désir latent de technologies différentes. Le problème, dit-elle, est qu’on a appris aux gens à se sentir honteux s’ils ne comprennent pas la technologie, alors qu’on devrait faire confiance à ce ressenti d’inconfort.

S’adressant aux utilisateurs, elle recommande de poser les « questions bêtes » :

• Comment les données d’entraînement ont-elles été produites ?
  (C’est un vieux périphérique IoT qui envoie un flux structuré par un schéma inadapté ? Les labels ont été posés par des travailleurs précaires payés quelques centimes par image ?)
• Pourquoi l’algorithme vous classe-t-il de cette façon ?
  (Pourquoi le même trajet en VTC est plus cher pour vous que pour un autre ?)

Elle insiste : il faut briser la honte intellectuelle autour de la technologie ; le fait que les interfaces soient mal conçues, que les menus soient buggés, devrait être la preuve que le discours de l’« IA qui fonctionne presque comme un cerveau humain » est vide de contenu. Ce « presque », répété depuis Rosenblatt en 1948, garantit le présent défaillant dans lequel nous vivons.

Conclusion

En conclusion, Meredith appelle à agir sur plusieurs fronts :

1. Remettre en cause la « théologie de l’IA » et refuser l’idée que la technologie soit neutre ;
2. Rejeter le modèle publicitaire qui nourrit la construction des IA ;
3. Soutenir les initiatives comme Signal qui démontrent qu’on peut bâtir des infrastructures respectueuses de la vie privée ;
4. Reprendre collectivement la question de l’autorité sur nos données et nos représentations numériques, pour que la vérité ne reste pas aux mains de quelques plateformes privées.

À ses yeux, tout cela n’est pas une utopie :

« Nous ne vivons pas dans un monde où chaque bit de notre vie doit être aspiré par une IA ; il est possible de concevoir des alternatives, de reconstruire des infrastructures antagonistes, et de retrouver un rapport de force en faveur des utilisateurs. »

C’est drôle, cela me fait penser à ce que j’écrivais sur le Slow Web déjà en 2010.

Comme le reste de la salle, j’ai été séduit par la force de sa vision et sa capacité à faire ce qu’elle pense être bon pour la société. Une personne rare dans ce monde de la tech.

Section pour les abonnés payants