Rien à cacher. Rien à craindre.
Jusqu’à maintenant, les dispositifs numériques nous entouraient avec bienveillance, nous rendaient service. C’est du moins la perception positive qui était tirée de la prédominance des bases de données dans notre quotidien pour guider nos choix, alerter nos besoins, répondre à nos attentes non sollicitées. Une expansion illimitée paraissant bornée à notre volonté finale : l’usage et l’utilisation des outils que sont par exemple le smartphone. Sauf que dorénavant, les systèmes algorithmiques veillent, éclairent, gèrent, non sans conséquences sur nos vies sociale, économique, politique. Le journaliste Hubert Guillaud revient dans un livre sur cette nouvelle gouvernance œuvrant sans mise en balance, sans questionnement. Pire, sans débat et assentiment démocratique. Bienvenue dans l’ère du ‘tout numérique’, une nouvelle servitude volontaire.
(Hubert Guillaud, (c) Anthony Francin/La fabrique)
Hubert Guillaud est journaliste indépendant, spécialiste des systèmes techniques et numériques. Il phosphore en de nombreuses entités, dont l’association Vecteur et au sein de son média incontournable pour qui veut suivre avec détails pointus ce domaine, ses tenants et aboutissants : Danslesalgortihmes.net.
Dans Les algorithmes contre la société (édition La Fabrique), il entend revenir sur nos rapports maintenant intimes, viscéraux, avec la technique en général, avec les algorithmes en particulier. Son constat est limpide : au lieu de nous ‘faciliter la vie’, les IA pourraient la rendre plus difficile, redéfinir des dynamiques sociales et institutionnelles. A nos dépends donc. Ce nouveau pouvoir va nourrir des conséquences en tous domaines. Notamment des portées démocratiques qu’il ne faut plus craindre de voir advenir à nos corps défendants.
Pour cela, Hubert Guillaud s’appuie sur la mise en lumière des défaillances massives des algorithmes qui moulinent dans de nombreuses administrations : de la CAF à ParcourSup, en passant par les systèmes de recrutement automatisés, les usages du marketing, les systèmes de fixation des prix et des salaires, la productivité des employés, France Travail… Autant de systèmes dysfonctionnels au service d’objectifs idéologiques cachés dans des codes algorithmiques opaques, des choix moraux amplifiant la discrimination, accentuant les inégalités, empêchant l’accès à nos droits, imposant des trajectoires à nos existences sans guère de possibilité de les contester.
Les outils sont déployés à l’aveugle, ont des impacts importants sur les vies et sont déresponsabilisants pour les décisionnaires qui les utilisent et se fient à leurs résultats insondables. Leurs critiques ne sont pas aisées car les calculs issus de l’interconnexion des bases de données, les chiffres maniés et triturés selon de multiples paramètres, les métriques débitées et alimentant les pilotages et arbitrages ont valeur de vérité…
La technique est définie par Jacques Ellul comme ‘la préoccupation de l’immense majorité des hommes de notre temps, de rechercher en toutes choses la méthode absolument la plus efficace’. Cet instant est donc l’absolutisation de l’efficacité, valeur suprême sur l’autel de laquelle toute autre considération est sacrifiée. Avec les algorithmes et les IA, tout cela bénéficie d’une aura de scientificité apparente que d’aucuns auront bien du mal à déconstruire. Les mathématiques ont toujours été rassurantes. Enfin, le battage médiatique autour des IA génératives met en avant les intérêts ludiques et récréatifs, autant d’applications si serviables, sans guère s’appesantir sur les incidences des algorithmes sur la société, tellement de logiciels administratifs et institutionnels décisifs.
(interviouve Hubert Guillaud, avril 2025)
Nothing to hide
La numérisation de nos vies est en cours depuis un demi-siècle, avec son cortège initial d’expansion continuelle de bases de données (Big Data). Les algorithmes et les IA n’en sont que l’aboutissement inéluctable, poussé par des intérêts économiques, politiques et de pouvoir. Jusqu’à maintenant, les données ont été collectées avec le consentement, l’assentiment même, de centaines de millions d’utilisateurs. Peu averti, les quelques critiques émises à l’époque de la part des spécialistes, les risques projetés, laissaient pantois chacun. C’était la période bénie du ‘je n’ai rien à cacher’, qui aura tant ulcéré certains journalistes du domaine et lanceurs d’alerte.
Sauf que la machine s’est emballée. Sous couvert de pertinence et vérité établie par de colossales capacités de calculs. Les IA ont maintenant une emprise sur le réel. Nous pouvons en retenir les avancées les plus prometteuses ou les promesses publicitaires les plus médiatiques : les réseaux neuronaux à convolution, copie inspirée de nos processus biologiques du cortex visuel, seraient ‘tellement’ impressionnants ! Cette évolution structurelle permettrait de dépasser les capacités d’un cerveau humain. Rendez-vous compte. Si bien qu’il est comme désirable et essentiel de faire confiance aux IA, permettant d’accéder aux séances de psychologie, de produire des analyses juridiques… Jusqu’au recrutement et à la sélection de profils pour une employabilité toujours plus efficace. Toutes sortes encore de travaux complexes et multimodaux enfin à la portée de tous grâce aux productifs algorithmes.
La course aux centres de données de calcul pour les IA (datacenters), toujours plus puissants, plus chers, plus gourmands en énergie, est la partie émergée et la plus évidente des critiques.
Dans le domaine de la médecine et de la recherche, les résultats des IA peuvent être sources de polémiques compte tenu du fossé encore existant entre les promesses marketing qui ont accompagné son déploiement et les résultats probants apportés qui se font attendre (sans que ne soit abordées les questions sur la dépendance accrue à cette technologie dans ces domaines sensibles, sur la surproduction de connaissances décorrélée de leurs compréhensions, et sur le surdiagnostic médical potentiel).
Comme tous résultats issus des algorithmes, et c’est bien le plus terrible, l’amélioration par les IA des diagnostics est par défaut perçue positive, comme une évidence. Sauf que. Conjugués à la puissance de calculs, l’exploration du toujours plus infiniment petit et le traitement massif de données collectées et comparées laissent croire à l’obtention des vérités cliniques, scientifiques, médicales. Autant de leurres éthiques qui ont leurs audiences et suscitent le fanatisme.
L’esprit critique est minimaliste en la matière. Ne seront retenus que les abus contre lesquels la CNIL est censée être mobilisée, quelques arnaques toujours croquignolesques sans guère d’importance, pour ne considérer en général finalement que les ‘bienfaits’ à venir des IA.
Sauf que l’usage des IA et autres algorithmes engendrent des erreurs, participent à une discrimination croissante. Sont d’une efficacité très relative cependant que les calculs et le scoring laissent présager, croire, que l’efficience ressort de tels systèmes décisionnels et gestionnaires. Pour ne rien dire du sentiment de rejet et d’abandon résultant des fonctionnements automatisés imposés et de l’absence éventuelle de réponses aux sollicitations numériques.
Hubert Guillaud le rappelle en chaque chapitre à travers des exemples concrets : les algorithmes trient et étiquettent en se basant sur des critères prédéterminés, qui peuvent sembler neutres mais perpétuent en réalité des inégalités existantes. Il s’élève contre les pratiques de scoring, diffuses et disséminées en toutes finalités algorithmiques, excluant selon des paramètres inaccessibles et injustifiés. Pour de bien piètres résultats.
Rien à craindre ? Vraiment ?
Les décisions automatisées façonnent maintenant nos rapports au réel. Naïfs qui l’ignoreraient encore. Imprudents même. Un socle d’ignorance sur lequel s’appuie le pouvoir pour développer de telles stratégies de façon masquée. Dans les champs du social, du privé au public, de la banque à la CAF, les systèmes de prise de décision automatisée (ADM, pour automated decision-making) sont partout défaillants. Des systèmes qui se généralisent à vitesse grand V, dans la plus grande opacité. Sans les obligations de transparence qui en incombent pourtant.
Outre qu’ils ne soient pas pertinents, l’incrédulité gagne encore la majorité que les calculs puissent parfois être faux. Compte tenu des choix administratifs, des décisions unilatérales qui en résultent, il est d’importance de vérifier ce constat éclairé dans le livre.
Bienvenue dans une vie kafkaïenne à laquelle nous sommes tous promis. Car les recours sont d’autant moins possibles que la numérisation est galopante, que les effectifs de personnels se réduisent de manière proportionnelle. Sur la base d’efficacité et productivités forcément améliorées. Les vies rendues difficiles, brisées, sont invisibilisées derrière les reporting positifs délivrés par les systèmes automatisés eux-mêmes.
« Le numérique fournit les outils pour rendre effectives ces rationalisations budgétaires : partout, il vise à traiter plus de bénéficiaires avec moins de personnels, plus de prestations avec moins de moyens, plus d’administrés avec moins d’espaces d’accueil du public. Les calculs appliqués à tous les champs de la société ne sont pas neutres. Les algorithmes sont des opinions encapsulées dans du code » (extrait de Les algorithmes contre la société)
Tenez. Depuis janvier 2025, l’ensemble des bénéficiaires du RSA sont automatiquement inscrits auprès de France Travail. Au moins 1,8 millions de personnes de plus doivent être enregistrées en quelques mois. Avec les demandeurs d’emploi, les conseillers se retrouvent avec un nombre pléthorique de dossiers, soit parfois plus de 800 personnes. Les délais ne manqueront pas de s’allonger, les plages de rendez-vous pas accessibles avant des semaines. Les algorithmes et les IA sont censés prendre le relai. Carrément prendre la main en fait sur les dossiers.
« Le déploiement des IA nous expose à la construction d’un ‘service public artificiel’ où la modernisation conduit à la perte de compétences des agents et à la dégradation des services » (extrait de Les algorithmes contre la société)
Pourquoi une telle course en avant ? La loi de Gabor énonce que ‘tout ce qui est techniquement possible sera nécessairement réalisé, que cette réalisation soit jugée normalement bonne ou condamnable’. Nonobstant les intérêts corporatistes et de pouvoir inhérents à ces finalités, la mise en réseau de l’ensemble des secteurs de la ‘société technicienne’ est l’un des fruits de la prépondérance du numérique. Une ‘société technicienne’ toujours plus puissante et plus rapide. Or, il y a toujours un coût sociétal à payer pour le moindre progrès technique : la complexité du système technicien (algorithmique en ce cas d’espèce) est telle que la prévisibilité de tout en tout le temps est vitale, sous peine de catastrophe majeure. La moindre erreur de prévision s’avère désastreuse.
Dans cette idée de catastrophe repoussée mais inéluctable, Hubert Guillaud relève trois problèmes récurrents dans la droite ligne de la pensée ellulienne : les erreurs ne sont pas un problème pour les structures qui calculent, les recours sont rendus plus compliqués, l’interconnexion des systèmes crée des boucles de défaillances dont les effets s’amplifient très rapidement.
Toute la contradiction entre la complexité et la puissance des œuvres techniciennes et la vulnérabilité de l’être humain qui les a produites s’affiche alors avec plus d’évidences que les résultats algorithmiques enfantés par des codes abscons. Günther Anders appelait la ‘diskrepanz’ cette contradiction insurmontable, source de ‘honte prométhéenne’, ce décalage entre les rythmes humains et ceux des dispositifs techniques.
Donc, déplorons qu’aucune retenue ne perle dans cet élan numérique. C’est un puissant mouvement indéfiniment expansif qui est à l’œuvre, que les révélations, les digues juridiques partielles n’atténuent pas ; au contraire, le mouvement s’amplifie pour déterminer la marche du monde, les conditions de son ‘bon’ fonctionnement, largement idéologisé. Aucun doute perceptible dans les choix politiques par ceux qui les opèrent. Apparemment, aucune abstention ne gagne devant de tels risques catastrophiques.
Il ne faudra sans doute pas se satisfaire d’une protection légale asymétrique et insatisfaisante, d’une administration indépendante débordée, compte tenu des forces en présence. La transparence des calculs doit être une priorité pour dévoiler et corriger leurs défaillances. En attendant, faute de garde-fous, d’obligations par la loi, il faut s’en remettre aux enquêtes des militants, des chercheurs, des journalistes pour mettre en lumière les dysfonctionnements des décisions automatisées.
Le panorama dressé par Hubert Guillaud des effets produits par les systèmes algorithmiques déployés laisse pourtant déjà entrevoir l’indubitable danger. Sous prétexte de fluidification et d’efficience, la société se fait atteinte de cécité, les agents humains se robotisent, la démocratie se fascise. La morale, la justice et l’éthique sont des paramètres subalternes des politiques publiques, et l’atomisation sociale de performer les attentes néolibérales d’un monde individualiste.
Le choix (non) cornélien
La découverte de ce déploiement des IA aura peut-être ébahi ou effaré certains. Le livre d’Hubert Guillaud permet de prendre conscience de sa prééminence dans le quotidien de nos vies en faisant fi des évaluations ou de décisions librement consenties, dévoile les soubassements et l’intentionnalité cachée derrière ce progrès numérique. Le traitement ultra-rapide de milliards de données que permet les IA renforce les possibilités de surveillance et de contrôle des populations, pire, attente au devenir de chaque existence.
Les algorithmes imposent une instauration d’un rapport au réel placé sous le sceau de la puissance objectivante, par les mathématiques et les nombres. L’invention des mathématiques a permis de percevoir les phénomènes sous la plus exacte précision. Les algorithmes fonctionnent selon ces mêmes grilles d’intelligibilité supposées rationnelles et fiables. Cette nouvelle raison de rationalité et de quantification intégrale est une puissance universelle imposée, sans aucun débat, sans possibilité d’une critique. Les algorithmes et les IA portent la promesse d’une maitrise pleine et entière, selon une vision toute hégélienne : ‘tout ce qui est réel est rationnel et tout ce qui est rationnel est réel’.
Alors les IA peuvent se permettre tout et partout. Vérifier que les prestations sociales sont dûment attribuées, suggérer des cibles pour les armées, détecter dans l’espace urbain des comportements perçus comme suspects ou de pousser à la consommation via des publicités ciblées. Au mieux une économie de la surveillance, ou encore une forme d’homogénéisation des comportements. Au pire, la promesse d’un monde efficace, froid et insensible, univoque, libéral, compétitif et sécuritaire : un fascisme nouveau.
« Une approche antifasciste conséquente de l’IA doit donc comprendre qu’elle n’est pas seulement dangereuse parce qu’elle peut être utilisée par des régimes autoritaires, mais parce qu’elle apporte des ‘solutions fascistes aux problèmes sociaux’, même dans les régimes démocratiques » (extrait de Les algorithmes contre la société)
Comment en est-on arrivé à céder ce pouvoir totalisant sur les actions individuelles et collectives ? Cette rationalisation universelle rejetant toute espèce d’élément sensuel ou émotionnel, les êtres étant soumis aux seuls principes binaires, selon un processus normatif inéluctable.
Cette technique ignorée, ces algorithmes et ces IA non considérés dans leurs impacts sur chacun, recouvrent d’une apparence de liberté et de choix une réalité devenue chiffrée, soigneusement calculée. Cette réalité satisfait au premier chef les pouvoirs accaparés, les intérêts de groupes économiques.
Jusqu’à quand et jusqu’où allons-nous accepter que quelques milliers de personnes dans le monde infléchissent le cours individuel et collectif de nos existences, sans que des oppositions, des contre-pouvoirs ne se dressent ? Tel est l’enjeu politique, éthique et peut-être même civilisationnel majeur de cet instant. Le système ne s’autorégulera pas, ne s’autocorrigera pas. Il en est incapable.
Ce n’est pas seulement la décision humaine que nous déléguons progressivement à des systèmes automatisés, c’est une large part de notre perception vouée à être ordonnée par des algorithmes au service d’intérêts personnels supérieurs, ceux des prophètes de l’IA que Thibault Prévost aura également mis en lumière : il y est question de libertarianisme, de transhumanisme, de techno-pouvoir, de fascisme.
Le néologisme ‘vectofascisme’ est avancé, désignant une forme contemporaine de fascisme qui s’adapte aux moyens de communication et aux structures sociales de l’ère numérique, caractérisée par la vectorisation (direction, intensité, propagation) de l’information et du pouvoir à l’ère des IA.
« Le vectofascisme désigne une forme politique contemporaine qui adapte les mécanismes fondamentaux du fascisme historique aux structures technologiques, communicationnelles et sociales de l’ère numérique. Il se définit précisément comme un système politique caractérisé par l’instrumentalisation algorithmique des flux d’information et des espaces numériques pour produire et orienter des affects collectifs, principalement la peur et le ressentiment, au service d’un projet de pouvoir autoritaire. Il se distingue par (1) l’exploitation stratégique des propriétés vectorielles de l’information numérique (direction, magnitude, propagation), (2) la manipulation systématique de l’espace des possibles et des contrefactuels pour fragmenter la réalité commune, (3) la production statistiquement optimisée de polarisations sociales et identitaires et (4) la personnalisation algorithmique des trajectoires de radicalisation dans des espaces latents de haute dimensionnalité. Contrairement au fascisme historique, centré sur la mobilisation physique des masses et l’occupation matérielle de l’espace public, le vectofascisme opère principalement par la reconfiguration de l’architecture informationnelle et attentionnelle. Cependant, il repose fondamentalement sur une mobilisation matérielle d’un autre ordre : l’extraction intensive de ressources énergétiques et minérales (terres rares, lithium, cobalt, etc.) nécessaires au fonctionnement des infrastructures numériques qui le soutiennent. Cette extraction, souvent délocalisée et invisibilisée, constitue la base matérielle indispensable de la superstructure informationnelle, liant le vectofascisme à des formes spécifiques d’exploitation environnementale et géopolitique qui alimentent les machines computationnelles au cœur de son fonctionnement. », selon l’artiste franco-canadien Gregory Chatonsky (cité par Hubert Guillaud dans son média dédié à la compréhension de l’impact social de la tech)
Alors, comment se sortir de cette reconfiguration du monde, de cette puissance de structuration des sociétés qui produit des effets de gouvernementalité ? Selon Hubert Guillaud, des solutions passeraient par une transparence et un accès exhaustifs, l’édiction de chartes, la mise en place de comités d’éthiques, des règles d’exclusion ou d’interdiction plus strictes, un renforcement du droit et de la régulation.
« Pas de calcul du social sans accès social à ce calcul. Ce devrait être une règle fondamentale. Ce n’est pas tant la transparence que nous devons exiger que l’ouverture, l’accès aux systèmes et la protection qui l’accompagne. […] Les calculs du social doivent n’utiliser que peu de données, doivent rester compréhensibles, transparents, vérifiables et surtout opposables… Collecter peu de données cause moins de problèmes de vie privée, moins de problèmes légaux comme éthiques… et moins de discriminations. […] A mesure qu’ils se répandent, à mesure qu’ils accèdent à de plus en plus de données, les risques de défaillances des calculs s’accumulent. Derrière ces défaillances, c’est la question même de la justice qui est en cause. On ne peut pas accepter que les banques ferment chaque année des centaines de milliers de comptes bancaires, quand seulement un millier de personnes sont condamnées. On ne peut pas accepter que la CAF détermine qu’il y aurait des centaines de milliers de fraudeurs, quand dans les faits, très peu sont condamnés pour fraude. La justice nécessite que les calculs du social soient raccords avec la réalité. Nous n’y sommes pas. » (extrait de Les algorithmes contre la société)
Pourquoi pas. Mais pour certains groupes et penseurs, dans la droite ligne ellulienne qui veut que la technique n’est jamais neutre, il n’y a pas de bon usage exclusif possible de l’IA : ce n’est pas un nouvel outil, mais l’amélioration d’un système qui cherche à se perpétuer.
Les IA peuvent alors être considérés comme un pharmakon, à la fois remède et poison. Si bien que leurs aménagements, leurs évolutions éthiques, etc. ne changeraient rien au stratagème qu’elles renferment potentiellement par le fait des intérêts des décideurs au pouvoir. Ces derniers s’assurant sans discontinuer de l’absence d’instanciation des choix moraux qu’ils opèrent à travers les IA, sacralisant d’autant les résultats qu’elles débitent.
Aussi, les aménagements ne sont pas simples à imposer aux forces constituées. Car le techno-pouvoir méprise le pouvoir politique, démocratique, considérant tout encadrement ou restriction de son champ d’initiative comme un abus, selon l’esprit libertarien qu’il emprunte, ne connaissant aucune limite pour transformer le monde, instaurer de nouveaux modes d’existence, de nouveaux comportements, de nouvelles structures relationnelles… La tentation de la déconnexion apparaît comme une réponse intuitive, voire carrément l’interdiction des IA comme le prône l’AFCIA. Avec quelle efficacité politique et selon quelles modalités pratiques et logistiques ? Cette pensée de la rupture, globale et coordonnée, serait la seule perspective pour faire face à l’accélérationnisme technophile. Un rapport de force est nécessaire et nous devons en appeler à une ‘divergence volontaire’.
Les risques et conséquences sont encourus, cernés. Est-il encore temps d’ailleurs de réagir, cependant qu’aucune action n’a été entreprise lors de la mise en place des systèmes algorithmiques ? Alors quoi, laissez le système algorithmique s’effondrer de lui-même ? De cette ‘haute fiabilité’, pourrait germer une catastrophe. Rien de moins que ce que le système technique peut engendrer selon Jacques Ellul, l’autoaccroissement ouvrant potentialité de catastrophe suite à une défaillance soudaine.
En attendant, jusqu’à maintenant et encore pour quelques années, cette immaîtrise de cette technologie n’inquiétera pas les gouvernements en charge de valider tacitement ou légalement son déploiement en toutes sphères sociales. C’est que leurs position et situation ne les exposeraient qu’en dernier. Rien à craindre des effets de surface. Quant à considérer ce que les IA engendrent d’effets profonds à long terme, leurs conséquences irrémédiables…
Mais il n’est peut-être pas raisonnable de penser que les citoyens, les individus, tolèreront longtemps cette asymétrie, soit cette visibilité parfaite de nos données, leur accessibilité et utilisation sans limite, et cette opacité totale des systèmes automatisés les exposants, les triant, rendant leur vie liée et dépendante à des décisions irréfutables. La complexité d’une décision prise par l’IA rend le processus totalement insondable pour l’intelligence humaine. De quoi rendre rapidement insupportable ces outils déresponsabilisant, par la distanciation interhumaine, interindividuelle, interpersonnelle qu’elle provoque également. Mais la réaction à cette inacceptabilité sociale ne serait-elle alors pas trop tardive face à un système automatisé devenu omnipotent ?
« A mesure que la société et les problèmes auxquels elle devra faire face deviendront de plus en plus complexes, et les machines de plus en plus intelligentes, les gens leur laisseront prendre la plupart des décisions simplement parce que ces décisions donneront de meilleurs résultats que celles prises par les hommes. Finalement un stade sera peut-être atteint où les décisions nécessaires à la bonne marche du système seront si complexes que les hommes seront incapables de les prendre intelligemment. A ce stade, les machines seront effectivement au pouvoir. Les gens ne pourront plus les débrancher, parce qu’ils en seront devenus tellement dépendants que cela équivaudrait à un suicide », prédisait le mathématicien Theodore Kaczynski.
Ces outils algorithmiques et ces IA sont d’illusoires objets conviviaux, pour reprendre le concept de convivialité promu par Ivan Illich : les objectifs affichés par les IA sont grandement trompeurs, obscurs, leurs conséquences insondables. Forte du principe d’irrésistibilité de l’efficacité, l’humanité se trouve contrainte de ce saut technologique adémocratique. Cependant qu’aucune connaissance historique approfondie du développement de telles technologies (et de bien d’autres avant) et de leurs impacts en cours et à venir sur nos sociétés n’aient été entreprise d’être élaborée. Tout en disruption et résilience qui ont la faveur des néolibéraux et libertariens, sauter dans le vide en espérant qu’une hypothétique adaptation évolutive spontanée fera son oeuvre durant la chute pour nous doter d’ailes plumeuses.
Derrière ce mirage d’améliorations, l’idée d’une interdiction totale fait/doit faire son chemin.
Lurinas
Lecture
Les algorithmes contre la société, par Hubert Guillaud (édition La Fabrique)
