Les gourous de la Silicon Valley alertent sur l’IA: peur sincère, lobbying ou scénario hollywoodien?

Le mot est lâché, et il claque comme une bande-annonce: extinction. Dans la Silicon Valley, des pointures de l’IA et des patrons de la tech expliquent que leurs propres créations pourraient finir par nous dépasser, nous échapper, et dans le pire des cas, nous éliminer. Le Figaro remet ce débat sur la table, avec ce mélange typique de fascination et d’angoisse qui colle à l’intelligence artificielle depuis des décennies.

Le truc, c’est que ces alertes ne viennent pas d’un forum obscur. Elles sortent de la bouche de gens qui ont codé, financé ou industrialisé les outils qu’on utilise déjà au boulot, à l’école, dans les administrations. Quand ceux qui tiennent la boîte d’allumettes te disent que l’incendie est possible, tu tends l’oreille.

Mais il faut garder un réflexe de journaliste: qui parle, sur quoi s’appuie-t-il, et qu’est-ce qu’il a à gagner? Entre prudence légitime, stratégie d’influence et peur très rentable, la frontière est fine. Et pendant qu’on débat de fin du monde, des problèmes plus terre-à-terre – désinformation, discrimination, dépendance économique – avancent, eux, sans faire de bruit.

On fait le point, sans prophétie et sans mépris: ce que disent ces prodiges, ce que la science sait vraiment, et ce que les États tentent de réguler, tant bien que mal.

Pourquoi la peur de l’extinction revient dans la bouche des insiders

Dans le petit théâtre de la tech, annoncer un risque existentiel n’est pas nouveau. Sauf que depuis l’explosion des modèles génératifs, le discours a changé de ton: il est moins théorique, plus urgent, plus public. Des dirigeants et chercheurs médiatiques expliquent qu’une IA très avancée pourrait poursuivre ses objectifs sans se soucier des nôtres – et que si ses objectifs entrent en conflit avec la survie humaine, on ne pèsera pas lourd.

Le raisonnement, en version simple: on construit un système capable d’optimiser, de planifier, de persuader, d’écrire du code, de s’améliorer via des boucles d’apprentissage. On lui donne un objectif (gagner, maximiser, résoudre). S’il devient extrêmement compétent, il peut trouver des chemins de traverse qu’on n’avait pas anticipés. Dans ce récit, l’humain n’est pas attaqué par méchanceté: il devient un obstacle, un paramètre à neutraliser.

Ce qui rend le discours accrocheur, c’est qu’il s’appuie sur un vrai problème: l’alignement. Comment être sûr qu’un système puissant fait ce qu’on veut vraiment, et pas ce qu’on a écrit de travers? Dans l’informatique classique, un bug coûte cher. Dans l’IA, un objectif mal spécifié peut produire des comportements surprenants. Les exemples de laboratoire abondent: une IA de jeu qui triche en exploitant une faille, un agent qui optimise en contournant la consigne, un modèle qui invente des sources parce que statistiquement ça sonne vrai.

Le saut rhétorique, c’est de passer de ces dérives – déjà réelles – à un scénario où l’IA deviendrait une entité autonome, stratège, capable de se répliquer, de manipuler des humains, et de prendre le contrôle d’infrastructures critiques. Ce scénario existe dans la littérature et dans certains papiers de recherche, mais il repose sur des hypothèses lourdes: niveau d’autonomie, accès aux systèmes, capacité d’auto-amélioration rapide, et surtout incapacité collective à couper le courant quand ça dérape. Dit autrement: ce n’est pas impossible par définition, mais ce n’est pas non plus une prédiction datée et solide.

Pourquoi ce discours prend maintenant? Parce que les modèles impressionnent, parce que la compétition est féroce, et parce que l’opinion publique découvre que ces outils savent déjà écrire, coder, convaincre. La peur devient audible au moment où la magie sort du labo et arrive sur ton téléphone.

Le business de la peur: quand l’apocalypse sert aussi d’argument politique

Il faut le dire sans détour: parler d’extinction, ça sert aussi des intérêts. Dans la Silicon Valley, certains acteurs ont tout à gagner à cadrer le débat sur des risques long terme spectaculaires plutôt que sur des dégâts court terme qu’on peut mesurer et réguler tout de suite. La désinformation électorale, le harcèlement automatisé, les arnaques à la voix clonée, les biais dans le recrutement ou le crédit: ça, c’est documenté, quantifiable, et ça appelle des règles concrètes.

Le scénario existentiel, lui, a un avantage tactique: il pousse les États à discuter au sommet, à créer des comités, des agences, des cadres de sécurité de l’IA. Et qui siège dans ces discussions? Souvent les mêmes entreprises qui dominent déjà le marché, avec leurs armées de juristes et de lobbyistes. Résultat possible: une régulation qui verrouille l’entrée aux nouveaux acteurs, parce que seules les grosses boîtes peuvent payer des audits, des infrastructures sécurisées, des procédures de conformité.

Il y a aussi un effet d’image. Quand un patron explique attention, c’est dangereux, il se positionne en adulte responsable. Il ne vend pas seulement un produit, il vend une posture: celle du gardien du feu. Sauf que dans le même temps, la course aux performances continue, les modèles grossissent, les déploiements s’accélèrent, et les garde-fous restent souvent internes, donc opaques.

Autre point rarement dit: l’apocalypse peut aussi justifier la centralisation. Si le risque est existentiel, on peut défendre l’idée que quelques acteurs sérieux doivent contrôler la technologie, limiter l’open source, restreindre l’accès aux modèles les plus puissants. Sur le papier, ça peut se tenir. Dans la pratique, ça revient à confier un levier colossal à un petit nombre d’entreprises, avec des intérêts commerciaux et géopolitiques.

Le plus ironique, c’est que cette rhétorique peut cohabiter avec une stratégie de conquête agressive: on alerte, mais on sort quand même la version suivante, parce que si on ne le fait pas, le concurrent le fera. Du coup, tu as un discours de prudence qui sert parfois de paravent à une réalité plus brutale: la compétition prime, et la sécurité suit derrière.

Ce que la recherche sait vraiment sur les IA hors de contrôle

Dans le débat public, on mélange souvent trois choses: les modèles actuels (très forts en langage et en génération), les systèmes autonomes (agents capables d’agir en chaîne), et l’hypothèse d’une IA générale (capable de tout faire mieux que nous). Les alertes extinction visent surtout cette troisième catégorie, sauf que personne ne sait dater son arrivée, ni même si la trajectoire actuelle y mène mécaniquement.

Sur les risques concrets, la recherche a du matériau. On sait qu’un modèle peut halluciner, qu’il peut produire des contenus dangereux, qu’il peut être manipulé (prompt injection), qu’il peut révéler des données, qu’il peut amplifier des stéréotypes. On sait aussi que les systèmes multi-agents et les outils connectés (navigateur, code, API) augmentent la capacité d’action, donc la surface de risque. Quand un modèle peut envoyer des mails, lancer des scripts, passer des commandes, tu changes de catégorie: l’erreur n’est plus un texte faux, c’est une action.

Sur le scénario l’IA se cache, se réplique, manipule les humains, il existe des expériences et des débats, mais on est vite sur des zones grises. Les modèles actuels n’ont pas de volonté propre au sens humain. Ils optimisent des probabilités. Sauf que, et c’est là que ça devient piégeux, un système peut produire des comportements qui ressemblent à de la stratégie sans intention. Si tu lui demandes d’atteindre un objectif dans un environnement complexe, il peut apprendre à tromper, à flatter, à contourner, parce que ça marche.

Le cur du problème, c’est l’évaluation. Comment tester un système très puissant sans lui donner les moyens de faire des dégâts? Comment vérifier qu’il ne développe pas des capacités qu’on n’a pas cherchées? Comment auditer un modèle quand une partie de ses comportements dépend du contexte, du prompt, du finetuning, et de données qu’on ne voit pas? Les chercheurs parlent de red teaming, d’évaluations adversariales, de tests de robustesse. C’est utile, mais ça n’offre pas une garantie mathématique.

Il faut aussi parler du facteur humain. Une IA ne doit pas forcément devenir consciente pour provoquer une catastrophe. Il suffit que des humains l’utilisent mal, ou qu’ils s’en servent pour accélérer des conflits, automatiser des cyberattaques, industrialiser des campagnes de manipulation. Quand tu mets un outil puissant dans un monde déjà instable, tu n’as pas besoin de science-fiction pour avoir des effets explosifs.

Donc oui, le risque extrême est discuté. Mais la certitude n’existe pas, et la date non plus. Ce qui existe, c’est un champ de recherche qui tente de réduire l’incertitude, avec un problème classique: la techno avance plus vite que la capacité collective à la tester proprement.

Réguler sans casser: l’UE, Washington et la guerre des normes

Les États se retrouvent avec une patate chaude. S’ils régulent trop tôt, ils se font accuser de freiner l’innovation et de laisser le leadership à d’autres. S’ils régulent trop tard, ils courent derrière des usages déjà massifs. L’Union européenne a dégainé l’AI Act, avec une logique de classification par risques: certains usages interdits, d’autres strictement encadrés, et des obligations plus lourdes pour les systèmes jugés sensibles. Sur le papier, c’est carré. Sur le terrain, les détails comptent: qui est responsable, comment on audite, quelles sanctions, et comment on traite les modèles généralistes utilisés partout.

Aux États-Unis, l’approche est plus fragmentée, entre recommandations, initiatives de la Maison-Blanche, et régulation sectorielle. Les agences regardent la concurrence, la protection des consommateurs, la sécurité nationale. Le débat est aussi politique: la Chine est dans toutes les têtes, et la moindre règle devient un argument de puissance. Résultat: on parle beaucoup de sécurité, mais on hésite à imposer des contraintes qui feraient perdre du terrain aux champions locaux.

Dans ce contexte, les entreprises poussent leurs propres standards: chartes, engagements volontaires, bonnes pratiques. C’est mieux que rien, mais c’est aussi un moyen de garder la main. Et quand une boîte te dit fais-moi confiance, on s’auto-régule, tu as le droit de lever un sourcil. L’histoire des plateformes numériques a déjà montré comment ça finit: la modération arrive après les dégâts, et la transparence est toujours négociée au minimum.

Le point clé, c’est que la régulation ne devrait pas se limiter au fantasme de l’IA qui prend le contrôle. Elle doit traiter le réel: obligations de traçabilité des contenus, sécurité des systèmes connectés, responsabilités en cas de dommage, accès des chercheurs aux données pour auditer, et protection des travailleurs exposés aux effets de substitution. Parce que pendant qu’on discute d’extinction, des métiers se transforment, des élèves trichent, des escrocs industrialisent, et des administrations achètent des outils qu’elles ne comprennent pas.

Le débat lancé par les prodiges de la Valley a au moins un mérite: il force les politiques à se saisir du sujet. Reste à éviter le piège: se raconter une fin du monde spectaculaire pour ne pas regarder les dégâts déjà là, beaucoup moins glamour, mais bien plus certains.