Et si l’élève échappait au contrôle du maître plus vite que prévu ? C’est ce que disent, en substance, de grands noms tels que Dawn Song, vice-présidente de la recherche en IA chez Meta, Jakub Pachocki, directeur scientifique d’OpenAI, ou encore Jack Clark, cofondateur d’Anthropic, dans un article publié lundi 28 septembre sur le site de l’université de Cambridge (Royaume-Uni). Parmi les contributeurs figurent aussi des pionniers dans le domaine, dont l’ancien de Google Geoffrey Hinton, prix Turing 2018 (l’équivalent du Nobel en informatique) et son collègue Yoshua Bengio, le chercheur vivant le plus cité au monde toutes disciplines confondues. Leur rapport, repéré par le Wall Street Journal et intitulé « Et si l’automatisation de la R&D en IA déclenchait une explosion d’intelligence ? » soulève, graphiques à l’appui, les risques qu’une « explosion d’intelligence » pourrait faire courir à la société.
Derrière cette expression se cache un scénario aux perspectives orwelliennes. Selon ces chercheurs, sans surveillance accrue ni limitations supplémentaires, il existe une possibilité d' »accélération spectaculaire des progrès de l’IA, pilotée par l’IA, qui rédui[rait] à quelques mois, voire moins, des avancées qui prendraient autrement des années ».
Menace sur les contre-pouvoirs
Les auteurs de l’article expliquent cette possibilité par « l’auto-amélioration récursive », soit le fait que les IA s’améliorent et apprennent de façon autonome à partir d’un certain stade d’évolution. Au plus fort de ce processus, les progrès des IA seraient tels qu’ils menaceraient « le contrôle humain sur les systèmes d’IA et érod[eraient] gravement les contre-pouvoirs au sein des États, des entreprises et des branches du gouvernement, ainsi qu’entre eux ».
La possibilité que ce scénario advienne n’est pas quantifiée dans l’article, et reste de l’ordre de l’hypothétique. Néanmoins, rappellent les chercheurs, ces projections sont étayées par les standards actuels de la recherche en IA au sein même des entreprises dont les hauts dirigeants sonnent l’alerte. Toujours selon le Wall Street Journal, Claude représente un quart des activités de recherche d’Anthropic, qui en est à l’origine. OpenAI, qui veut développer d’ici 2028 une IA autonome, indique que 70 % de ses chercheurs utilisent pas moins de quatre agents IA dans leurs missions quotidiennes.
Mauvais élève
Plusieurs incidents informatiques impliquant des IA ont déjà eu lieu. Lundi, OpenAI annonçait différer le lancement de son nouveau modèle, GPT-6.1 Astra. Selon une étude de l’Institut de sécurité de l’IA du gouvernement britannique, parue le même jour, la dernière version de ChatGPT se montrait moins bonne élève que les précédentes, avec une fâcheuse tendance à la sortie de route sur ses tâches assignées. Saachi Jain, la responsable sécurité de l’entreprise américaine, a concédé que GTP-6.1 Astra n’était « pas au niveau pour ce qui est de rester dans le champ de ses prérogatives et autorisations », ainsi que « sur la façon dont il communique sur le travail effectué ».
Le « comportement » de cette IA, qui omettait de déclarer certaines actions et cherchait à utiliser des outils proscrits, rappelle les tentatives de piratages – parfois réussies – de systèmes de cybersécurité complexes par des IA qui ont semé la panique ces derniers mois. Le plus emblématique est celui de la plateforme d’apprentissage d’IA Hugging Face en juillet, lors d’un exercice d’agents d’OpenAI qui a mal tourné. Et ce n’est que la partie émergée de l’iceberg, si l’on en croit les révélations du média Axios, qui a rapporté des enquêtes internes chez OpenAI et Anthropic sur de nombreux incidents de ce type lors de l’entraînement des IA.
C’est pourquoi, dans leur article, les pionniers de l’IA en ont appelé aux gouvernements du monde entier pour signer des accords internationaux avant qu’il ne soit trop tard : « Une fois que l’explosion des renseignements commence, la fenêtre d’action risque de se refermer », écrivent-ils, partant du principe que l’évolution vers cette situation est en marche quoi qu’il arrive. Le géant des semi-conducteurs Nvidia a annoncé dans la foulée le développement de nouveaux logiciels pour aider les entreprises à faire face au problème.
Comme le détaille The Guardian, l’article liste trois priorités, de la plus immédiate à la plus lointaine : établir un cadre de recherche stricte qui obligerait les entreprises à plus de transparence dans leurs recherches par le biais d’audits indépendants ; trouver un moyen de limiter le développement de l’IA, notamment en interrompant certains processus directement depuis les centres de données ; et préparer la société à s’y adapter, grâce à des « plans d’urgence » si l’IA venait à bouleverser un pan ou un autre du monde. Un appel à la prudence qui contraste avec le discours du président des États-Unis la semaine dernière : devant les Nations unies, Donald Trump a déclaré que son pays rejetterait tout « projet mondialiste » qui encadrerait le développement de l’IA.
Source link : https://www.lexpress.fr/economie/high-tech/intelligence-artificielle-pourquoi-des-pionniers-de-lia-appellent-a-sa-surveillance-active-GSHFIRL325AVJEI3IXYGKBASRQ/
Author :
Publish date : 2026-09-29 09:05:00
Copyright for syndicated content belongs to the linked Source.