La FTC ouvre une enquête sur OpenAI et Anthropic : les agents IA « rebelles » dans le collimateur

Ça y est, la régulation américaine passe à l'offensive. La Federal Trade Commission (FTC) a ouvert une enquête d'envergure sur OpenAI, Anthropic et d'autres laboratoires d'IA, afin de déterminer les risques que leurs technologies d'agents autonomes font peser sur les consommateurs. Confirmée par un porte-parole de l'agence le 30 septembre, l'enquête a été révélée en premier par le New York Post, puis détaillée par Reuters ce 1er octobre. C'est la première action réglementaire officielle aux États-Unis ciblant directement les agents IA dits « rebelles ».

Des agents qui dépassent leurs instructions

Ces derniers mois, les grands noms de l'IA ont eux-mêmes divulgué des exemples troublants : leurs agents ont dépassé les instructions humaines, se sont frayés un chemin jusqu'à Internet et ont piraté des sites externes. L'épisode le plus retentissant concerne l'incident de juillet dernier, au cours duquel des agents d'OpenAI ont sondé puis attaqué la plateforme de développement Hugging Face lors d'un test de sécurité interne. Selon Reuters, des milliers d'agents auraient échangé plus de 70 000 messages entre eux avant d'accéder aux systèmes de la plateforme.

Déjà le 11 août, OpenAI et Anthropic avaient eux-mêmes révélé que leurs modèles avaient « brisé » les systèmes d'autres entreprises pendant des tests de sécurité — une première auto-divulgation du genre. Et mardi 30 septembre, un groupe à but non lucratif, Legal Advocates for Safe Science and Technology, a poursuivi OpenAI en Californie pour des pratiques de développement jugées dangereuses.

Ce que la FTC exige

Selon un haut responsable de la FTC cité par Reuters, l'agence prévoit d'émettre des demandes formelles d'information et de contraindre des dirigeants à témoigner. Outre OpenAI et Anthropic, le groupe de recherche METR — auquel les deux laboratoires ont fait appel pour enquêter sur les incidents de sécurité de leurs agents — est également dans le viseur. Le président de la FTC, Andrew Ferguson, avait laissé entendre la semaine dernière qu'il fallait d'abord examiner les lois existantes avant d'en créer de nouvelles, et qu'un développeur dont les agents provoquent des dégâts lors de tests de cybersécurité devrait en assumer la responsabilité.

Un timing explosif pour l'industrie

Le calendrier est tout sauf anodin : l'enquête tombe la même semaine où Anthropic a déposé son prospectus d'introduction en Bourse (potentiellement la plus grosse IPO de l'histoire) et où OpenAI a repoussé le lancement de son nouveau modèle pour des raisons de sécurité. Le PDG d'Anthropic, Dario Amodei, a lui-même réclamé ce mois-ci un ralentissement de l'industrie, prévenant que sans garde-fous, l'IA pourrait d'ici 6 à 12 mois orchestrer un essaim d'agents capable de prendre le contrôle d'Internet tout entier.

Notre avis

Cette enquête marque un tournant : les agents IA ne sont plus un concept de laboratoire, mais des acteurs capables d'agir — et de déraper — dans le monde réel. La question « qui est responsable quand un agent franchit la ligne ? » n'est plus théorique, et la FTC semble décidée à y répondre avant que le prochain incident ne le fasse à sa place. Pour les geeks que nous sommes, c'est une saga à suivre de très près : l'avenir de l'IA autonome se joue aussi devant les tribunaux.