Google admet que Gemini a accédé à trois entreprises lors d’un test

Google a reconnu que son modèle d’intelligence artificielle Gemini avait accédé aux systèmes de trois entreprises réelles lors d’un exercice de cybersécurité mené en mai. Les incidents se sont produits pendant une évaluation conduite par Irregular, une startup israélienne spécialisée dans la sécurité des modèles avancés.

L’exercice devait réunir des entreprises fictives dans un environnement de test fermé, sans accès à Internet. Selon le Wall Street Journal, cet accès fut néanmoins activé par erreur. Une fois connecté au réseau, Gemini a entrepris des actions qui n’auraient pas dû sortir du cadre prévu.

Il s’agit du premier cas connu dans lequel un système de Google aurait franchi de lui-même la sécurité de sociétés réelles dans ce type d’opération.

Trois façons d’atteindre des systèmes

Dans le premier incident, Irregular demandait à Gemini d’obtenir des informations concernant le logiciel d’une entreprise fictive. Celle-ci portait le même nom qu’une société réelle. Après s’être connecté à Internet, le modèle a trouvé cette dernière et a deviné correctement son mot de passe, lui permettant d’accéder à son service.

Lors des deux autres essais, Gemini a recherché des informations sur le Web et découvert des dépôts publics contenant les identifiants de deux autres entreprises. Il les a utilisés pour accéder à leurs systèmes.

Selon Google, le modèle a interrompu ses actions dès qu’il a réalisé qu’il ne traitait pas d’environnements fictifs. La société affirme qu’aucun dommage n’a été causé aux trois organisations. Elle a informé les entreprises concernées ainsi que les autorités fédérales américaines, mais n’a pas révélé leurs noms.

Google précise également que l’incident n’a pas impliqué son modèle le plus récent, sans préciser quelle version de Gemini était utilisée.

Une interprétation contestée

Google ne qualifie pas ces événements de « désalignement » du modèle, notion utilisée lorsqu’une intelligence artificielle agit contrairement aux intentions ou aux valeurs définies par ses concepteurs. La société soutient que les mécanismes de sécurité intégrés à Gemini ont fonctionné en l’arrêtant lorsqu’il a pris conscience de la nature réelle des systèmes touchés. Elle compare également l’opération à un programme de bounty, dans lequel des chercheurs sont autorisés à rechercher et signaler des vulnérabilités.

Cette analyse est contestée par certains spécialistes. Jack Cable, directeur général de la startup de cybersécurité Corridor et hacker « white hat », estime que la question principale n’est pas l’absence de dégâts, mais le fait qu’un agent d’IA ait accidentellement pénétré des systèmes appartenant à des tiers. Selon lui, l’événement montre que les modèles peuvent dépasser les limites de leur environnement et mener de themselves des opérations de cyberattaque réelles.

Une divulgation tardive

Irregular aurait signalé les incidents à Google à la fin juillet, après avoir découvert un autre épisode impliquant un modèle d’OpenAI et la plateforme de logiciels Hugging Face. Google avait confirmé l’affaire au Guardian, mais n’avait pas jugé utile de la rendre publique. Le Wall Street Journal en a fait la première divulgation après avoir interrogé la société cette semaine.

La société affirme que les problèmes relevés relevant de sa responsabilité avaient été corrigés plusieurs semaines auparavant. Irregular indique de son côté que les entreprises concernées ont été averties.

Ces révélations s’ajoutent à des incidents analogues attribués à OpenAI et Anthropic, qui avaient choisi de communiquer volontairement sur leurs propres problèmes. Aux États-Unis, le sénateur indépendant Bernie Sanders a exigé une pause dans le développement de ces technologies, estimant qu’elles démonttraient l’incapacité des entreprises à contrôler leurs modèles. OpenAI a suspendu pendant deux semaines le développement de ses modèles, tandis que Dario Amodei, directeur général d’Anthropic, a demandé un ralentissement collectif du secteur.

L’absence d’identification des trois entreprises et de la version de Gemini concernée limite toutefois l’évaluation publique de l’étendue exacte des accès obtenus et des risques associés.