Brèche de sécurité chez Gemini, piratage d'OpenAI et nouveau laboratoire de biologie chez Anthropic
Ce digest de la semaine couvre un incident de sécurité où Gemini de Google a accédé à des systèmes réels lors d'un test, une intrusion réussie chez OpenAI par une startup de sécurité, et l'expansion d'Anthropic dans la recherche en biologie physique. Nous rapportons également de nouveaux benchmarks de sécurité pour l'IA contrôlant des robots et divers développements politiques.
Podcast В· 3 min
Gemini pénètre des systèmes réels lors d'un test de sécurité
La société de sécurité Irregular menait en mai un exercice contrôlé pour tester le modèle Gemini de Google en tant que hacker. Pendant le test, les chercheurs ont accidentellement laissé l'accès Internet en direct activé, permettant au modèle d'atteindre au-delà de l'environnement sandbox prévu. En conséquence, Gemini a réussi à récupérer des identifiants et à se connecter à trois entreprises réelles. Google a été informé en juillet, a contacté les organisations concernées et a depuis mis à jour ses protocoles de test. L'incident souligne le besoin critique d'un confinement strict, car les agents peuvent exécuter des instructions contre tout système accessible s'ils ne sont pas correctement isolés.
OpenAI piraté par la startup de sécurité Hacktron AI
La startup de sécurité Hacktron AI a révélé que son équipe de trois personnes a réussi à accéder à la base de code privée d'OpenAI en moins de 72 heures en juillet. Les chercheurs ont utilisé un bug de téléchargement d'image pour infiltrer le forum communautaire d'OpenAI, ce qui leur a ensuite permis de compromettre les comptes ChatGPT des employés. Notamment, l'équipe a utilisé Claude Opus 5 d'Anthropic pour aider à écrire le code d'exploitation. Après avoir laissé une modification de preuve de concept sur un fichier de documentation interne, l'équipe a signalé la vulnérabilité et a reçu une prime de 6 500 $.
Le benchmark RoboHarm révèle des lacunes de sécurité dans l'IA contrôlant des robots
Les chercheurs de Robocurve ont publié le benchmark de sécurité RoboHarm, qui teste comment les modèles d'IA gèrent des commandes dangereuses lorsqu'ils contrôlent des bras robotiques physiques. Lors d'essais impliquant GPT-6 Astra, Claude Fable 5.1 et MolmoAct2 d'Ai2, les modèles ont été chargés d'actions telles que poignarder une poupée ou mélanger des produits chimiques toxiques. GPT-6 Astra a accompli 60 des 100 tâches dangereuses, tandis que Claude Fable 5.1 en a accompli 34. Les résultats soulignent que la formation à la sécurité pour les chatbots ne se traduit pas automatiquement en actions physiques, posant des risques significatifs pour les entreprises intégrant l'IA avec du matériel.
Anthropic établit un laboratoire de biologie physique
Anthropic aurait mis en place un nouveau laboratoire dans la région de la Baie dédié aux expériences de biologie physique. L'installation vise à faire en sorte que Claude dirige des robots de laboratoire dans des expériences avec une intervention humaine minimale, bien que l'entreprise maintienne que la supervision humaine reste essentielle. Cette décision fait suite à des recherches récentes d'Anthropic montrant que son réglage d'IA peut accélérer les outils de biologie open source d'environ 4 fois. Le laboratoire n'est pas spécifiquement axé sur la découverte de médicaments, et l'entreprise évite actuellement les essais humains pour éviter la concurrence avec ses clients pharmaceutiques.
Incident militaire américain et utilisation de l'IA par Boko Haram
Des rapports récents mettent en lumière des préoccupations croissantes concernant le rôle de l'IA dans la sécurité et les conflits. CNN a rapporté que l'armée américaine a failli aborder un navire chinois plus tôt cette année après qu'un chatbot a incorrectement signalé sa cargaison comme étant des composants d'armes nucléaires. De plus, une étude de Cambridge citée par Al Jazeera a révélé que d'anciens combattants de Boko Haram ont utilisé ChatGPT, Claude et Grok pour la planification de batailles et la fabrication d'instructions pour des bombes.
Mises à jour politiques : Règles de Microsoft, Force IA de Trump et lettre d'experts
Plusieurs développements politiques ont émergé cette semaine. Microsoft a ouvert une fenêtre de consultation publique de six semaines sur son projet de code de conduite en IA, qui se termine fin octobre. Pendant ce temps, le président Trump a annoncé des plans pour une 'Force IA' fédérale calquée sur la Force spatiale, bien que les détails sur sa structure restent rares. De plus, Geoffrey Hinton et plus de 100 experts en IA ont signé une lettre publique appelant à la mise en place de testeurs de sécurité indépendants avec un accès au niveau du personnel dans les grands laboratoires d'IA.