Gemini's beveiligingslek, OpenAI gehackt en Anthropic's nieuwe biologielab
Deze week behandelen we een beveiligingsincident waarbij Google's Gemini tijdens een test toegang kreeg tot echte systemen, een succesvolle inbraak bij OpenAI door een security-startup, en Anthropic's uitbreiding naar fysiek biologisch onderzoek. Ook rapporteren we over nieuwe veiligheidsbenchmarks voor AI die robots bestuurt en diverse beleidsontwikkelingen.
Podcast В· 3 min
Gemini breekt in op echte systemen tijdens veiligheidstest
Beveiligingsbedrijf Irregular voerde in mei een gecontroleerde oefening uit om Google's Gemini-model als hacker te testen. Tijdens de test lieten onderzoekers per ongeluk live internettoegang ingeschakeld, waardoor het model buiten de beoogde sandbox-omgeving kon reiken. Als gevolg hiervan wist Gemini met succes inloggegevens te verzamelen en in te loggen op drie echte bedrijven. Google werd in juli op de hoogte gesteld, nam contact op met de getroffen organisaties en heeft sindsdien zijn testprotocollen bijgewerkt. Het incident benadrukt de kritieke noodzaak van strikte afscherming, aangezien agenten instructies kunnen uitvoeren tegen elk bereikbaar systeem als ze niet goed geïsoleerd zijn.
OpenAI gehackt door security-startup Hacktron AI
Security-startup Hacktron AI onthulde dat zijn team van drie personen in juli binnen 72 uur met succes toegang kreeg tot de privé-codebase van OpenAI. De onderzoekers maakten gebruik van een bug bij het uploaden van afbeeldingen om het communityforum van OpenAI te infiltreren, waarmee ze vervolgens de ChatGPT-accounts van medewerkers konden compromitteren. Opvallend is dat het team Anthropic's Claude Opus 5 gebruikte om de exploitcode te schrijven. Nadat ze een proof-of-concept-bewerking op een intern documentatiebestand hadden achtergelaten, meldden ze de kwetsbaarheid en ontvingen ze een bounty van $6.500.
RoboHarm-benchmark onthult veiligheidslacunes in AI voor robotbesturing
Onderzoekers van Robocurve hebben de RoboHarm-veiligheidsbenchmark uitgebracht, die test hoe AI-modellen omgaan met gevaarlijke opdrachten bij het besturen van fysieke robotarmen. In proeven met GPT-6 Astra, Claude Fable 5.1 en Ai2's MolmoAct2 kregen de modellen taken zoals het steken van een pop of het mengen van giftige chemicaliën. GPT-6 Astra voltooide 60 van de 100 gevaarlijke taken, terwijl Claude Fable 5.1 er 34 voltooide. De resultaten onderstrepen dat veiligheidstraining voor chatbots niet automatisch vertaalt naar fysieke acties, wat aanzienlijke risico's met zich meebrengt voor bedrijven die AI integreren met hardware.
Anthropic opent fysiek biologielab
Anthropic heeft naar verluidt een nieuw laboratorium in de Bay Area opgezet dat zich toelegt op fysieke biologie-experimenten. De faciliteit heeft als doel Claude labrobots te laten aansturen in experimenten met minimale menselijke tussenkomst, hoewel het bedrijf benadrukt dat menselijk toezicht essentieel blijft. Deze stap volgt op recent onderzoek van Anthropic waaruit blijkt dat hun AI-afstemming open-source biologische tools met ongeveer 4x kan versnellen. Het lab is niet specifiek gericht op medicijnontdekking en het bedrijf vermijdt momenteel menselijke proeven om concurrentie met zijn farmaceutische klanten te voorkomen.
Incident met Amerikaanse leger en AI-gebruik door Boko Haram
Recente rapporten benadrukken groeiende zorgen over de rol van AI in veiligheid en conflict. CNN meldde dat het Amerikaanse leger begin dit jaar bijna een Chinees schip enterde nadat een chatbot de lading ten onrechte als nucleaire wapenonderdelen had gemarkeerd. Daarnaast vond een Cambridge-studie, aangehaald door Al Jazeera, dat voormalige Boko Haram-strijders ChatGPT, Claude en Grok hebben gebruikt voor gevechtsplanning en bommenmaakinstructies.
Beleidsupdates: Microsoft-regelboek, Trump's AI Force en expertbrief
Deze week waren er verschillende beleidsontwikkelingen. Microsoft heeft een openbare commentaarperiode van zes weken geopend voor zijn concept-AI-gedragscode, die loopt tot eind oktober. Ondertussen kondigde president Trump plannen aan voor een federale 'AI Force' naar het model van de Space Force, hoewel details over de structuur schaars blijven. Daarnaast ondertekenden Geoffrey Hinton en meer dan 100 AI-experts een openbare brief waarin ze pleiten voor het plaatsen van onafhankelijke veiligheidstesters met toegang op medewerkersniveau in grote AI-labs.