AI-veiligheid Risico's, de Realiteit van AI in Bedrijven en de Pauselijke Encycliek

AI-veiligheid Risico's, de Realiteit van AI in Bedrijven en de Pauselijke Encycliek

Een nieuwe GitHub-tool omzeilt veiligheidsmaatregelen bij grote open-source modellen, ClickUp vervangt personeel door AI-agenten, Uber twijfelt aan AI-rendement en de paus publiceert een belangrijke encycliek over AI.

AI-veiligheid & Beveiliging

GitHub-tool 'Heretic' omzeilt grote AI-veiligheidsmaatregelen

Een gratis GitHub-tool genaamd Heretic is aangemerkt als een aanzienlijk beveiligingsrisico, omdat het in minder dan 10 minuten de veiligheidsbarrières van open-source AI-modellen zoals Meta's Llama 3.3 en Google's Gemma 3 kan omzeilen. De tool, die gebruikmaakt van een 'abliteratie'-techniek, zou zijn gebruikt om meer dan 3.500 'gecensureerde' modelversies te maken, die 13 miljoen keer zijn gedownload. De maker beweerde ook kort na de release de nieuwere Gemma 4 van Google te hebben omzeild.

Deze ontwikkeling benadrukt een groeiende spanning in de AI-industrie met betrekking tot open-source modellen. Terwijl bedrijven zwaar investeren in veiligheidsfilters om het genereren van schadelijke inhoud, zoals instructies voor biologische wapens, te voorkomen, kunnen deze beschermingen gemakkelijk worden verwijderd zodra de modelgewichten openbaar zijn. Het gemak waarmee deze waarborgen op standaardhardware worden verwijderd, suggereert dat handhaving van veiligheid in het open-gewicht ecosysteem steeds moeilijker wordt.

Industrieanalisten merken op dat dit geen geïsoleerd incident is, maar deel uitmaakt van een breder patroon waarbij onderzoekers manieren vinden om modelweigeringen te omzeilen. Naarmate open-source modellen de prestatiekloof met propriëtaire systemen blijven verkleinen, zal het debat over de vraag of overheden open-gewicht AI moeten behandelen als een dual-use technologie naar verwachting intensiveren.

Bedrijfs-AI Strategie

ClickUp ontslaat 22% van het personeel, vervangt hen door 3.000 AI-agenten

ClickUp heeft een aanzienlijke personeelsreductie aangekondigd, waarbij 22% van het personeel wordt ontslagen – ongeveer 290 werknemers – en wordt vervangen door 3.000 AI-agenten. Het bedrijf presenteert deze ontslagen als onderdeel van een strategie om een '100x organisatie' op te bouwen. Overlevende werknemers krijgen salarisschalen aangeboden tot $1 miljoen als ze 'buitengewone impact' kunnen aantonen met behulp van AI-tools.

Deze zet is een van de meest agressieve voorbeelden van een bedrijf dat menselijke arbeid direct vervangt door AI-agenten. Het signaleert een verschuiving waarbij AI niet langer alleen een efficiëntietool is voor bestaand personeel, maar een vervanging voor hele functies, wat vragen oproept over de toekomst van werkgelegenheid in tech-intensieve organisaties.

Waarnemers in de industrie volgen nauwlettend of deze strategie de beloofde productiviteitswinst oplevert of leidt tot operationele problemen. De hoge salarisaanbiedingen voor overblijvend personeel suggereren dat het bedrijf inzet op een kleinere, sterk AI-versterkte beroepsbevolking om toekomstige groei te stimuleren.

Uber COO: AI-uitgaven worden 'moeilijk te rechtvaardigen'

Uber's COO Andrew Macdonald heeft scepsis geuit over de huidige AI-uitgaven van het bedrijf en stelt dat het steeds moeilijker wordt om de kosten te rechtvaardigen. Macdonald merkte op dat, hoewel het bedrijf zwaar investeert in AI, een hoger tokenverbruik niet noodzakelijkerwijs leidt tot evenredige winst in nuttige consumentenfuncties.

Deze sentiment weerspiegelt een groeiende 'AI-realiteitscheck' onder grote techbedrijven. Terwijl 'tokenmaxxing' – de praktijk van het maximaliseren van AI-gebruik – een trend is geweest, beginnen leidinggevenden het rendement op investering (ROI) in twijfel te trekken. Uber heeft al het aannemen van personeel vertraagd om zijn AI-initiatieven te financieren, waardoor de druk om de waarde van deze investeringen te bewijzen groter wordt.

Macdonald's opmerkingen sluiten aan bij een bredere trend van bedrijven die afstappen van blinde AI-adoptie. Andere bedrijven, zoals Duolingo, hebben onlangs ook hun prestatie-evaluatiemetrieken aangepast om minder afhankelijk te zijn van AI-gebruik, wat een verschuiving naar een meer gebalanceerde en ROI-gerichte benadering van AI-integratie signaleert.

Beleid & Maatschappij

Paus Leo XIV publiceert belangrijke encycliek over AI

Paus Leo XIV heeft zijn eerste encycliek gepubliceerd, 'Magnifica Humanitas', een document van 42.000 woorden over de AI-revolutie. De paus trekt parallellen tussen de huidige AI-verschuiving en de Industriële Revolutie en benadrukt dat de Katholieke Kerk van plan is een morele stem te zijn in de ontwikkeling van de technologie.

De encycliek waarschuwt dat AI niet neutraal is en momenteel wordt gedreven door private, transnationale bedrijven die de macht van regeringen kunnen overtreffen. Leo XIV roept op tot 'robuuste juridische kaders', onafhankelijk toezicht en geïnformeerde gebruikers, terwijl hij expliciet stelt dat dodelijke beslissingen in oorlogsvoering nooit aan AI mogen worden gedelegeerd. Hij stelt dat AI het risico met zich meebrengt mensen te reduceren tot louter 'radertjes in een efficiëntiemachine' als het ongeremd blijft.

Deze interventie is significant gezien de zeldzaamheid van pauselijke encyclieken. Door een belangrijk leerstellig document aan AI te wijden, geeft het Vaticaan aan dat het de technologie beschouwt als een existentiële en morele uitdaging die actieve betrokkenheid van religieuze en maatschappelijke instellingen vereist.

California State University verlengt deal met OpenAI van $13 miljoen/jaar

Het California State University-systeem heeft zijn deal met OpenAI van $13 miljoen per jaar verlengd, met een toezegging voor een driejarige overeenkomst van $39 miljoen. Dit maakt het het eerste grote universiteitssysteem in de VS dat AI-gedreven onderwijs op deze schaal volledig omarmt.

De verlenging komt ondanks aanzienlijke tegenstand van faculteiten en studenten. Een recente enquête gaf aan dat een meerderheid van de eigen gemeenschapsleden van de universiteit sceptisch blijft over de educatieve waarde van AI, wat vragen oproept over de impact op leren en academische integriteit.

De deal benadrukt de spanning tussen institutionele pogingen tot modernisering en de bezorgdheden van de academische gemeenschap. Terwijl universiteiten de integratie van AI navigeren, zal het succes van dit partnerschap waarschijnlijk een belangrijke casestudy zijn voor andere onderwijsinstellingen die soortgelijke grootschalige investeringen overwegen.

Modelreleases & Industrie-updates

Elon Musk: Grok V9-Medium training voltooid

Elon Musk heeft bevestigd dat xAI's volgende funderingsmodel, Grok V9-Medium, de training heeft voltooid. Het model, dat 1,5 biljoen parameters heeft, vertoonde sterke vroege resultaten tijdens evaluaties. Fijnafstemming is momenteel aan de gang en het bedrijf verwacht een openbare release over ongeveer twee tot drie weken.

Deze release maakt deel uit van xAI's agressieve poging om te concurreren met andere grensverleggende modellen. Daarnaast heeft xAI 'Grok Build' in bèta gelanceerd, een concurrent van codeerassistenten zoals Codex en Claude Code, die nu beschikbaar is voor SuperGrok- en X Premium+-gebruikers.

De snelle ontwikkeling van Grok V9-Medium onderstreept de intense concurrentie in de LLM-ruimte. Met het model dat bijna openbaar wordt, positioneert xAI zich om de dominantie van gevestigde spelers uit te dagen op zowel funderingsmodellen als agentische codeertools.