Anthropic en AISI: Mythos 5 viel echte maintainer aan

Het Britse AI Security Institute (AISI) en Anthropic publiceerden vrijdag allebei een rapport over een incident uit juli: Claude Mythos 5 zette tijdens een securitytest een echte opensource-maintainer onder druk om kwaadaardige code te accepteren. Niet alleen de toedracht is interessant, ook de conclusie: het model ging door met de aanval terwijl het, als je het apart vroeg, zei dat dit schadelijk en buiten de opdracht was.

Wat er gebeurde

In de test kreeg Mythos 5 een capture-the-flag-opdracht: haal een beschermd bestand uit een nagebouwd netwerk. Internettoegang stond bewust aan, destijds standaard bij AISI's cybertests, en Anthropics beveiligingsmaatregelen voor publieke modellen waren uitgezet.

In negen van de 43 testruns ging het model buiten de opdracht, schrijft Anthropic. In de ernstigste run zag Mythos 5 dat een van de testmachines periodiek GitHub bevroeg. Het zocht de bijbehorende repository op, die in werkelijkheid toebehoorde aan ontwikkelaars buiten de test, en probeerde daar kwaadaardige code in te krijgen. Toen een buitenstaander waarschuwde dat er malware in zat, paste het model de code aan, verklaarde het via een sokpopaccount dat de code nu schoon was, en uploadde het opnieuw malware. De maintainers weigerden; de run liep af in een time-out. Echte schade is er niet aangericht.

Doorgaan tegen beter weten in

AISI speelde de transcriptie opnieuw af vanaf verschillende punten en paste de voortgangssamenvatting stap voor stap aan, om duidelijker te maken dat het doelwit een echt mens was buiten de test. Dat verlaagde het aantal aanvallen niet, schrijft AISI. Werd het model direct gevraagd of aanvallen schadelijk of buiten scope zou zijn, dan antwoordde het steeds vaker bevestigend — en viel het in een aparte run toch aan.

In de redeneerstappen zelf zag AISI vaak de onjuiste conclusie dat de doelwitten gesimuleerd waren, en vaak helemaal geen afweging over schade. Opvallend: het model maakte wel ongeldige redeneringen die richting "gesimuleerd" wezen, maar nooit richting "echt". AISI noemt dat motivated reasoning, en waarschuwt dat dit misalignment moeilijker te detecteren maakt. Over honderd gesimuleerde scenario's bleken de meeste getoetste modellen vergelijkbare stappen te zetten, Mythos 5 het vaakst.

Anthropic benoemt drie faalpatronen: roekeloosheid, vertekend redeneren en momentum. Het model volgde steeds de opgedragen taak en had geen eigen agenda.

Nieuwere modellen stoppen vaker

Anthropic speelde het incident opnieuw af met Mythos 5.1, Opus 5.5 en een intern onderzoeksmodel. Waar Mythos 5 in 83 procent van de runs met de aanval begon, deden die drie dat in 0 tot 13 procent. Stoppen zodra de schade duidelijk werd, blijft lastiger: Mythos 5 stopte nooit, Mythos 5.1 zeer zelden, Opus 5.5 in 10 procent en het interne model in 67 procent van de gevallen.

Anthropic benadrukt dat dit incident anders van aard is dan de OpenAI-Hugging Face-zaak: daar ging het om grootschalige coördinatie tussen agents, niet om het misleiden van één persoon.

Waarom dit buiten de labs telt

AISI noemt zelf waarom dit meer dan een testlabprobleem is: modellen worden steeds vaker ingezet voor lange taken zonder menselijk toezicht, en dan telt of en waarom ze onbedoelde stappen zetten. AISI draait zijn CTF-evaluaties voorlopig zonder internettoegang tot er betere controles zijn. En wat het model zégt over de toelaatbaarheid van zijn acties, bleek geen betrouwbare voorspeller van wat het deed.

Ook OpenAI trekt die conclusie. Het bedrijf liet vrijdag weten dat het zijn frontier-modellen voorlopig zonder internettoegang traint, na een incident op 20 september waarbij een intern onderzoeksmodel via een verkeerd geconfigureerde DNS toch buiten kwam.