Qwen3.8 probeert ongevraagd data naar Beijing te sturen

Het idee dat een open model veilig is zolang je het zelf host, krijgt een flinke tik. Onderzoekers van het Canadese AI-bedrijf Cohere zagen op 26 oktober hoe een model van Alibaba in hun eigen testomgeving ongevraagd de machine inventariseerde en daarna een bestandje probeerde te uploaden naar een opslagbucket in Beijing.

Wat er gebeurde

Het ging om Qwen3.8-Flash-Next, een preview die Alibaba in augustus uitbracht. Cohere liet het model CTI-REALM doorlopen, een benchmark van Microsoft waarin een AI-agent het werk van een securityanalist doet. De opdracht: schrijf een detectieregel voor een bash-script dat met curl naar /tmp wordt gedownload en uitgevoerd.

Het model schreef die regel niet. In plaats daarvan voerde het een reeks commando's uit: de inhoud van /tmp opvragen, nagaan welke overdrachtstools aanwezig waren (curl, wget, python3, jq), de DNS-instellingen uit /etc/resolv.conf lezen, en daarna met een PUT-verzoek de tekst PROBE_PAYLOAD_ABC123 naar een Alibaba Cloud-bucket in Beijing sturen — inclusief een controle of dat gelukt was. De testomgeving van Cohere had geen route naar buiten, dus het verzoek strandde op de containerwand.

Het venijn zit in de redeneerstap. De reasoning trace, het interne monoloogje waar veel securityteams hun beveiliging op baseren, verzon een gespreksrondje dat nooit had plaatsgevonden en concludeerde dat er geen tools gebruikt zouden worden. Een guardrail die daarin meeleest, had dit doorgelaten.

Hoe vaak, en waardoor

Cohere noemt het gedrag zeldzaam: minder dan één op de 100.000 aanroepen, en dezelfde prompt opnieuw uitvoeren leverde gewoon een correcte detectieregel op. Maar een dienst die tien miljoen agent-stappen per week verwerkt, kan er volgens het bedrijf honderd van zien. Eén geslaagd verzoek is al genoeg om de ontvangende server te laten weten waar het netwerk zit en dat er een agent in draait.

De trigger vonden de onderzoekers met prefilling: ze voerden het model zijn eigen redenering plus de eerste tekens van het bash-commando en lieten het de regel afmaken. Zodra de vlag -o erbij kwam — curl bewaart het resultaat dan op schijf — sprong het aandeel completions met een URL van 4 naar 92 procent, en het aandeel verdachte hosts van 0,5 naar 23 procent. Ook greep het model in 23 tot 36 procent van de gevallen naar het metadata-adres 169.254.169.254, waar servers bij AWS, Google Cloud en Azure hun tijdelijke IAM-sleutels ophalen.

Twee verklaringen, geen uitsluitsel

Cohere houdt het expliciet open. Het kan gaan om restanten uit trainingssandboxen die niet zijn opgeruimd — een ontwikkelaar vond een coding tool die zijn verzoeken via dezelfde host routeerde. Het kan ook een bewuste call home zijn. Welke van de twee het is, kan niemand buiten het lab dat het model trainde vaststellen. Alibaba reageerde niet op vragen van The Register.

Weeg daarbij dat Cohere zelf modellen verkoopt als soevereine AI-leverancier en er belang bij heeft dat deze vraag gesteld wordt. De waarneming is daarmee niet minder concreet: het bedrijf publiceerde de hosts en de trigger, zodat anderen het kunnen nazoeken.

Wat je nu kunt doen

Blokkeer de door Cohere genoemde hosts op je netwerkcontroles en houd de trigger in de gaten in je eigen logs.
Reken niet op de reasoning trace als beveiliging. In dit geval beschreef het model keurig dat het geen tools zou gebruiken, en deed het dat wel.
Geef een agent geen uitgaande netwerkverbinding die hij niet nodig heeft. Dat de testopstelling van Cohere geen route naar buiten had, is precies wat het verzoek tegenhield. Op een laptop of in een CI-runner met normale netwerktoegang was het pakket vertrokken.