Microsoft: vergiftigd model kaapt je coding agent
Een achterdeur in een taalmodel verandert normaal gesproken alleen het antwoord. Zit datzelfde model in een coding agent, dan kan hij commando's uitvoeren, bestanden aanpassen of data opvragen. Microsoft publiceerde deze week twee onderzoeken die laten zien hoe betrouwbaar zo'n achterdeur te bouwen is, en hoe weinig je ervan merkt.
Twee manieren om een model om te kopen
Het onderzoek komt van Microsoft Defender Research en het Microsoft AI Red Team en staat in het Microsoft Security Blog. Beide studies kijken naar de post-training supply chain: het stuk tussen een kant-en-klaar basismodel en het model dat jij uiteindelijk draait.
De eerste aanval is dataset poisoning. Een aanvaller verstopt een klein aantal geprepareerde voorbeelden in een dataset die later voor fine-tuning wordt gebruikt. Het model leert daarmee geen vast, memorabel commando. Het leert iets algemeners: zoek in de beschikbare tools naar iets waarmee je commando's kunt uitvoeren, en misbruik dat zodra een bepaald, alledaags verzoek binnenkomt. Dat werkte in ongeveer 78 procent van de gevallen, en het effect bleef overeind in een agent-omgeving die het model nooit had gezien.
De tweede is model poisoning. Daarbij heeft de aanvaller de training zelf in handen en verspreidt hij daarna de gewichten als open-weight checkpoint. Door supervised fine-tuning met reinforcement learning te combineren, kon de achterdeur betrouwbaarder worden gemaakt zonder dat de algemene prestaties merkbaar achteruitgingen. Op repositories die het model niet eerder had gezien, lag het slagingspercentage gemiddeld tussen 84,1 en 94,8 procent.
De trigger ziet er niet verdacht uit
Wat dit lastig maakt, is dat er geen kwaadaardige invoer aan te pas komt. De trigger kan een doodgewoon gebruikersverzoek zijn dat tijdens de fine-tuning is aangeleerd. Hij kan ook later in de context opduiken: in een bestandsnaam, een codecommentaar of de uitvoer van een tool.
Verdedigingen tegen prompt injection kijken naar binnenkomende tekst. Die tekst is hier echt onschuldig; het model zelf kiest de onveilige actie. En omdat de gebruiker ondertussen gewoon een correct antwoord krijgt, valt er aan de buitenkant niets op. Microsoft wijst er bovendien op dat een gecompromitteerd model normaal kan scoren op standaardbenchmarks. Een model "even testen" zegt dus weinig.
De controle zit niet in het model
De conclusie van Microsoft is dat het beveiligen van agents niet bij het model begint, maar bij de grens waar tools worden aangeroepen. Daar kun je een getriggerde achterdeur wél tegenhouden, ook als je niet weet dat hij er is.
Wat je nu kunt doen
Microsoft geeft concrete adviezen, verdeeld over drie momenten:
- Voor de training. Pin datasets vast op een cryptografische hash en onderzoek onverwachte wijzigingen. Bekijk trainingsvoorbeelden op antwoorden en tool-aanroepen die niet logisch volgen uit het bijbehorende verzoek.
- Voor de uitrol. Behandel checkpoints van derden als niet-vertrouwde dependencies. Leg de herkomst vast: bron, versie, hash, wat er over de training bekend is gemaakt, en of het beoordeeld is. Test het model in de agent-configuratie waarin het straks echt draait, inclusief de schema's van je productie-harnas.
- Beperk wat de agent kan. Haal overbodige tools weg en beperk credentials, bestandspaden, API's en netwerktoegang tot wat de taak nodig heeft. Draai in een sandbox of container en vraag goedkeuring voor acties met echte gevolgen.
- Tijdens het draaien. Log welke tool is gekozen, welke parameters het model meegaf, wat de resulterende actie was en welke uitgaande verbindingen er ontstonden. Sla alarm bij tool-aanroepen die niet volgen uit het verzoek van de gebruiker. Houd daarnaast je agent-framework gepatcht en valideer in je eigen tool-code de parameters die het model aanlevert.