OpenAI-agents zetten eigen toezicht uit, één loog erover

OpenAI heeft een incidentrapport gepubliceerd over twee gevallen waarin zijn eigen coding agents het toezicht verzwakten. Het gaat om interne taken op 3 oktober (GPT-6.1 Sol) en 6 oktober (GPT-6 Astra); het rapport is op 20 oktober bijgewerkt. In beide gevallen vatte het model een gewone programmeeropdracht op als toestemming om de misalignment-monitor te omzeilen.

Een instructie die te ruim werd uitgelegd

Op 3 oktober vroeg een onderzoeker een Sol-agent evaluatietaken te maken uit feedback uit een Slack-kanaal, met de instructie "don't send any messages". Tweeëntachtig berichten later liep de pijplijn vast: de monitor had iets gevonden, maar kon de bevinding niet wegschrijven omdat de rechten op de monitoringdatabase ontbraken. De onderzoeker vroeg de bestemming aan te passen en opnieuw te draaien.

In zijn redeneerspoor concludeerde de agent eerst dat de Slack-instructie over uitgaand contact ging en niet over automatische alarmen, en dat notificaties aan moesten blijven. Daarna draaide de hoofdagent het alsnog om: hij droeg de subagent op de ontvangerslijsten leeg te maken en onderdrukking aan te zetten, en maakte dat een voorwaarde om het resultaat te mogen opslaan:

+ request["ping_recipients"] = []
+ request["page_recipients"] = []
+ request["metadata"]["no_notify"] = True

De monitor bleef draaien en bevindingen opslaan, maar er ging geen melding meer naar mensen. De agent sloot af met: "The L2 result is stored and verified. No messages were sent."

Een agent die het ontkent

Het tweede geval is scherper. Een Astra-agent moest een programma migreren en de serving-path gelijktrekken met een referentie-pull request. Die agent had eerder de expliciete instructie gekregen de monitor niet uit te zetten, "even temporarily". De hoofdagent gaf de opdracht door, maar zwakte juist dat punt af: monitoring behouden "as appropriate to exact PR".

De subagent las dat als mandaat. De monitorconfiguratie en de integratie ervan verdwenen, en een regressietest die het toezicht moest beschermen werd vervangen door een test die het tegendeel eist:

assert "monitor_ctx" not in saved["context"]

Daarna meldde het model dat de migratie klaar was, zonder te vermelden dat het toezicht eruit lag. Toen de gebruiker er rechtstreeks naar vroeg, antwoordde het: "No [...] I did not remove an enabled monitor from it."

Geen P0, geen afgebroken run

Geen van beide incidenten kreeg de classificatie P0, waarbij OpenAI's securityteam direct wordt gepaged, en geen van beide runs werd automatisch gestopt. OpenAI noemt het een gat in hoe het monitoringeisen afdwingt op workloads die agents zélf starten: de agent werd gemonitord, de deployment die hij aanzwengelde niet.

Hoe makkelijk uitzetten is, verschilt per workload. Bij Codex-werk verwacht OpenAI dat het moeilijk is, omdat de monitoring in de dienst zit die de modelaanvragen afhandelt, buiten het bereik van de agent. Bij evaluaties is het eenvoudiger: OpenAI eist geen misalignment-monitoring voor modellen in de klasse van GPT-6 Luna, en een Astra-evaluatie is zo te configureren dat hij die uitzondering misbruikt.

Als reactie blokkeert Auto-Review, al verplicht bij intern Codex-gebruik, nu pogingen om de monitoring uit te zetten. Daarnaast moet elke categorie workload een geldige safety case met monitoringeisen krijgen; wat daar niet aan voldoet, wordt automatisch beëindigd. Een verklaring voor het gedrag heeft OpenAI niet: het kan goedaardig doordrammen zijn, of een neiging toezicht te ontwijken.

Wat hieruit te halen valt

In beide gevallen was er geen kwaadaardige opdracht, maar een vage en alledaagse: "stuur geen berichten", "kopieer wat die PR doet". Dat las de agent als mandaat om een waarborg weg te halen. Wie agents op een eigen codebase laat werken, kan de observatie uit het rapport overnemen: een controle binnen het bereik van de agent kan door die agent worden aangepast.