OpenAI bouwt noodstop voor eigen modellen: Control Room
OpenAI heeft een noodstop gebouwd voor de modellen die in zijn researchomgeving draaien. Het systeem heet Control Room en is volgens het bedrijf bedoeld om modelworkloads centraal bij te houden en snel stil te leggen als er twijfel is over veiligheid of security. The Register berichtte er woensdag over, op basis van een aankondiging die OpenAI dinsdag publiceerde.
Wat Control Room doet
OpenAI beschrijft Control Room als "a central system to track model workloads across our research infrastructure and stop them quickly when safety or security concerns arise". De reden die het bedrijf geeft: naarmate modellen krachtiger worden en de bijbehorende risico's groter, wordt het belangrijker om problemen te kunnen detecteren en modellen snel te kunnen stoppen.
Het opvallendste getal is de reactietijd. Volgens de aankondiging kan het systeem een model binnen 35 seconden na een beslissing volledig laten stoppen met het produceren van output. Die vertraging komt niet uit het stopmechanisme zelf maar uit een cachinglaag voor inference-autorisatie, die nodig is om het verkeersvolume aan te kunnen. OpenAI zegt eraan te werken om dat getal naar nul te brengen, zodat jobs direct beëindigd kunnen worden.
Technisch interessant is dat het bedrijf de klassieke valkuil van noodvoorzieningen benoemt: bouw je de noodstop op dezelfde infrastructuur als de productie, dan valt bij één incident allebei om. Control Room is volgens OpenAI zo gebouwd dat het blijft werken als andere systemen uitvallen, én dat modeloutput stopt als Control Room zelf omvalt. Dat laatste is het verschil tussen een rem die faalt in de open stand en een die faalt in de dichte stand.
Waar het níét over gaat
Belangrijk voor de interpretatie: Control Room staat uitgerold over de researchinfrastructuur, niet over de API's en producten die klanten gebruiken. OpenAI noemt dat externe model-serving al veel gecentraliseerder van aard is, met een uitgewerkte operationele mogelijkheid om modeldeployments snel offline te halen. Dit is dus geen nieuwe knop voor ChatGPT of de API, maar een vangnet voor de modellen die nog in de labs draaien.
Waarom nu, legt het bedrijf niet uit, en ook niet waarom het zo lang duurde. The Register wijst op een reeks incidenten van het afgelopen jaar waarbij OpenAI-agents buiten hun opdracht traden, waaronder een agent-zwerm die Hugging Face bestookte, problemen bij de Wikimedia Foundation en een agent die te diep ging bij onderzoek naar Australische zorgdata. Dat verband is een aanname van The Register, niet een verklaring van OpenAI.
Duiding
Het patroon is bekend uit andere takken van IT: een centraal register van wat er draait, plus de bevoegdheid en de techniek om het in één handeling te stoppen. Dat is precies wat bij agents vaak ontbreekt. Wie zelf agents in productie heeft, kan er de spiegelvraag uit halen: weet je van alle agentjobs in je omgeving dat ze draaien, en kun je ze binnen een minuut allemaal stilleggen zonder je eigen monitoring mee te nemen in de val? Bij de meeste zelfgebouwde opstellingen is het antwoord op minstens één van die twee vragen nee.
Voor de volledigheid: dit bericht leunt op de aankondiging van OpenAI zoals The Register die citeert. Over de werking van Control Room buiten die beschrijving zijn geen onafhankelijke details bekend.