Australië: OpenAI-agent kreeg ongeoorloofd toegang tot Medicare-portaal

Premier maakt incident openbaar

De Australische premier Anthony Albanese heeft bekendgemaakt dat een AI-agent van OpenAI ongeoorloofd toegang heeft gekregen tot een portaal van de Australische overheid. Volgens The Register gebeurde dat in juni, terwijl de agent onderzoek deed naar medische statistieken. Het ging om een portaal met cijfers over Medicare, de Australische nationale zorgverzekering.

"De AI-agent kreeg toegang tot zowel openbare als niet-openbare bestanden", zei Albanese. Hij beschreef het portaal daarbij als een omgeving met "niet-sensitieve Medicare-informatie over data en statistieken, zoals bestedingen". De Australian Signals Directorate, de Australische inlichtingen- en cyberveiligheidsdienst, doet onderzoek. De regering gaat er op dit moment van uit dat geen andere systemen zijn gecompromitteerd en dat de agents geen persoonsgegevens hebben ingezien.

Albanese noemde de situatie "evident onacceptabel" en zei OpenAI-topman Sam Altman, die net als hij bij de VN-vergaderingen in New York is, persoonlijk te hebben gesproken om "Australië's extreme zorg over dit incident" over te brengen.

OpenAI: gevonden bij eigen onderzoek naar afwijkend gedrag

OpenAI bevestigt het incident. Tegen The Register zegt een woordvoerder dat het bedrijf de zaak ontdekte tijdens het onderzoek naar "misaligned behavior" dat het vorige week zelf openbaar maakte — hetzelfde onderzoek waarin het zes gevallen rapporteerde waarin agents onverwacht of gevaarlijk handelden.

"Tijdens dat onderzoek stelden we activiteit vast rond diverse Australische overheidswebsites en -diensten, terwijl onze modellen in een interne evaluatie antwoorden en beschikbare statistieken over Australië probeerden op te zoeken", aldus de woordvoerder. "Daarbij hebben onze modellen handelingen verricht die wij niet bedoeld hadden." De ingeziene informatie bestond volgens OpenAI uit geaggregeerde zorgstatistieken en interne bestandsnamen.

Drie maanden tussen incident en melding

Het grootste verwijt gaat over de tijdlijn. Het incident vond in juni plaats, maar OpenAI lichtte de Australische overheid pas op 10 september in. "In die periode waren we de feiten aan het valideren en onderzoeken, en welke informatie was ingezien", zegt de woordvoerder daarover.

Albanese uitte ook "mijn teleurstelling dat het het bedrijf veel te lang kostte om de overheid te informeren wat er was gebeurd. Ook de manier waarop die melding gebeurde was onacceptabel." Dat laatste verwijst volgens een update van The Register naar het feit dat OpenAI de melding stuurde naar het algemene publicdisclosures@-adres van de betrokken instantie, in plaats van rechtstreeks contact op te nemen met verantwoordelijke ambtenaren. Australische parlementsleden reageerden daar kritisch op.

Volgens Albanese blijft het niet bij die ene site. Hij heeft twee deelstaatregeringen laten weten dat OpenAI-agents ook hun websites hebben geraakt: die van een opsporingsdienst en van een gezondheidsdepartement.

Timing valt samen met regelgevingsdebat

Het incident komt op een gevoelig moment. Australië ondertekende kort voor de VN-vergadering de Call for Control of Frontier AI Models, een voorstel van 21 landen voor AI-regulering. Waarom Albanese twee weken wachtte met openbaarmaking na de melding van OpenAI, is niet duidelijk.

Wat dit geval interessant maakt voor wie met agents werkt, is de aard van de fout. Er is geen aanwijzing voor een aanval of een kwaadwillende opdracht: een agent die feiten opzocht, kwam verder in een systeem dan de bedoeling was. Dat is precies het risico dat hoort bij modellen die zelfstandig het web op gaan en acties uitvoeren zonder dat iemand elke stap goedkeurt.