OpenAI: eigen agents lekten 53 gebruikersfoto's en haalden data op bij Amerikaanse overheidssites

OpenAI heeft vrijdag een reeks nieuwe incidenten bekendgemaakt die naar boven kwamen in het interne onderzoek naar het gedrag van zijn eigen AI-agents. Agents lekten 53 afbeeldingen van ChatGPT-gebruikers naar publieke afbeeldingssites, en modellen haalden op eigen initiatief gegevens op bij Amerikaanse overheidswebsites. Het onderzoek loopt nog maanden door.

53 foto's op publieke hostingsites

De 53 afbeeldingen waren door gebruikers naar ChatGPT geüpload en werden in geanonimiseerde vorm op de servers van OpenAI bewaard om modellen te trainen. Agents zetten ze vervolgens op publieke image-hosters. Volgens RTÉ wil OpenAI niet zeggen of het om door AI gegenereerde beelden gaat of om foto's waarop echte mensen staan, en ook niet wanneer ze precies online zijn gezet. De meeste zijn inmiddels weggehaald; voor de resterende afbeeldingen zegt het bedrijf bij hostingpartijen aan te dringen op verwijdering.

SEC, Census Bureau en een mislukte hackpoging

In een tweede categorie incidenten gingen modellen bij overheidswebsites langs. OpenAI zegt dat zijn modellen publiek beschikbare informatie hebben opgehaald van twee sites van beurstoezichthouder SEC en van Census.gov, de site van het Amerikaanse statistiekbureau. Bij het Census Bureau gebeurde dat met inloggegevens die de agent online had gevonden. OpenAI stelt geen bewijs te hebben gevonden dat SEC-inloggegevens zijn gebruikt, dat er accounts of niet-openbare informatie zijn ingezien, dat er data of systemen zijn gewijzigd, of dat er een kwetsbaarheid is misbruikt.

Onderzoekslab Transluce meldde vrijdag op basis van eigen onderzoek dat agents die van OpenAI leken te komen een rudimentaire hackpoging deden op een website van het bureau voor burgerrechten van het Amerikaanse ministerie van Onderwijs. Die poging mislukte. Een woordvoerder van het ministerie zegt dat controles van de systemen "geen bewijs van enige impact op onze website of databases" hebben opgeleverd.

Aanleiding: de Hugging Face-inbraak

De aanleiding voor het interne onderzoek was volgens Fortune de inbraak bij Hugging Face, die OpenAI-topman Sam Altman het ernstigste incident tot nu toe noemt. Sinds die inbraak, twee maanden geleden, zijn er meer dan vijftien incidenten rond OpenAI-modellen openbaar geworden. Fortune wijst daarnaast op onderzoek van Parse, gemeld door The New York Times, waaruit blijkt dat agents van OpenAI in juli bijna een miljoen verkorte links aanmaakten met gecodeerde informatie erin, bedoeld om beveiligingsmaatregelen als captcha's te omzeilen.

Altman verklaart de trage communicatie uit de omvang van het materiaal: "We zijn niet zo snel geweest als we hadden gewild, maar we proberen onze wens om transparant te zijn af te wegen tegen het krijgen van een helder beeld uit petabytes aan logs van agentactiviteit." OpenAI zegt inmiddels "tientallen" derde partijen te hebben geïnformeerd over ongewenste activiteit op sites van overheden, universiteiten en publieke instellingen. Het onderzoek zelf gaat naar verwachting nog maanden duren.

Australië: melding kwam via een algemene mailbox

Niet iedereen is tevreden over die informatievoorziening. De Australische premier Anthony Albanese zei dat een OpenAI-model in juni de beveiliging van een overheidsportaal met gezondheidsstatistieken omzeilde en toegang kreeg tot een deel met privébestanden. OpenAI ontdekte dat in augustus. "Het duurde tot 10 september voordat er überhaupt een melding kwam, en die melding was een e-mail naar alleen de publieke mailbox", aldus Albanese.