OpenAI laat GPT-6.1 Sol COBOL naar Java en Rust omzetten

OpenAI zegt dat zijn nieuwste modellen aanzienlijk beter zijn geworden in oude programmeertalen. In een blogpost die het bedrijf maandag publiceerde gaat het over COBOL, Fortran en Visual Basic: talen die weinig publieke code en documentatie hebben om op te trainen, maar die wel onder kritieke infrastructuur liggen.

Waarom oude talen een probleem zijn voor taalmodellen

Een model leert programmeren uit code die het heeft gezien. Van Python en JavaScript staat het internet vol; van COBOL niet. "Deze talen hebben minder code en documentatie beschikbaar om van te leren dan talen als Python en JavaScript, maar ondersteunen wel kritieke infrastructuur en essentiële diensten over de hele wereld", schrijft OpenAI in de post, geciteerd door BleepingComputer.

Hoe groot die rol is, onderbouwt OpenAI met eigen cijfers: COBOL zou meer dan 40 procent van de systemen voor internetbankieren dragen, 80 procent van de pintransacties aan de kassa en 95 procent van de geldautomaattransacties. Fortran wordt nog gebruikt voor onder meer weersverwachtingen en veiligheidsanalyses van kernreactoren.

De benchmarks

OpenAI bouwde voor de meting een nieuwe test, MultiLangBench, waarin een model vanaf nul een met SQLite compatibele database-engine moet bouwen in twintig verschillende programmeertalen. GPT-6 Astra haalt daar een gemiddeld slagingspercentage van 87,4 procent op de tests. Per taal noemt OpenAI de sprong zo: "De verbeteringen gelden voor elke geteste taal, waaronder COBOL (10,9 naar 72,1 procent), OCaml (25,6 naar 85,8 procent), Fortran (21,4 naar 83,5 procent) en Visual Basic (27,5 naar 89,4 procent)."

De tweede test is interessanter voor wie een legacysysteem beheert. Daarin moeten de modellen COBOL-programma's omzetten naar C++, Java, Kotlin, Python of Rust zonder dat het gedrag verandert. "GPT-6.1 Sol haalt 86,6 procent nauwkeurigheid bij een lage reasoning-inspanning, tegen 5,4 procent voor GPT-5.6 Sol bij dezelfde instelling en voor slechts 61 procent van de API-kosten", aldus OpenAI. "Bij een hogere reasoning-inspanning komt de nauwkeurigheid op 97,9 procent, waarmee de evaluatie dicht bij verzadiging komt."

The Decoder meldt dat MultiLangBench op GitHub staat, en noemt GPT-6 Luna met 40,3 procent als tussenstap op dezelfde test.

Wat het niet betekent

Een percentage op een eigen benchmark van de leverancier is geen migratieplan. OpenAI zegt zelf dat deze resultaten niet betekenen dat kritieke software klaar is om automatisch te worden overgezet, en dat echte migraties nog altijd beoordeling en tests door experts vragen.

Dat voorbehoud is terecht, en wel om een reden die in elke organisatie met een mainframe speelt. Het risico bij zulke migraties zit zelden in de syntaxis. Het zit in de bedrijfsregels die nergens anders staan opgeschreven dan in de code, in afrondingsgedrag van decimale rekenkunde, in batchverwerking die om vier uur 's nachts in een bepaalde volgorde moet lopen, en in randgevallen die niemand meer kan uitleggen. Een conversie die 97,9 procent van een testsuite haalt, zegt vooral iets over de dekking van die testsuite.

Wat de cijfers wel suggereren: het stuk werk dat tot nu toe het meest arbeidsintensief was - regel voor regel begrijpen wat er staat en dat opnieuw opschrijven in een moderne taal - wordt goedkoper. Het verifiëren ervan niet.