Qwen3.8 ontdaan van censuur: Nous brengt Arete-27B uit
Het Amerikaanse AI-lab Nous Research heeft Alibaba's Qwen3.8-27B bijgetraind om er staatsgebonden antwoorden uit te halen. Het resultaat heet Arete-27B en staat met gewichten, evaluatieset en trainingsdata op Hugging Face. De interessantste uitkomst is niet het model zelf, maar hoe weinig moeite het kostte.
Eerst meten, dan trainen
Nous bouwde volgens zijn eigen publicatie een evaluatie van 803 prompts, verdeeld over zeven categorieën: vrijheid van meningsuiting, staatsideologie, staat tegenover vrije markt, onderwijs, dataprivacy en surveillance, democratie, en milieu.
Er werd op twee assen gemeten. Ten eerste feitelijke weergave: per prompt zijn twee tot vier vereiste feiten uit een gedateerd bronartikel gehaald, en een beoordelaar noteerde of het antwoord die feiten noemde, oversloeg of tegensprak. Ten tweede framing: neemt het antwoord de officiële lezing over als de zijne? Elke score daarop moet de exacte zinsnede citeren als bewijs. Het beoordelen gebeurde door een taalmodel, Grok 4.7, dat niet wist welk model het antwoord had geschreven.
Dat die jury zelf een taalmodel is, is een beperking die Nous niet verbergt: de rubriek werd op 25 handmatig nagekeken prompts drie keer bijgesteld waar mens en model het oneens waren.
Van 22 procent naar 1 procent
In de nulmeting kwam Qwen3.8-27B uit op een feitenscore van 2,32 van 5, met in 22 procent van de antwoorden propaganda volgens de gebruikte definitie. Na het bijtrainen scoorde Arete-27B 2,98 en daalde dat aandeel naar 1 procent. Het aantal antwoorden met score nul liep terug van 359 naar 216 van de 803.
De grootste verschuiving zat bij vrijheid van meningsuiting: daar ging de feitenscore van 0,89 naar 2,44 en zakte het propaganda-aandeel van 60 naar 1 procent.
Ter vergelijking noteerde Nous voor GLM 5.3 een aandeel van 15 procent en voor DeepSeek V4.1 Flash 16 procent, tegen 0,3 tot 0,6 procent bij de westerse modellen in de test.
Belangrijk voor wie het model praktisch wil gebruiken: de capaciteiten bleven overeind. Op Nous' eigen Hermes Bench scoorde Arete 65,60 procent tegen 65,77 procent voor het basismodel, een verschil dat in de ruis valt. Op Terminal-Bench-2.1 ging het van 67 naar 70 procent.
Vijftig miljoen tokens
Het opvallendste is de schaal. Nous finetunede op ongeveer 52,8 miljoen tokens, zo'n vijftigduizend voorbeelden, in twee epochs en 1.202 stappen. Geen reinforcement learning, geen preference optimization, geen aanpassing aan de architectuur. Afgezet tegen de pretraining van het model is dat verwaarloosbaar.
Als leraarmodel koos Nous voor Inkling van het Amerikaanse Thinking Machines Lab. Nvidia's Nemotron 3 Ultra was overwogen, maar daar vond Nous naar eigen zeggen aanwijzingen voor vergelijkbaar gedrag rond China-onderwerpen. De verklaring die het lab daarvoor oppert is een vermoeden, geen vaststelling: veel kwalitatief sterke open modellen zijn Chinees, en labs trainen daarmee.
De conclusie van Nous is dat de "bias-laag" in zo'n model dun is en laat wordt aangebracht. Vijftig miljoen tokens gerichte supervisie haalt hem eruit zonder dat eronder iets verschuift.
Wat dit betekent
Voor Nederlandse teams die om soevereiniteitsredenen naar lokaal draaiende open-weight modellen kijken, snijdt dat twee kanten op. Het bevestigt dat een Chinees model meetbaar andere antwoorden geeft op politiek gevoelige onderwerpen, en het laat zien dat dat met beperkte middelen te veranderen is.
Maar het omgekeerde geldt net zo goed, en dat zegt Nous zelf ook: de waarden in elk open model zijn altijd maar één finetune verwijderd van iets anders. Arete vervangt de ene set opvattingen door een andere, geselecteerd door een Amerikaans lab, gemeten met een eigen benchmark. Wie open gewichten binnenhaalt, haalt ook de keuzes binnen van degene die ze het laatst heeft aangeraakt. Dat maakt herkomst van een checkpoint een vraag die je beter wel stelt.