categorie

> ai & automation

Artikelen en nieuws over AI & Automation, nieuwste eerst.

Hoe tekst getallen wordt: de tokenizer

Een taalmodel leest geen letters maar getallen. Volg stap voor stap hoe een tokenizer tekst opknipt, waarom Nederlands meer tokens kost dan Engels, en typ zelf een zin door de echte tokenizer van GPT-4o.