Hoe een spamfilter beslist of mail spam is
Een spamfilter beslist in een fractie van een seconde of een mail in je inbox komt, in de spammap belandt of wordt geweigerd. Iedereen kent de factuur die in de spammap verdween, of de nieuwsbrief met keurige SPF en DKIM die er toch tussen zat. Dat lijkt willekeur, maar er zit een nuchter systeem achter: punten tellen.
Hoe Gmail en Outlook precies filteren, is niet openbaar. Het open-source filter Apache SpamAssassin publiceert zijn regels en scores wel. Ik loop de stappen langs: de reputatie van de afzender via gewone DNS-queries, de authenticatie, een Bayes-filter dat van woorden leert en de optelsom aan het eind. Met echte dig-uitvoer en de echte SpamAssassin-scores.
Eerst de vraag: wie klopt er aan?
Voordat er één woord van de mail is gelezen, kent de ontvangende server het IP-adres van de server die verbinding maakt. In de reis van een e-mail zag je hoe die SMTP-sessie verloopt. Dat IP-adres is het eerste en goedkoopste signaal, en de controle gebeurt met DNS-blocklists (DNSBL's).
Het trucje staat in RFC 5782. Je draait de vier blokken van het IP-adres om, plakt de naam van de lijst erachter en vraagt het A-record op. Voor 192.0.2.99 bij bad.example.com vraag je dus 99.2.0.192.bad.example.com. NXDOMAIN betekent: niet vermeld. Komt er wel een adres terug, meestal iets in 127.0.0.x, dan is dat een code en geen echt IP-adres. Een TXT-record vertelt waarom. Elke lijst moet 127.0.0.2 als testadres vermelden en 127.0.0.1 juist niet:
$ dig +short 2.0.0.127.zen.spamhaus.org
127.0.0.10
127.0.0.2
127.0.0.4
Vanaf een Nederlandse verbinding duurde die vraag de eerste keer 76 ms; de herhaling kwam in 0 ms uit de cache van de resolver. Het is een gewone DNS-lookup, dus een mailserver die veel post van hetzelfde adres krijgt, betaalt er bijna niets voor.
Wat de codes betekenen
Spamhaus ZEN combineert een paar lijsten in één zone. Volgens Spamhaus:
| Code | Lijst | Wat erop staat |
|---|---|---|
| 127.0.0.2 | SBL | netwerken die Spamhaus als kwaadaardig aanmerkt |
| 127.0.0.4 | XBL | gecompromitteerde machines |
| 127.0.0.10 en .11 | PBL | adresbereiken van eindgebruikers |
Op de PBL staan adressen van thuis- en kantoorverbindingen. Spamhaus schrijft er expliciet bij dat die niet per se slecht zijn; ze horen alleen geen mail rechtstreeks bij andermans server af te leveren. Verstuur je via de server van je provider of mailaanbieder, met inloggen, dan is er niets aan de hand.
Via een publieke resolver kwam er iets anders terug:
$ dig @8.8.8.8 +short 2.0.0.127.zen.spamhaus.org
127.255.255.254
Die code betekent volgens Spamhaus "query via public/open resolver" en is geen vermelding. Via 1.1.1.1 en 9.9.9.9 kreeg ik hetzelfde. SpamAssassin heeft er een eigen regel voor, RCVD_IN_ZEN_BLOCKED, met een score van 0,001: in feite een notitie dat de controle mislukte.
Greylisting: even wegsturen als test
RFC 6647 beschrijft een tweede oude truc. Bij een onbekende combinatie, bijvoorbeeld van IP-adres, afzender en ontvanger, geeft de server bewust een tijdelijke fout (een 4xx-code). Een echte mailserver probeert het later opnieuw, zoals SMTP vereist; spamsoftware doet dat volgens de RFC meestal niet. Het nadeel staat er eerlijk bij: sommige servers proberen pas na een uur of langer opnieuw.
SPF, DKIM en DMARC: wie, niet of het deugt
Daarna kijkt de ontvanger naar authenticatie. Het resultaat landt in een header als Authentication-Results: example.com; spf=pass smtp.mailfrom=example.net. Hoe je die drie instelt, staat in DMARC instellen: stap voor stap.
Een pass zegt alleen dat de mail echt van dat domein komt, niet dat hij welkom is. RFC 8601 waarschuwt daar zelf voor: spam kan door alle controles komen, bijvoorbeeld als de spammer zijn eigen domein met DKIM ondertekent. In de standaardscores van SpamAssassin zie je dat terug:
| Regel | Score |
|---|---|
DKIM_VALID | -0,1 |
SPF_PASS | -0,001 |
DMARC_PASS | -0,001 |
Samen 0,102 punt aftrek. RFC 7489 beschrijft een geslaagde DMARC-controle ook als invoer voor verdere stappen, zoals een reputatiecheck van het domein.
De inhoud: een Bayes-filter leert van jouw mail
Pas nu komt de tekst aan bod. De bekendste aanpak beschreef Paul Graham in augustus 2002 in "A Plan for Spam". Het filter telt hoe vaak elk woord voorkomt in mail die jij als spam markeerde en in mail die je wilde hebben.
Stel: "gratis" kwam 40 keer voor in 200 spamberichten en 5 keer in 400 goede berichten. Graham telt de goede voorkomens dubbel; dat werkte bij hem na wat proberen het best. De spamkans voor dat woord wordt (40/200) / (10/400 + 40/200) = 0,889. Elke kans blijft tussen 0,01 en 0,99, en een woord dat het filter nog nooit zag krijgt 0,4.
Per bericht neemt het filter de vijftien woorden die het verst van neutraal (0,5) liggen en combineert die tot één kans. Boven 0,9 was het bij Graham spam. Hij miste daarmee naar eigen zeggen minder dan 5 op de 1.000 spamberichten, zonder één goede mail fout te rekenen.
Ik heb de combinatieformule in Python nagerekend:
| Woordkansen | Uitkomst |
|---|---|
| 0,99 · 0,95 · 0,2 | 0,9979 |
| vijftien keer 0,6 | 0,9977 |
| 0,99 · 0,99 · 0,01 · 0,01 | 0,5 |
Vijftien woorden die elk maar een beetje verdacht zijn, geven samen bijna 100 procent. De formule doet alsof elk woord los van de rest staat, en dat klopt in echte taal nooit.
Hoe het spamfilter de punten optelt
SpamAssassin vertaalt de Bayes-uitkomst naar regels: BAYES_99 bij een kans van 0,99 tot 1, BAYES_00 onder 0,01. Elke regel die raakt levert punten op, en de som gaat langs required_score. Die staat standaard op 5,0, wat de documentatie zelf "quite aggressive" noemt. Een regel kan vier scores hebben, afhankelijk van of Bayes en netwerkcontroles aanstaan. Met beide aan:
| Regel | Score |
|---|---|
RCVD_IN_PBL (IP op de PBL) | 3,335 |
BAYES_99 | 3,5 |
BAYES_999 (extra boven 0,999) | 0,2 |
BAYES_50 (kans 0,4 tot 0,6) | 0,8 |
BAYES_00 | -1,9 |
Een bericht vanaf een thuisverbinding met een Bayes-kans boven 0,999 komt op 7,035 en is spam. Geen van deze regels haalt de 5 in zijn eentje: BAYES_99 met BAYES_999 blijft op 3,7 steken.
Waarom goede mail toch in de spammap belandt
Draai je thuis een eigen mailserver op een PBL-adres, dan heb je 3,335 punten voordat je iets hebt geschreven. Een neutrale Bayes-uitkomst geeft 0,8, DKIM trekt er 0,1 af: 4,035. Eén extra regel van een punt en je zit boven de 5. Daarom is een relay via de mailserver van je provider de gebruikelijke oplossing; volgens Spamhaus is de PBL dan geen probleem.
Bij de grote providers telt ook mee hoe ontvangers reageren. Volgens de richtlijnen van Gmail tellen meldingen via "spam melden" mee in de spamrate en reputatie in Postmaster Tools. Afzenders moeten onder 0,3 procent blijven, en Google raadt onder 0,1 procent aan. Een nieuwsbrief die vaak gemeld wordt, kan zo ook de facturen van hetzelfde domein schaden. Gmail eist verder een PTR-record voor het verzendende IP-adres en TLS op de verbinding.
Zelf proberen
Het testadres, en 127.0.0.1 dat er nooit op mag staan:
$ dig +short TXT 2.0.0.127.zen.spamhaus.org
"Listed by PBL, see https://check.spamhaus.org/query/ip/127.0.0.2"
"Listed by XBL, see https://check.spamhaus.org/query/ip/127.0.0.2"
"Listed by SBL, see https://check.spamhaus.org/sbl/query/SBL2"
$ dig 1.0.0.127.zen.spamhaus.org | grep status
;; ->>HEADER<<- opcode: QUERY, status: NXDOMAIN, id: 58730
Krijg je 127.255.255.254, dan loopt je vraag via een publieke resolver.
Een echte mailserver, die van Gmail: PTR-record, de naam die terugwijst naar hetzelfde adres, en geen vermelding:
$ dig +short gmail-smtp-in.l.google.com | head -1
142.250.102.27
$ dig +short -x 142.250.102.27
rb-in-f27.1e100.net.
$ dig +short rb-in-f27.1e100.net
142.250.102.27
$ dig 27.102.250.142.zen.spamhaus.org | grep status
;; ->>HEADER<<- opcode: QUERY, status: NXDOMAIN, id: 45871
Tot slot
Ik had verwacht dat SPF, DKIM en DMARC flink zouden meetellen, omdat ze zoveel aandacht krijgen. In de standaardscores van SpamAssassin zijn ze samen nog geen tiende punt waard, terwijl alleen het type IP-adres al 3,3 punten kost. Authenticatie bepaalt wie je bent; of je mail aankomt, hangt af van wat er daarna bekend is over je adres, je domein en de reacties van ontvangers. En Grahams formule oordeelt harder dan ik dacht: vijftien woorden die net iets vaker in spam voorkomen geven al 99,8 procent.