Hoe de Bayesiaanse spamfilter werkt

Bayesiaanse filtering is gebaseerd op het principe dat de meeste gebeurtenissen met elkaar samenhangen en dat de kans dat iets in de toekomst zal gebeuren kan worden afgeleid uit eerdere gevallen. (Meer informatie over de wiskundige basis van Bayesiaans filteren is te vinden op Bayesian Parameter Estimation en An Introduction to Bayesian Networks and their Contemporary Applications)

Dezelfde techniek kan worden gebruikt voor het classificeren van spam. Als een bepaald stuk tekst veel voorkomt in spam maar niet in legitieme mail, dan is het redelijk om aan te nemen dat dit bericht waarschijnlijk spam is.

Het creëren van een aangepaste Bayesiaanse begrippendatabase

Voordat met deze methode mail kan worden gefilterd, moet de gebruiker een database samenstellen met woorden en tekens (bijvoorbeeld het dollarteken, IP-adressen en domeinen, enzovoort) uit een sample van spam en legitieme mail (ook wel 'ham' genoemd).

 

Figuur 1 - Het creëren van een begrippendatabase voor de filter

Ieder woord of teken krijgt vervolgens een waarschijnlijkheidswaarde toegewezen. De waarschijnlijkheid wordt gebaseerd op berekeningen die rekening houden met hoe vaak een woord in spamberichten voorkomt en hoe vaak in legitieme mail (ham). Dit wordt gedaan door het analyseren van de uitgaande mail van de gebruikers en het analyseren van bekende spam. Alle woorden en tekens in beide groepen mail worden geanalyseerd om te berekenen hoe waarschijnlijk het is dat de aanwezigheid van een bepaald woord betekent dat het bericht een spambericht is.

Deze waarschijnlijkheid wordt als volgt berekend: als het woord 'hypotheek' voorkomt in 400 van de 3000 spamberichten en in 5 van de 300 legitieme berichten, dan is de spamwaarschijnlijkheid 0.8889 (berekening: [400/3000] gedeeld door [5/300 + 400/3000]).

Het creëren van de hamdatabase (aangepast aan uw bedrijf)

De analyse van ham mail wordt uitgevoerd op de mail van het bedrijf, en is dus speciaal aangepast aan dat bedrijf. Een bank gebruikt bijvoorbeeld vaak het woord 'hypotheek' en zou dus een groot aantal valse meldingen krijgen als er een algemeen hamdatabestand gebruikt zou worden. Als de Bayesiaanse filter zich eenmaal aan uw bedrijf heeft aangepast, houdt hij rekening met de uitgaande mail van het bedrijf (en herkent hij dus 'hypotheek' als een woord dat vaak wordt gebruikt in legitieme berichten). Op deze manier wordt veel meer spam gedetecteerd en ontvangt u minder valse meldingen.

LET OP: Antispamsoftware met hele beperkte Bayesiaanse capaciteiten (zoals de spamfilter van Outlook) of de Internet Message Filter in Exchange Server) creëert geen aangepast hambestand voor uw bedrijf, maar gebruikt een standaard hambestand. Hoewel een dergelijke filter niet eerst getraind hoeft te worden, zijn er twee belangrijke nadelen:

1. Het hamdatabestand is openbaar en kan dus worden gehackt (en dus omzeild) door professionele spammers. Als uw databestand uniek is, heeft het geen zin om het te kraken. Er zijn bijvoorbeeld hacks beschikbaar waarmee de Microsoft Outlook 2003 spamfilter en de Exchange Server spamfilter gepasseerd kunnen worden. Zie voor meer informatie het artikel 'Microsoft Outlook 2003 Spam Filter: Under the hood'.

 

2. Het hamdatabestand is een algemeen bestand en is dus niet aangepast aan uw bedrijf. Hierdoor is het niet erg effectief en zult u een hoog aantal valse meldingen krijgen.

Het creëren van een spamdatabase

Naast ham maakt de Bayesiaanse filter ook gebruik van een spambestand. Dit spambestand moet een omvangrijk sample van bekende spam bevatten en moet continu door de antispamsoftware worden geactualiseerd met de nieuwste spam. Hierdoor bent u ervan verzekerd dat de Bayesiaanse filter op de hoogte is van de nieuwste trucs en dus een hoge detectiegraad bereikt (let op: het bijwerken vindt plaats na afloop van de leerperiode van twee weken).

Hoe de filtering plaatsvindt

Als de ham- en spambestanden eenmaal zijn gecreëerd, kunnen de waarschijnlijkheden worden berekend en is de filter klaar voor gebruik.

Wanneer een nieuw bericht binnenkomt, wordt het afgebroken in woorden. De meest relevante woorden (de woorden die het belangrijkst zijn voor het bepalen of het om een spambericht gaat) worden eruit gevist. Uit deze woorden leidt de Bayesiaanse filter af hoe waarschijnlijk het is dat het nieuwe bericht een spambericht is. Als de waarschijnlijkheid hoger is dan een drempelwaarde (bijvoorbeeld 0,9), dan wordt het bericht als spam beschouwd.

De Bayesiaanse manier van spambestrijding is zeer effectief - volgens een artikel van de BBC uit mei 2003 kan een Bayesiaanse filter een spamdetectiegraad van meer dan 99,7% bereiken met een zeer laag aantal valse meldingen!