Spamerkennungsraten
Was bedeuten 100%, 99,9%, 99,5% Erkennung und 0%, 0,1% oder 1% False Positive wirklich.
Wahrscheinlichkeiten
In einer idealen Welt wären Kommunikationspartner immer authentifiziert und wer sich nicht an "Regeln" hält, würde verwarnt oder im Extremfall ausgeschlossen. So funktioniert aber weder der Mailversand und Empfang im Internet per SMTP und genauso wenig der Postbrief.
Was hindert mich, einen Postbrief mit einem falschen Absender und "Porto zahlt Empfänger" auf die Reise zu senden um entweder dem Ziel oder dem Transporteur zu schaden? Also werden wir immer mit "unerwünschter Mail" umgehen müssen, sei es im elektronischen Postfach oder auch im klassischen Briefkasten.
E-Mail per Internet ist für den Absender nur um ein vielfaches billiger und einfacher, so dass er durch mehr Mails auch mehr Käufer und damit Umsatz erhoffen kann und es ist nicht unüblich, das ein Großteil aller Mails eigentlich unerwünscht sind. Über die "Kosten" für die Betreiber (Strom, Bandbreite, CPU, Disk.IO etc.) sprechen wir nicht. Solange es "spamfreundliche" Provider gibt, müssen wir damit umgehen
Wahrscheinlichkeiten
Je nach Quelle wird behauptet, dass 70-90% aller im Internet übertragenen Mails eigentlich Spam sind. Hier haben wir aber schon die erste Wahrscheinlichkeit, die schon nicht gesichert ist, denn niemand hat einen genauen Überblick und eine Herausforderung ist ja schon die Klassifizierung der Nachricht. Was für einen Empfänger unerwünscht ist, kann von einem anderen Empfänger schon anders bewertet werden. Damit kommen wir zur Erkennungswahrscheinlichkeit.
Gehen wir mal davon aus, dass die Summer aller Mails mit 100% angesetzt wird und wird alle davon 80% als Spam einstufen würden. Da nirgendwo heute mehr ein Mensch als Filter sondern ausschließliche Computerprogramme mit unterschiedlichen Bewertungen zum Einsatz kommen, muss eine Software eine Entscheidung fällen. Zukünftig wird sicherlich auch eine KI eingesetzt, um die erwünschten (HAM) von den unerwünschten (SPAM) Mails zu trennen. Genauso werden aber auch Spammer mit KIs noch bessere und vor allem individuelle Mails schreiben, die klassische Filter überwinden sollen.
Je nach der Entscheidung müssen wie vier Fälle unterscheiden:
- Spam wird als Spam erkannt
- Erwünschte Mail wird als Erwünschte Mail erkannt
- Spam wird leider nicht als Spam erkannt
- Erwünschte Mails wird als irrtümlich als Spam erkannt
Fall 1 und 2 sind klar und sollten idealerweise immer zutreffen. Aber auch Computer machen Fehler und so wird es auch immer wieder passieren, dass eine Spam-Mail nicht als Spam erkannt wird und im Postfach landet. Das ist ärgerlich aber wenn sie jeden Tag vielleicht nur ein paar dieser Mails manuell löschen, während die Mehrzahl doch durch Fall 1 wegblockiert wird, dann akzeptieren wir dies.
Nehmen wir an, dass Sie pro Tag 150 Mails bekommen von denen 500 "erwünscht" sind, dann ist selbst eine Spamerkennungsrate von 95% gar nicht mal schlecht. Sie müssen dann nur unerkannte 5 Mails manuell löschen und sich um 95 Stück gar nicht mehr kümmern.
Die Gegenrichtung ist viel schlimmer zu bewerten, d.h. eine Mail wird irrtümlich abgelehnt oder versauert sogar unbemerkt in einer Quarantäne oder ihrem "Junk-E-Mail"-Ordner. Diese Fehlerrate sollte 0% sein aber das ist ein Wunschtraum. Sie sollten immer wissen, dass es keinen Spamfilter geben kann, der hier 0% erreicht. Sie können aber die Werte schon durch Verfahren wie z.B. Level-of-Trust oder die Pflege zu Partner Domains in Verbindung mit Spam und UCE - Filter: SPF, SenderID und Spam und UCE - Filter: DKIM weiter drücken.
Denken Sie aber auch daran, dass auch ein eigentlich "vertrauenswürdiger Partner" nicht pauschal ungeprüft akzeptiert werden sollte. Er kann auch gehackt worden sein.
Nachrichtenklassen
Auf Werbebroschüren wird von einigen Herstellern ein "bis zu 100% Erkennung" gepriesen. Das ist wir die Werbung für Desinfektionsmittel, die mit "bis zu 99% Bakterien entfernt" wirbt und dabei verschweigt, dass die absolute Anzahl in die Millionen geht und auch 1% von Millionen immer noch Tausende sind. Und das vermutlich sogar die resistenteren und damit gefährlicheren Viren sind.
Für E-Mails sollten wir aber auch unterscheiden, welche Mails zu welchem Grad korrekt oder auch nicht korrekt klassifiziert werden.
- Erwünschte ungefährliche Mails
Diese Mails enthalten Informationen aber keine bösen Links oder gar Anlagen. - Erwünschte aber gefährliche Mails
Es gibt auch im Geschäftsverkehr erwünschte Mails, die aber z.B. gefährliche Anlagen enthalten. DOCX und XLSX sind ziemlich ungefährlich, aber DOC, XLS oder DOCX, XLSM u.a. Anlagen sollten Sie dennoch blockieren oder durch eine Wandlung in ein weniger kritisches Format, z.B. PDF, "entschärfen". Ich habe auch schon gesehen, dass Firmen untereinander wie selbstverständlich ausführbare Programme, Firmware-Updates etc. in angehängten ZIP-Archiven verteilt haben. - Newsletter und Mailinglisten
Solche Mails können überwiegend erwünscht sei, aber sollten natürlich vorher ein "Double-OptIn" und eine funktionierende Abmelde-Funktion haben. Solche Mails sind aber in Firmen und für Provider nicht einfach zu klassifizieren, da es Anwender gibt, die diese haben möchten während andere sie gerade nervig empfinden.
Ich meine Adresse landet immer mal wieder auf Newsletter, bei denen ich mich definitiv nicht eingetragen habe und man immer überlegt, ob man nun die Abmeldefunktion nutzen sollte und damit dem Absender schon die Gültigkeit der Adresse signalisiert. - Klassischer Werbespam
Dann gibt es natürlich immer noch die klassische unerwünschte Werbung für Produkte und Dienstleistungen von Absendern, die ihre Adresse irgendwo "eingesammelt" oder zugekauft haben. Manchmal sind diese Mails als Kooperationsangebote oder Angebotsanfragen getarnt, z.B. man würde gerne Gastartikel auf der MSXFAQ veröffentlichen oder gerne Werbung schalten. - Phishing
Die klassische Phishing-Mail versucht den Empfänger dazu zu bringen, einen Link anzuklicken um ein Konto wieder freizuschalten, eine Lieferung zu entsperren, einen Virus zu entfernen o.ä. Das Ziel ist aber die Zugangsdaten des Anwenders zu erhalten oder direkt den Anwender zur Zahlung oder zur Installation eines Programms zu bewegen.
Solche Nachrichten sollte ein Spamfilter sehr zuverlässig erkennen können oder zumindest die Links so umschreiben, dass beim Aufruf durch den Anwender noch einmal eine verzögerte Analyse und ein deutlicher Hinweis an den Anwender erfolgen kann. - Malware
Es sollte für einen Filter relativ leicht sein, Anlagen mit unerwünschten Programmen zu blocken. Ich würde per Mail sogar eine "Allow-List" der akzeptierten Anlagen pflegen (z.B. DOCX, XLSX, PDF; ICS und auch nur diese Dateien in Archiven (ZIP etc)und alle anderen Analgen direkt ablehnen und mit dem Absender in Kontakt treten. - SMIME-verschlüsselte Mails
Ein Spamfilter kann nur bewerten, was er sehen kann. per POPG/SMIME verschlüsselte Mails fallen nicht darunter. Daher würde ich als Firma solche Mails blockieren, wenn nicht ein SMIME-Gateway diese vorab decodieren kann. Wer im privaten Bereich mit SMIME hantiert, muss dann auch besonders aufpassen. Aktuell gibt es aber noch keine Spammer, die sich die Mühe einer SMIME-Verschlüsselung machen.
Genau genommen müssten wir die Leistung der eingesetzten Lösung hinsichtlich der verschiedenen E-Mails aufschlüsseln und die Produkte anhand ihrer Konfigurierbarkeit dahingehend genauer bewerten. Denn niemand beschreibt in der Werbung, welche Erkennungsraten und "False Positive"-Raten sie in den einzelnen Fällen haben.
Gerade die Zunahme der gesicherten Übertragung mittels SMIME u.a. sind für reine Spamfilter ohne Verschlüsselungsgateways eine Herausforderung, die Sie nicht bedienen können. Steht der Spamfilter davor, kann er nur die IP-Adresse und ggfls. DKIM prüfen aber keine Inhalte. Wird die Mail erst nach der Entschlüsselung durch ein Gateway auf Inhalt geprüft, kann diese nicht mehr abgelehnt werden sondern muss zugestellt, in einer Quarantäne abgelegt oder gelöscht werden.
Bewertung
Sie sehen, dass allein eine "Spam-Erkennnungsrate" als Vergleichskriterium viel zu kurz greift. Das ist wie der Flottenverbrauch bei einem Automobilhersteller, der quasi keine Aussagekraft zum individuellen Verbrauch zulässt und vermutlich nicht mal zum Vergleich zwischen Herstellern sondern nur zur Festlegung der CO2-Strafzahlungen geeignet ist.
Natürlich wissen wir alle, das jede Werbung immer lügt, weil Sie die schönen Seiten nur nur betont, sondern andere Aspekte gar nicht nennt und Sie als Verbraucher selbst genauer hinschauen müssen. 100% geht nicht und damit ist auch eine Aussage wie "bis zu 100%" eigentlich unseriös.
Die meisten Spamfilter werden heute schon als Cloud-Dienstleistung angeboten und das ist auch sinnvoll, denn warum sollte die Menge an Spam ihre eigene kostbare Bandbreite der Firmenanbindung belasten. Warum sollten Sie selbst einen SMTP-Service betreiben, der einen offenen Port, mögliche Konfigurationsfehler und Sicherheitslücken und die Pflegearbeit mit Updates bedeutet?
Wenn Sie einen Spamfilter bewerten, dann sollten Sie einfach einige Wochen lang einen Service ausprobieren und die Ergebnisse prüfen. Wenn es nur um Spamfilterung geht, dann ist die Konfiguration in kurzer Zeit möglich.
