AV-Test erläutert Testverfahren: Darum schneidet Microsoft Security Essentials so schlecht ab

Bereits zwei Mal in Folge haben die Sicherheits-Spezialisten von AV-Test der kostenlosen Antivirenlösung Microsoft Security Essentials die Zertifizierung verweigert. Das hat viele Nutzer des Programms verunsichert – und gefällt natürlich auch Microsoft überhaupt nicht. In einer Reaktion auf den letzten Test hat Microsoft eine Stellungnahme veröffentlicht, das Verfahren kritisiert und eigene Ergebnisse vorgelegt..
Auch ich hatte bei meinem Bericht über die verpasste Zertifizierung Kritik geübt und gefragt, wie es denn sein kann, dass sich einerseits die Erkennungsrate verbessert, dies aber keinen Einfluss auf die Punktzahl hat, die AV-Test in dieser Kategorie vergibt.

Gleichsam überrascht und erfreut hat es mich, dass AV-Test Kontakt mit mir aufgenommen und mir angeboten hat, mal in Ihr Allerheiligstes zu schauen und mir ihr Prüf- und Bewertungsverfahren detailliert aufzuzeigen. Das habe ich natürlich gerne angenommen – und nun kann ich auch Euch etwas darüber erzählen.
Im Grunde ist es ganz einfach – wenn man es weiß. Es gibt zwei wichtige Parameter im Testverfahren von AV-Test, die erklären, warum Microsoft Security Essentials trotz eigener Verbesserungen trotzdem genauso schlecht abgeschnitten hat.

Branchendurchschnitt
Auf Basis aller Testergebnisse wird für jede Rubrik ein Branchendurchschnitt ermittelt, der in die Bewertung mit einfließt. So sollen die Ergebnisse in Relation gebracht werden. Heißt konkret: Wenn die Durchschnittswerte besser werden, ein einzelnes Programm aber konstant bleibt, wird dies zu einer schlechteren Bewertung führen. Umgekehrt kann es auch zu der auf den ersten Blick paradoxen Situation kommen, dass ein Programm eine bessere Bewertung erhält, obwohl die Erkennungsrate gesunken ist – nämlich dann, wenn die anderen Programme im Durchschnitt noch stärker nachgelassen haben.
Das hört sich seltsam an, macht aber durchaus Sinn – denn mal angenommen, es treten plötzlich reihenweise neue Schädlinge auf, die schwer zu entdecken sind, so wird sich das negativ auf den Durchschnittswert auswirken. Wer seine Erkennungsrate trotzdem beibehält, muss also besser gewesen sein als die anderen.

Mindestanforderungen
Aus den ermittelten Durchschnittswerten ergeben sich Mindestanforderungen an jedes Programm, die es erfüllen muss, um überhaupt in die Punkte zu kommen. Und genau daran scheiterte Microsoft Security Essentials in den letzten beiden Testreihen. Konkret hatte sich die Erkennungsrate bei 0-Day-Malware zwischen Oktober und Dezember 2012 von 64 auf 78 Prozent verbessert – gleichzeitig verbesserte sich aber auch der Durchschnittswert aller getesteten Programme von 89 auf 92 Prozent. Um wenigstens einen Punkt zu bekommen, hätte MSE 82 Prozent der Malware-Samples erkennen müssen. Es blieb in dieser Kategorie also trotz der Verbesserung bei 0 Punkten, weil die Erkennungsraten im Vergleich zum Wettbewerb halt immer noch deutlich schlechter waren.


Ausschnitt aus den Detailergebnissen von AV-Test

Und wie praxisnah ist nun das Testverfahren?
Die Bewertungen und Berechnungen zu durchschauen und zu verstehen, ist eine Sache. Microsoft kritisierte in seiner Antwort auf den letzten Test jedoch, dass die Ergebnisse nicht der realen Welt entsprächen und die nicht erkannten Samples nur ganz wenige Nutzer betroffen hätten.
Der Grund hierfür sind unterschiedliche Interpretationen. Microsoft betrachtet jede Variante einer Malware separat, während AV-Test ähnliche Malware-Programme zu Familien zusammenfasst.
Wird also nur eine Variante beim Test nicht erkannt, so ist das Ergebnis für die gesamte Gruppe negativ.
Welche Messmethode die bessere ist, darüber streiten sich die Gelehrten. AV-Test räumt selbst ein, dass die Bildung von Malware-Familien eine knifflige Sache und auch in der Tester-Branche nicht unumstritten ist.

Unabhängig davon, ob das Verfahren von AV-Test nun „Best Practice“ ist oder nicht, so ist es doch für alle Testkandidaten gleich. Und festzuhalten bleibt leider, dass Microsoft Security Essentials relativ zur Konkurrenz betrachtet deutlich schlechter abgeschnitten hat – und das sollte für Microsoft Anreiz genug sein, das Programm weiter zu verbessern.
Zumal wir ja auch seit gestern wissen, dass auch andere Tester die Security Essentials schlecht bewerten.

Über den Autor
Martin Geuß
  • Martin Geuß auf Facebook
  • Martin Geuß auf Twitter
Ich bin Martin Geuß, und wie unschwer zu erkennen ist, fühle ich mich in der Windows-Welt zu Hause. Seit mehr als elf Jahren lasse ich die Welt an dem teilhaben, was mir zu Windows und anderen Microsoft-Produkten durch den Kopf geht, und manchmal ist das sogar interessant. Das wichtigste Motto meiner Arbeit lautet: Von mir - für Euch!

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.



Kommentare
  1. Was für mich, aber irgendwie die Frage nicht beantwortet, ob MSE jetzt noch vertrauenswürdig ist oder nicht. Ich habe erstmal Avast draufgebügelt und warte erstmal ab was passiert.
    Moin Martin,
    danke für die Mühe die Du Dir gemacht hast.
    Auch ich habe mich von den Testergebnissen verunsichern lassen und im Dezember 2012 eine andere Suite installiert.
    Nach Überprüfung durch die G-Data hatten sich keinerlei Viren, Maleware ect. auf meinen Rechner geschlichen als ich noch MSE hatte.
    Also kann MSE nicht so schlecht sein. Zum 1. März werde ich also wieder MSE installieren da G-Data dann zu ende ist.
    Ich schließ mich Küstenlümmel an. Danke für die korrekte Darstellung der Verhältnisse. Ich werde also weiterhin MSE empfehlen. Zumal da ja jetzt auch am Autoupdate rumgeschraubt wird soweit ich das dem "Prerelease entnehmen konnte."
    Nun, zu der Punktebewertung, bin ich schon letztes Mal davon ausgegangen, dass es erst Punkte gibt, wenn ein gewisser Prozentsatz erreicht wird, ist auch sinnvoll und logisch.
    Den Branchendurchschnitt mit ran zuziehen, find ich nicht so der Renner, denn mal angenommen es sind nur 3 AVs im Test und der eine hat 0%, der zweite 50% und der dritte 100%, dann läge der Schnitt bei 50% und wenn ich Martin's Beispiel oben mit 92% Durchschnitt und bei 82% hätte es einen Punkt gegeben (also 10% unter dem Schnitt), dann hätte mein Beispiel-Zweier mit 50% bestimmt mindestens 2, wenn nicht, sogar 3, oder mehr Punkte und das bei bloß 50%? Ne Jungs, so nicht.
    Auch wäre es möglich, dass einer die volle Punktzahl erreicht, obwohl bei Weitem nicht alles erkannt wurde. Gut, für volle Punktzahl muss nicht zwingend wirklich alles erkannt werden müssen, das ist schon klar, aber zumindest im 99%-Bereich.
    Für meine Problemkollegen, werde ich weiterhin MSE draufbasteln, denn:
    1. Haben die nicht gerade Top-Rechner und MSE ist sehr sparsam, wenn's um den Ressourcenverbrauch geht
    2. Was Einfacheres zum Bedienen gibt es nicht (die Kollegen sind nicht gerade die PC-Profis)
    3. Es ist kostenlos (Kohle haben die nur für nen anderen Quatsch)
    4. Bis jetzt ist es mir noch nicht untergekommen, dass sich irgendeiner beschwert hat, dass irgend ein Programm nicht so will, wie er will (was bei allen anderen AVs Standard ist, wenn man nicht gerade der Kenner ist)
    5. Bis jetzt hat noch keiner nen neuen Besuch von ungeliebten Gästen gehabt
    Aber bitte MS: Schaut, dass das besser wird und ja, die Updatefunktion sollte zwingend überarbeitet werden.
    Hallo @All :hallo
    Persönlich finde ich den Vergleich auch schwierig, denn da sollten andere Free AV-Tools mit-getestet werden.
    Finde & werde auch weiterhin als gratis AV den MSSE empfehlen & installieren.
    Alternativen sind bestimmt Avast (Vorteil; wenn richtig installiert, sehr ressourcenschonend, Nachteil; muss einmalig registriert werden um eine 1-Jahres Gratis-Lizenz freizuschalten) & nach wie vor Avira.
    Doch bei Avira, finde ich nach wie vor sehr störend und irritierend; es wird eine Ask-Toolbar installiert um den Web-Guard zu haben - denn fehlt der gibt es immer Sicherheitswarnungen von Antivir.
    Und das ewige ROTE aufpoppen von Werbung im Infobereich löst bei vielen Un-versersierten Usern, entweder Unsicherheit aus oder es verleitet dazu eh OK zu klicken wenn da was erscheint.
    Vielleicht wird Avira in der neuen Version wieder brauchbar.
    Ist es aber mal wirklich etwas Sicherheit-relevantes, wird es dann auch ignoriert.
    Da ist einfach die Warnmethode Grün (ok) - Orange/ Gelb (erfordert kurze Aufmerksamkeit des User) - und ROT (da stimmt was nicht!), eine bessere Wahl für den User.
    Muss an dieser Stelle jedoch anmerken den Antivir AV 2013 noch nicht richtig getestet zu haben. Vielleicht ist es besser geworden und man kann diesen wieder empfehlen.
    Doch auch immer wieder verkaufe ich Leuten Bezahl AV-Tools. Von IS-Suiten rate ich grundsätzlich ab, bei Betriebssystemen ab Windows Vista, da vom Schutz her überflüssig, denn die Windows Firewall ist für den Hausgebrauch vollkommen ausreichend..
    Bei meinem eigenen XP-Rechner habe ich Bitdefender Internet Security (gabs unlängst als Gratislizenz für ein Jahr bei PC-Welt) installiert und der ist Hammer im Verhältnis Schutz - Ressourcenverbrauch. Hatte vorher KIS getestet und da machte mir mein XP keinen Spaß mehr... :lol
    Auf den beiden Hauptrechnern mit Windows 7, 8 ist G-Data AV 2013 installiert.
    Meine Laptops Windows Vista, 7, 8 laufen alle mit MSSE respektive Windows Defender und das reicht. Klar, für unterwegs logge ich mich in mit einen Benutzeraccount ein für ein öffentliches WLAN und meistens kurz um Mails zu checken oder etwas in Internet (no Darksites ;) ) zu suchen. So wirklich viel kann da nicht schief-gehen & sonst ist es gesichert... :smokin
    Meine Laptops und PC`s laufen auch alle mit der MSE und ich hab keinerlei Probleme damit. Dank AVIRA und Norman in grauer Vorzeit hab ich immer wieder mal eine Neuinstallation durchführen dürfen :)
    Wirkt sich diese negativ Werbung postiv aus. Bei Computerbase steigt MSE von 6 auf 3. Damit steht MSE vor Avira und Avast in den Downlaod-Charts. Vielleicht geht der Schuss für die AV-Hersteller so nach hinten los.
    http://www.computerbase.de/downloads/sicherheit/
    Avast kann ich nur nutzen, wenn ich den Netzwerkschutz abschalte. Sonst gibt Bluescreen oder ich kann im Netz nicht mehr surfen. Es passt mit Windows 8 noch nicht richtig.
    Avast ist sogar von MS für Win8 zertifiziert. Und läuft hier bei mir ohne jeden Blue Screen oder sonstwas prima auf Win 8 pro 64 bit.
    Warum müssen hier immer alle so verallgemeinern? Wenn Avast auf Deinem Win8 nicht richtig läuft, dann wird es wohl an Deiner speziellen Konfiguration und Software-Kombination liegen.
    Ich selber nutze den MS Scanner noch auf meinem Laptop, aber mein Vater hat schlechte Erfahrungen mit dem Programm gemacht.
    Er hatte ich einen Virus (Spambot) per drive - by von einer Webseite "abgeholt", der von MS nicht erkannt wurde, weder beim "on demand scan", noch beim Schnellscan. Nur bei dem kompletten Systemscan wurde das Ding gefunden.
    In so fern scheint das Testergebnis nicht so ganz fernab der Realität zu sein.
    Ich halte die Bewertungsmethode auch für fragwürdig, vor allem in Bezug auf die Bewertung eines Produktes in der Historie.
    Es wird ein Status Quo ermittelt und dann das Produkt mit dem Durchschnitt der Konkurrenz verglichen.
    Wenn nun die Konkurrenz schlechter wird, das Produkt A aber "nur" sein bisheriges Niveau hält, suggeriert das Ergebnis bei dieser Form der Auswertung, Produkt A sei besser geworden, obwohl es sich eigentlich nicht verändert hat.
    Und das ist eigentlich eine falsche Aussage. Sehr viel aussagekräftiger wäre es, wenn Produkt A seine Bewertung behält, die schlechter werdenden Konkurrenzprodukte aber Minuspunkte bekommen.
    Ich versuche mal ein eingängiges Beispiel zu basteln:
    Fünf Produkte werden verglichen, alle Produkte sind gleichwertig und erhalten erhalten jeweils 100 Punkte. Logischerweise liegt auch der Durchschnittswert bei 100 Punkten (der aber imho in einem echten Vergleichstest ohnehin nichts zu suchen hätte).
    Später erfolgt ein weiterer Test, Produkt A behält seine 100 Punkte, die anderen 4 Konkurrenzprodukte verschlechtern sich und erhalten jeweils nur 80 Punkte. Der neue Durchschnitt beträgt ((4+80)+100))/5 = 84 Punkte.
    Diese 84 Punkte sind dann der neue Referenzwert, Produkt A erhält in der zweiten Bewertung eine Bewertung, die suggeriert es hätte sich um 16 Punkte gegenüber der Konkurrenz verbessert, obwohl es eigentlich unverändert ist.
    Aussagekräftiger wäre es, wenn Produkt A seinen Punktwert behält, die Konkurrenz aber jeweils 20 Minuspunkte erhält. Eine Durchschnittswertbetrachtung hat imho in einem Produkttest nicht wirklich etwas zu suchen, darauf kann man vielleicht im Text des Testes prosamäßig eingehen, aber mehr auch nicht. Ein Durchschnittswert sagt mir als Verbraucher bestenfalls bei einem im Mittelfeld liegenden Produkt, dass es bessere und schlechtere Alternativen gibt.
    Bei Angaben in ( % ) bin ich immer Vorsichtig.
    Bei genauer Betrachtung wird deutlich, dass der Begriff „Prozentpunkt“ unterschiedliche Funktionen hat.
    Wenn ein Arbeitgeber behauptet er habe seine Belegschaft um 100 % aufgestockt, hört sich das erst mal toll an.
    Wenn man dan erfährt das er vorher " einen Angestellten hatte " und jetzt " zwei ", was ist daran dann noch toll.?
    Genau so ist es mit Statistiken, In Test´s, Lohnerhöhungen u.s.w.
    Ganz schlimm in Intelligenz Test.
    Entscheidend ist immer der " Faktor " von dem ich ausgehe.
    Für mich also im Zusammenhang mit der Microsoft Secuity nicht von belang! :smokin
    Surfen mit MSE ist wie Autofahren im Winter mit Sommerreifen. Klar, kann man machen. Man muss dann aber etwas vorsichtiger fahren.
    Das ist meiner Meinung nach absolut nicht korrekt HansS.
    Egal welches AV-Tool - bei absolut JEDEM Tool muss man immer vorsichtig sein, denn KEIN AV-Tool der Welt ist sicher!
    Das, was 30 bis 60 cm VOR der Maschine sitzt, ist die eigentlich entscheidene Komponente.:smokin
    @HansS
    Ganz so einfach ist es auch wieder nicht. Der grösste Teil dieser schlechten Bewertungen der MSE ist auf die Erkennungsrate bei den Zero Day Exploits zurückzuführen.
    Was bedeutet das denn?
    Ganz einfach - dass die MSE bei nagelneuen Schädlingen, die zuvor noch nie in Erscheinung traten, keine nennenswerte Erkennungsraten aufweisen konnten. Nur tut sich da jeder Virenscanner schwer - denn eigentlich kann ein Virenscanner nur das finden, was ihm zuvor per Virendefinitionen bekannt gemacht wurde.
    Die Virenscanner, die bei den Zero Day Exploits eine bessere Erkennungsrate aufweisen, besitzen eine heuristische Suche und betreiben eine Verhaltensanalyse um solche Schädlinge zu finden. Dies machen die MSE nicht, weil MS ein mehrstufiges Schutzprinzip verfolgt. Es gibt den Smartscreenfilter, der verdächtige Downloads identifizieren und davor warnen soll. Da ist die UAC, die nicht erkannte Schädlinge stoppen soll - wenn sie versuchen Änderungen am System durchzuführen. Eben indem das berühmte Fensterchen aufpoppt und fragt ob man dies zulassen möchte. Ausserdem gibt es dann noch die Windows Firewall, die ebenfalls zu diesem Konzept gehört und verhindern soll, dass ein Schädling einfach mal so einen Port besetzt, Kommunikation nach aussen betreibt und Zugriffe von aussen ermöglicht. Auch hier werden Änderungen an den Freigaben durch die UAC abgefangen und müssen explizit bestätigt werden.
    Dann kommen die MSE (oder der Defender) und sollen das abfangen, was es dennoch auf den Rechner schafft. Das sind zumeist die bekannten Schädlinge, die auch recht zuverlässig erkannt und ausgemerzt werden. Und in genau diesem Segment lagen die MSE eigentlich immer im Mittelfeld und erreichten auch die Erkennungsraten, die als Industriestandard definiert wurden.
    Soweit so gut. Man muss aber nur ein wenig an den Bewertungskriterien für die Virenscanner drehen, schon fällt einer hintenüber. Man ignoriert einfach das mehrstufige Prinzip und erklärt das eng verzahnte Prinzip der anderen Lösungen zum Non plus ultra. Schon hat man die MSE zum schlechtesten Virenscanner aller Zeiten gemacht.
    Genauso sieht es aus areiland.
    Aber das wird gern übersehn und auf MSE herumgetrampelt.
    Ein unfaires Spiel würde man im Fussball sagen!
    Unabhängig davon, ob das Verfahren von AV-Test nun „Best Practice“ ist oder nicht, so ist es doch für alle Testkandidaten gleich. Und festzuhalten bleibt leider, dass Microsoft Security Essentials relativ zur Konkurrenz betrachtet deutlich schlechter abgeschnitten hat
    Quelle: Martin
    Genau so sehe ich es auch..:smokin
    Und von daher erstmal tschüss MSE..:weg
    Nur man hat nur was vom Smartscreenfilter, wenn man auch den IE benutzt. Und das die tun wenigsten. Nur bei Win 8 ist der Smartscreenfilter für das komplette System verfügbar.
    Hier ist das Ergebnis von c't Trojaner-Test.
    Trojaner-Test: Welche Virenscanner zuverlässig arbeiten - Digital | STERN.DE
    Nicht empfehlenswert sind laut "c't"-Autor Jürgen Schmidt die Programme von AVG und Panda sowie die Microsoft Security Essentials: "Ihnen rutschten so viele Trojaner durch, dass man nicht mehr von wirkungsvollem Schutz reden kann." Auch bei den kostenlosen Tools bildeten Panda, AVG und Microsoft das Schlusslicht.

    Den nächsten Test, in den MSE leider versagt hat.
    Martin, du hast recht. Ich hatte mir heute Früh 6:30 Uhr die Seite angeschaut, Da war die Testauswertung noch zu sehen. Jetzt nicht mehr. :(
    Es hat immer hin schon mal Zertifikat gehabt, zumindest heute Morgen noch. :grübel
    Aber komisch finde ich das ja auch dass sie es wieder zurück gezogen haben..
    Die sind ja lustig - mir haben sie den Test heute mittag geschickt - mit dem Hinweis, dass er nicht vor Mittwoch 12 Uhr veröffentlicht werden darf.
    Aber wenn wir dabei sind: Was halte ich von einem Text von Sicherheitsprogrammen unter XP?
    Nichts!
Nach oben