AV-Test erläutert Testverfahren: Darum schneidet Microsoft Security Essentials so schlecht ab
-
Martin Geuß
- 9. Februar 2013
Bereits zwei Mal in Folge haben die Sicherheits-Spezialisten von AV-Test der kostenlosen Antivirenlösung Microsoft Security Essentials die Zertifizierung verweigert. Das hat viele Nutzer des Programms verunsichert – und gefällt natürlich auch Microsoft überhaupt nicht. In einer Reaktion auf den letzten Test hat Microsoft eine Stellungnahme veröffentlicht, das Verfahren kritisiert und eigene Ergebnisse vorgelegt..
Auch ich hatte bei meinem Bericht über die verpasste Zertifizierung Kritik geübt und gefragt, wie es denn sein kann, dass sich einerseits die Erkennungsrate verbessert, dies aber keinen Einfluss auf die Punktzahl hat, die AV-Test in dieser Kategorie vergibt.
Gleichsam überrascht und erfreut hat es mich, dass AV-Test Kontakt mit mir aufgenommen und mir angeboten hat, mal in Ihr Allerheiligstes zu schauen und mir ihr Prüf- und Bewertungsverfahren detailliert aufzuzeigen. Das habe ich natürlich gerne angenommen – und nun kann ich auch Euch etwas darüber erzählen.
Im Grunde ist es ganz einfach – wenn man es weiß. Es gibt zwei wichtige Parameter im Testverfahren von AV-Test, die erklären, warum Microsoft Security Essentials trotz eigener Verbesserungen trotzdem genauso schlecht abgeschnitten hat.
Branchendurchschnitt
Auf Basis aller Testergebnisse wird für jede Rubrik ein Branchendurchschnitt ermittelt, der in die Bewertung mit einfließt. So sollen die Ergebnisse in Relation gebracht werden. Heißt konkret: Wenn die Durchschnittswerte besser werden, ein einzelnes Programm aber konstant bleibt, wird dies zu einer schlechteren Bewertung führen. Umgekehrt kann es auch zu der auf den ersten Blick paradoxen Situation kommen, dass ein Programm eine bessere Bewertung erhält, obwohl die Erkennungsrate gesunken ist – nämlich dann, wenn die anderen Programme im Durchschnitt noch stärker nachgelassen haben.
Das hört sich seltsam an, macht aber durchaus Sinn – denn mal angenommen, es treten plötzlich reihenweise neue Schädlinge auf, die schwer zu entdecken sind, so wird sich das negativ auf den Durchschnittswert auswirken. Wer seine Erkennungsrate trotzdem beibehält, muss also besser gewesen sein als die anderen.
Mindestanforderungen
Aus den ermittelten Durchschnittswerten ergeben sich Mindestanforderungen an jedes Programm, die es erfüllen muss, um überhaupt in die Punkte zu kommen. Und genau daran scheiterte Microsoft Security Essentials in den letzten beiden Testreihen. Konkret hatte sich die Erkennungsrate bei 0-Day-Malware zwischen Oktober und Dezember 2012 von 64 auf 78 Prozent verbessert – gleichzeitig verbesserte sich aber auch der Durchschnittswert aller getesteten Programme von 89 auf 92 Prozent. Um wenigstens einen Punkt zu bekommen, hätte MSE 82 Prozent der Malware-Samples erkennen müssen. Es blieb in dieser Kategorie also trotz der Verbesserung bei 0 Punkten, weil die Erkennungsraten im Vergleich zum Wettbewerb halt immer noch deutlich schlechter waren.
Ausschnitt aus den Detailergebnissen von AV-Test
Und wie praxisnah ist nun das Testverfahren?
Die Bewertungen und Berechnungen zu durchschauen und zu verstehen, ist eine Sache. Microsoft kritisierte in seiner Antwort auf den letzten Test jedoch, dass die Ergebnisse nicht der realen Welt entsprächen und die nicht erkannten Samples nur ganz wenige Nutzer betroffen hätten.
Der Grund hierfür sind unterschiedliche Interpretationen. Microsoft betrachtet jede Variante einer Malware separat, während AV-Test ähnliche Malware-Programme zu Familien zusammenfasst.
Wird also nur eine Variante beim Test nicht erkannt, so ist das Ergebnis für die gesamte Gruppe negativ.
Welche Messmethode die bessere ist, darüber streiten sich die Gelehrten. AV-Test räumt selbst ein, dass die Bildung von Malware-Familien eine knifflige Sache und auch in der Tester-Branche nicht unumstritten ist.
Unabhängig davon, ob das Verfahren von AV-Test nun „Best Practice“ ist oder nicht, so ist es doch für alle Testkandidaten gleich. Und festzuhalten bleibt leider, dass Microsoft Security Essentials relativ zur Konkurrenz betrachtet deutlich schlechter abgeschnitten hat – und das sollte für Microsoft Anreiz genug sein, das Programm weiter zu verbessern.
Zumal wir ja auch seit gestern wissen, dass auch andere Tester die Security Essentials schlecht bewerten.
Themen:
- Sicherheit
- Software
Über den Autor
Martin Geuß
Ich bin Martin Geuß, und wie unschwer zu erkennen ist, fühle ich mich in der Windows-Welt zu Hause. Seit mehr als 17 Jahren lasse ich die Welt an dem teilhaben, was mir zu Windows und anderen Microsoft-Produkten durch den Kopf geht, und manchmal ist das sogar interessant. Das wichtigste Motto meiner Arbeit lautet: Von mir - für Euch!
