Méthodologie de tests

Pour ce premier comparatif, nous n'avons pas évalué les suites sur des durées de récupération restreintes. D'une manière générale, il vaut mieux laisser entre 20 minutes et 30 minutes entre chaque récupération d'e-mails si l'on souhaite laisser une chance à l'antispam de faire son effet.

De même nous n'avons pas cherché ici à piéger les suites, mais à étudier leur comportement normal. Ainsi, la base de spams n'a pas été spécialement trafiquée pour multiplier les risques d'erreurs. En l'occurrence, aucune des suites présentées ici n'a classé en spam un courrier qui n'en était pas, ce qui est rassurant et correspond au comportement attendu.

De même, les suites ont dû se débrouiller sans base de courriers préalable ni base d'adresses de contacts. Certaines protections utilisent des algorithmes bayésiens qui nécessitent un « entraînement préalable » à partir d'e-mails sains et non sains. Dans nos tests, les suites n'avaient droit à aucun apprentissage, elles ont dû se débrouiller avec leurs autres techniques de détection. Kaspersky n'autorisant pas l'activation de l'antispam sans entraînement préalable, nous l'avons entraîné avec les 50 premiers spams de notre base de spams de sorte à neutraliser l'apprentissage. De même, certaines protections utilisent le carnet d'adresses pour les aider à détecter des spams (pour cette raison nous avons dû écarter Thunderbird qui classait tous les e-mails même non spams en spams dans une telle configuration).

Tous les tests ont été faits sur une configuration identique sous Windows XP. Les tests de vitesse ont été réalisés sur un ordinateur HP à base de Core Duo avec 4 Go de RAM.

Les tests de récupération des spams à intervalles réguliers ont été opérés à l'aide de huit machines virtuelles sous XP (512 Ko de RAM) et sous Outlook (avec l'antispam interne du logiciel désactivé), les huit machines virtuelles formant leur propre réseau virtuel NAT, sur un ordinateur Host sous Windows 7 doté de 8 Go de RAM et d'un processeur quadricœur.

Voici les différents critères évalués.

Jusqu'à quel point le traitement du spam peut-il retarder la récupération des e-mails ? Pour répondre à cette question nous avons chronométré à plusieurs reprises la récupération de 5 000 adresses sur Outlook pour chacune des huit suites évaluées.

Nous avons retenu les meilleurs temps et nous avons comparé les résultats au temps mis par Outlook pour récupérer le même nombre de courriers sans usage d'une suite (mais avec l'antispam intégré activé).

Nous avons également évalué par curiosité les consommations mémoire de chaque suite sous Outlook en relevant la charge dédiée et le « pic enregistré par Windows » avant et après la récupération des 5 000 adresses.

Nous avons demandé à chaque suite de récupérer d'un seul coup deux mois de courriers (uniquement des spams) et nous avons vérifié la quantité de spams reconnus et non reconnus.

L'objectif du test était de déterminer les capacités de nettoyage d'une boîte peu utilisée ou sur laquelle tous les courriers seraient conservés. Ce test met également en lumière le fonctionnement du moteur antispam en montrant à quelle vitesse les bases de signatures sont éventuellement nettoyées par l'éditeur.

Ce test a cherché à évaluer la qualité des échantillons de spams des éditeurs à partir desquels ils construisent leurs bases antispams. Certains éditeurs sont trop focalisés sur les spams étrangers et ne tiennent pas aussi bien compte que d'autres des spams en langue française. Nous avons relevé une semaine de spam français et comptabilisé ceux captés par le filtre et ceux oubliés.

Ce test cherchait à évaluer la qualité de l'antispam dans le cadre d'une utilisation de la boîte e-mails deux à trois fois par semaine seulement.

Ce test détermine la qualité du nettoyage des spams pour les internautes qui ne se connectent qu'une fois par jour.

Ce test évalue le scénario le plus fréquent : celui d'une connexion permanente avec une récupération des e-mails toutes les 30 minutes. Le test a été réalisé sur deux journées successives.