S'abonner :

Newsletters

Magazines

01men.

Méthodologie du benchmark VoIP

La rédaction

01net.

le 11/07/2005 à 17h00

envoyer
par mail

imprimer
l'article

Mise à jour (11 juillet 2007)

Différents critères sont pris en compte pour l'établissement du classement, dont la performance d'acheminement de l'appel. Avant le changement de méthodologie appliqué le 7 juin, le temps pris en compte correspondait au délai s'écoulant entre la fin de la numérotation et la réception du ring back tone (retour de sonnerie). Ce dernier ne correspond pas au début de la sonnerie sur le poste appelé, mais est renvoyé par la box de l'appelant. Selon les technologies mises en oeuvre par les FAI, ce ring back tone peut être transmis soit de manière cyclique, soit après un délai fixe. L'utilisateur a la sensation que le téléphone de l'appelé sonne, alors qu'il peut s'écouler plusieurs secondes avant que la sonnerie soit effective sur le poste distant.

Nous avons donc procédé à un ajustement de la méthodologie afin de présenter une perception qui colle à la réalité. Pour cela, la période de prise de mesures pour cet indicateur a été étendu jusqu'au décroché par l'appelé. Naturellement, le décroché s'effectue par nos robots de manière automatisée et paramétré pour être effectué immédiatement après la troisième sonnerie. Le robot appelé étant le même pour tous les FAI, l'instant de décroché est identique pour tous.

Les seuils permettant de calculer la note ont été placés à 15 et 20 secondes, 15 secondes correspondant au délai moyen nécessaire à l'acheminement de l'appel jusqu'au décroché depuis une ligne téléphonique analogique. Cette valeur est connue en moyennant les performances constatées sur la ligne RTC de référence sur plusieurs milliers de tests. La note attribuée à la performance d'acheminement jusqu'au décroché compte pour 10% de la note globale.

Le classement à trois mois a été recalculé en cohérence avec la méthodologie annoncée. Un maintien de l'ancienne méthodologie sur le classement à 3 mois, situé sous le classement hebdomadaire, aurait eu pour conséquence, pour le lecteur, une sensation de forte amélioration ou une forte dégradation début juin par rapport aux précédents mois.

Première publication le 29 avril 2005

Objectif

L'objectif est d’évaluer la disponibilité et la performance de la qualité perçue des services de téléphonie grand public, délivrées par les principaux fournisseurs d’accès Internet sur les accès haut-débit.
Le but final est d’apporter un comparatif objectif à travers l’indice ip-label permettant :
- de contribuer à l’amélioration de la qualité perçue des services,
- d’apporter un éclairage supplémentaire en termes d’aide à la décision.

Principes de base du benchmark

Fidèles à notre stratégie de donner la vision réelle end user, nous avons choisi de tester plusieurs types d’appel vers des serveurs de références et d’en moyenner les performances.
L’outil de test (Datametrie VoIP) réalise des contrôles réguliers à deux niveaux :
- un contrôle des aspects qualité vocale,
- un contrôle des aspects réseaux et d’aptitude de celui-ci à transporter la voix.

Eligibilité des fournisseurs d’accès à Internet

Les fournisseurs d’accès à Internet retenus pour participer à ce benchmark doivent répondre aux critères suivants :
- avoir une offre de VoIP disponible sur l’ensemble du territoire métropolitain.

Environnement de mesures

Machines
Les machines effectuant les tests sont des machines sous OS Windows équipés d’un outil de mesures simulant un appel téléphonique et des flux de type RTP.
Accès
Les machines réalisant les mesures sont connectées au réseau à partir de l’équipement modems mis à disposition du client par le fournisseur d’accès à Internet. Ceux-ci sont raccordés au lien haut débit mis à disposition par le fournisseur d’accès à Internet dans le cadre de son offre de service générique ADSL et Voix.
Séquence de référence
La séquence de référence analysée pour déterminer l'indice de la qualité vocale est un message vocal réalisé sur la base de voix humaines et comportant quatre locuteurs différents (2 femmes et 2 hommes). Le taux d'activité vocale est de l'ordre de 60 %. Ce message est d'une durée de 11 secondes, et l'ensemble de l'indice de qualité vocale porte sur cette durée. Conformément aux préconisations ITU, le message est encodé sur 16 bits.
Endroits
Les mesures sont effectuées depuis Paris (11e arrondissement) et Marseille (15e arrondissement).

Types de tests réalisés

1/ Test de disponibilité du service
Chaque test unitaire consiste à établir un appel à partir d’un agent ip-label vers un serveur vocal situé sur le Réseau téléphonique commuté et qui va délivrer un message de référence. Ce message est alors enregistré par l’agent puis analysé pour en déduire la qualité de la transmission et la qualité vocale.

L’ indicateur retenu pour établir le classement est le suivant :
- Indicateur de disponibilité = taux de réussite de l’acheminement, du décroché et le statut de corrélation vocale avec le message de référence attendu (%).

2/ Test de performance d’acheminement jusqu'au décroché
La performance d'acheminement jusqu'au décroché correspond au temps écoulé entre la fin de la numérotation par l'appelant et le décroché par l'appelé. Il traduit ainsi la capacité du fournisseur à prendre en charge dans un délai acceptable un appel vers le réseau général.
Dans ces tests, un répondeur commun à tous les FAI est paramétré pour répondre systématiquement a un même moment pour tous les appels reçus.
- Indicateur de performance d'acheminement jusqu'au décroché = Temps de décroché (Ia).

3/ Test de qualité vocale
A l’issue de l’enregistrement de la séquence reçue, un algorithme de qualité vocale normalisée sous le nom de PESQ est appliqué au signal. Il permet de calculer un indicateur de qualité vocale :
- Indicateur de qualité vocale = Evaluation de la qualité perçue de la voix = MOS PESQ soit (Iv).
Nota : ce test fournit un indice de qualité dans un seul des sens de la communication.

4/ Test de la partie Réseau
Chaque test unitaire consiste à déclencher une session d’envoi de trames RTP à partir d’un agent ip-label vers un serveur de références situé sur le réseau Internet. Pour assurer la fiabilité et la robustesse des tests, deux sessions RTP consécutives sont émises vers les deux serveurs de références ip-label situés sur les réseaux Colt et MCI. La conformité de la séquence émise avec la séquence reçue est contrôlée.
Ce test permet de qualifier l’aptitude du réseau IP à transporter la voix. Les valeurs permettant la construction de l’indicateur de qualité Voix sont principalement la latence, la gigue, les pertes de paquets, sur la base du type de codec retenu par le fournisseur d’accès à Internet dans son équipement Modem.
L’ indicateur retenu pour établir le classement est le suivant :
- Indicateur de qualité réseau = MOS E.Model
Nota : Le calcul s’applique sur chacun des sens de la communication.

Fréquence de mesure

La fréquence d’appel de l’agent ip-label est fixée à 60 minutes, 24h/24 7j/7 (soit 168 mesures par semaine/fournisseur d’accès Internet). Les fournisseurs d’accès à Internet sont invités à communiquer à ip-label les horaires de maintenance éventuellement prévus sur les plates-formes voix pour une prise en compte dans la planification des mesures.

Principe de classement

Le classement est réalisé sur les mesures des sept (7) derniers jours, de manière à avoir un indicateur de type hebdomadaire.

L’indicateur de disponibilité (Id)
Une note sur 100 points a été retenue pour la disponibilité. L’indicateur de disponibilité représente le ratio entre le nombre d’essais validés sans anomalies majeures et le nombre d’appels effectués sur la période.
On retiendra ici le taux de disponibilité sous la forme d’une valeur de 0 à 100. Soit :
- V, le nombre de tests ayant été validés sans anomalie majeure,
- T, le nombre total de tests effectués.
L’indicateur de disponibilité Id est calculé de la manière suivante : Id = V/T

L’indicateur de Performance d’acheminement jusqu'au décroché (Ia)
Une note sur 100 points a été retenue pour la performance d'acheminement jusqu'au décroché. Dans le cas de ces mesures, la performance est la valeur du temps de décroché du serveur vocal ramené à un indice 100.
Le seuil haut (100 pts) est inférieur ou égal à 15 s et le seuil bas (0 pt) à partir de 20 s.

L’indicateur de qualité vocale (Iv)
Une note sur 100 points a été retenue pour la qualité vocale. Dans le cas de ces mesures, la performance est la valeur du MOS PESQ obtenue lors du test de service téléphonique ramené à un indice 100.

L’indicateur de qualité du réseau (Ir)
Une note sur 100 points a été retenue pour la qualité réseau. Dans le cas de ces mesures, la performance est la valeur du MOS E.Model obtenue lors du test réseau ramené à un indice 100.

Notation globale
La note globale du fournisseur d’accès à Internet est réalisée sur un indicateur composite de 100 pts. Les poids des coefficients sont de 50 % pour l’indicateur de disponibilité du service, de 25 % pour la qualité vocale, de 15 % pour la qualité réseau et de 10 % pour la performance d’acheminement.

Le calcul de la note globale (IPLAB voix)
La note affectée au fournisseur d’accès à Internet dans le classement a donc été obtenue à partir du calcul d’une note finale sur 100 pondérée de la façon suivante :
Note finale = 50% x Disponibilité (Id) + 25% x Qualité Vocale (Iv) + 15% x Qualité Réseau (Ir) + 10% x performance d'acheminement jusqu'au décroché (Ia)

L’indice a été calculé en agrégeant les trois indicateurs ci-dessus. A chaque indicateur est affecté un coefficient permettant de moduler son influence dans l’indice complet :
- Cd : coefficient de l’indicateur de disponibilité du service Id
- Cv : coefficient de l’indicateur de Qualité vocale Iv
- Cr : coefficient de l’indicateur de Qualité réseau Ir
- Ca : coefficient de l'indicateur de Performance d'acheminement jusqu'au décroché Ia

Le calcul de l’indice IP-Label “ IPLAB voix ” est donc :
IP Lab Voix = [(Id x Cd) + (Iv x Cv) + ( Ir x Cr)] + (Ia x Ca) / (Cd + Cv + Cr + Ca)

Classement à trois mois

Un classement agrégeant les mesures sur les trois derniers mois permet de classer les fournisseurs de service voix sur le marché grand public sur une période plus longue et de dessiner les tendances qualitatives observées sur le marché Entreprises.