Méthodologie du benchmark TV sur ADSL

Objectif

L’objectif est d’évaluer la disponibilité et la performance de la qualité perçue des services de TV délivrés par les principaux fournisseurs d’accès à Internet sur les accès haut débit.Le but final est d’apporter un comparatif objectif des offres des différents fournisseurs d’accès à travers l’indice ip-label permettant :

?” de contribuer à l’amélioration de la qualité perçue des services,

?” d’apporter un éclairage supplémentaire en termes d’aide à la décision.

Principes de base du benchmark

Fidèle à sa stratégie de donner la vision réelle end user, ip-label a choisi de tester plusieurs chaînes communes supportées par les FAI, et également diffusées par la TNT, et d’en moyenner les performances.L’outil de test (Datametrie TVoIP) réalise des contrôles au niveau de la qualité perçue des flux TV.Liste des chaînes testées :

?” France 2

?” France 3

?” France 4

?” France 5

?” Arte

?” NRJ 12

?” LCPCe bouquet de chaîne est entièrement diffusé par le canal ADSL de chaque FAI. Les décodeurs TNT intégrés dans les décodeurs TV des FAI ne sont pas activés et aucune antenne de réception n’est branchée sur ces décodeurs.

Eligibilité des fournisseurs d’accès à Internet

Les fournisseurs d’accès à Internet retenus pour participer à ce benchmark doivent avoir une offre de TVoIP disponible sur l’ensemble du territoire métropolitain.Liste des Fournisseurs d’accès testés

FAI	Offre	IAD	Décodeur
Alice		Tecom AH4021	Sagem ITD00-02

Club-Internet		Tecom AH4222	Kiss

Free	Free TV	Freebox V4	Intégré

Neuf	9TV	Trio 3D	Netbox by Netgem

France Télécom	Ma ligne TV	Speedtouch 546	Thomson

Une référence qualitative est prise au travers d’une réception hertzienne de la TNT (décodeur Sagem ITD62 FR).Note : les équipements sont rebootées une fois par jour afin de permettre leur éventuelle mise à jour.

Architecture de mesure et signal de référence

Le robot de mesure est positionné en ‘ bout de chaîne ‘, c’est-à-dire à la place du téléviseur du téléspectateur. Il est raccordé au niveau du signal analogique (en sortie de prise péritel, derrière le
décodeur). Le flux TV est capturé par la sonde de mesure grâce à une carte d’acquisition.Les méthodes d’analyse de la qualité de la vidéo par référence nécessitent une source (signal de référence). C’est le signal de la télévision numérique terrestre qui est utilisé comme signal de référence car, dans des
conditions de réception optimale, celui-ci est d’excellente qualité et hautement disponible.

Plan de test

Types de tests réalisés1/ Test de disponibilité du service

Chaque test unitaire consiste à vérifier que le téléspectateur a accès, à tout moment, à l’intégralité du bouquet de chaînes proposé par le FAI. Cela suppose de se placer au niveau du contenu vidéo pour détecter les anomalies comme
les mires d’erreurs, les images gelées, les écrans bleus ou noirs.

– Indicateur de disponibilité = taux de réussite de l’affichage de la chaîne sélectionnée avec un flux vidéo animé (%).2/ Test de qualité de la fluidité (Freeze)

Cet indicateur est basé sur la qualité de la fluidité du flux vidéo pendant 15 minutes. Les technologies de diffusion de la TV sur ADSL sont connues pour provoquer un gel de l’image au bout d’un certain temps. Il est
donc important d’effectuer des sessions de mesure afin de vérifier le bon déroulement de la réception sur une période de temps significative. Cet indicateur a pour vocation de détecter aussi bien des gels furtifs (quelques secondes) que les
gels permanents (nécessitant un zapping ou un redémarrage du décodeur).

Un seuil minimum de séquence d’images gelées est appliqué. Ce seuil est actuellement fixé à 12 images consécutives, ce qui correspond à un gel de 0,5 seconde pour l’utilisateur.

– Indicateur de qualité de la fluidité = taux de temps de flux vidéo satisfaisant, sans gel d’images (%).3/ Test de zapping

Il est important pour le téléspectateur de pouvoir passer d’une chaîne à l’autre dans un délai raisonnable. Ceci est d’autant plus vrai que, dans les technologies de diffusion broadcast, ce délai est constant. Les
architectures de télévision sur ADSL imposent un changement de chaîne TV au niveau de l’équipement raccordant toutes les lignes ADSL d’un même secteur : le DSLAM (Digital Subscriber Line Access
Multiplexor). Dans le cas où cet équipement est très sollicité, le délai pour obtenir une nouvelle chaîne lors du zapping peut s’allonger et devenir gênant pour le téléspectateur. Le délai de zapping correspond au temps écoulé
entre l’envoi d’une séquence P+/P- et la réception effective de la chaîne demandée.

– Indicateur de zapping = délai de zapping (Iz).4/ Test de qualité de l’image

A l’heure de la bataille de la télévision numérique, le consommateur a maintenant plusieurs choix qui s’offrent à lui : télévision numérique terrestre (TNT), satellite, télévision sur ADSL. Ces modes de diffusion ont
chacun leurs avantages et inconvénients. Les technologies de diffusion utilisées sont différentes et la qualité perçue lors de la réception peut varier dans le temps. La perte ou l’altération des données transmises peuvent provoquer des
anomalies sur le son ou l’image. Ces anomalies sont plus ou moins gênantes pour le téléspectateur. Ces défauts, appelés artefacts, peuvent se manifester par l’apparition de ‘ blocs ‘ à l’écran.

Exemple :

Autre facteur de dégradation : la limitation à la source.

Les ressources en bande passante étant limitées, quel que soit le mode de diffusion, les diffuseurs ont recours à des méthodes qui limitent la quantité d’informations transmises. Ceci a pour effet de dégrader les images, surtout
lorsque les mouvements sont rapides ou les images très détaillées.

Exemple :

A l’issue de l’enregistrement de la séquence reçue, un algorithme de qualité vidéo normalisé est appliqué au signal. Le modèle, dont la note est comprise entre 0 et 5 (qualité parfaite), a été approuvé pour l’usage dans
l’essai de performance et la comparaison des systèmes visuels numériques : normalisé par l’ANSI en juillet 2003 (norme ANSI T1.801.03-2003), par l’ITU-T en mars 2004 (ITU-T J.144), et par l’ITU-R en juin 2004 (ITU-R
BT.1683). Il permet de calculer un indicateur de qualité vidéo :

?” Indicateur de qualité vidéo = MOS VQM (Iq).5/ Délai entre diffusion broadcast et adsl

Cet indicateur correspond au délai de diffusion qui existe entre les chaînes de télévision diffusées en broadcast (TNT, satellite, …) et les chaînes reçues par le canal ADSL. Cette désynchronisation, qui peut atteindre 10 secondes,
n’est pas identique pour toutes les chaînes. Ce décalage temporel peut être dû à plusieurs facteurs :

1- le système de diffusion de TV sur ADSL effectue des traitements sur le signal : acquisition, démultiplexage, encodage, multiplexage, …

2- les réseaux de diffusion peuvent induire un délai supplémentaire

Pour mesurer ce décalage, nous utilisons les caractéristiques des signatures des flux vidéo (référence et signal testé) puis, par une technique de corrélation, nous obtenons le délai qu’il y a entre la référence et le signal testé.

– Indicateur de décalage = délai de diffusion (Ib)Fréquence de mesure La fréquence de tests de l’agent ip-label s’effectue 22 h/24, 7 j/7. Elle est fixée à 15 minutes pour les tests de disponibilité et de zapping (soit 616 mesures par semaine/fournisseur d’accès à Internet/chaîne), et à
60 minutes pour les qualité vidéo, pour le maintien dans le temps et pour le délai de diffusion (soit 154 mesures par semaine/fournisseur d’accès à Internet/chaîne). Les fournisseurs d’accès à Internet sont invités à communiquer à ip-label
les horaires des maintenances éventuellement prévues sur les plates-formes TV pour une prise en compte dans la planification des mesures.Une fenêtre de maintenance de 2 heures durant laquelle aucun test n’est effectué est mise en place.Ce qui constitue l’échantillon statistique suivant pour chaque FAI et par semaine :

Critère	Disponibilité	Zapping	Freeze	Qualité vidéo	Délai de diffusion
Nb mesures	4312	4312	154	1078	1078

Principe de classement

Le classement est réalisé sur les mesures des sept derniers jours, de manière à avoir un indicateur de type hebdomadaire.L’indicateur de disponibilité (Id)

Une note sur 33 points a été retenue pour la disponibilité. L’indicateur de disponibilité représente le ratio entre le nombre d’essais validés sans anomalies majeures et le nombre de tentatives effectuées sur la période.

On retiendra, ici, le taux de disponibilité sous la forme d’une valeur de 0 à 33. Soit :

?” V, le nombre de tests ayant été validés sans anomalie majeure,

?” T, le nombre total de tests effectués.

L’indicateur de disponibilité Id est calculé de la manière suivante : Id = V/T.L’indicateur de qualité de l’image (Iq)

Une note sur 29 points a été retenue pour la qualité de l’image. Dans le cas de ces mesures, la performance est la valeur du MOS VQM obtenue lors du test ramenée à un indice 29.L’indicateur de Qualité de la fluidité (If)

Une note sur 19 points a été retenue pour la qualité de la fluidité. L’indicateur de qualité de la fluidité représente le ratio entre la durée de réception du flux vidéo sans gel d’image et la durée normale de réception des
émissions télévisées sur la période.L’indicateur de zapping (Iz)

Une note sur 14 points a été retenue pour la performance de zapping. Dans le cas de ces mesures, la performance est le temps moyen nécessaire pour changer de chaîne, ramené à un indice 14.L’indicateur de délai de diffusion (Ib)

Une note sur 5 points a été retenue pour le délai de diffusion par rapport à la diffusion en broadcast. Dans le cas de ces mesures, la performance est le temps moyen du décalage enregistré sur l’ensemble des chaînes, ramené à un indice
5.Critères de performance pour l’attribution des points


Disponibilité		100 % = 33 points <=99 % = 0 point

Qualité de l’image		5 = 29 points <=3 = 0 point

Qualité de la fluidité		0 % = 19 points >=1 %= 0 point

Zapping		<=1 sec = 14 points >=5 sec = 0 point

Délai de diffusion		<=1 sec = 5 points >=5 sec = 0 point

Le calcul de la note globale (IPLAB TV) La note affectée au fournisseur d’accès à Internet dans le classement a donc été obtenue à partir du calcul dune note finale sur 100, établie de la façon suivante :

Note finale = Disponibilité (Id) + Qualité de l’imge (Iq) + Qualité de la fluidité (If) + Délai de diffusion (Ib).

IP Lab TV = Id + Iq + If + Iz + Ib