Des NAS en cluster taillés pour la performance
par mail
l'article
L'administration des clusters NAS a été considérablement simplifiée ces dernières années, en particulier grâce à la virtualisation complète de l'espace de nommage. Cette technique autorise la gestion d'une seule adresse IP et d'un unique système de fichiers, pour une volumétrie pouvant atteindre plusieurs peta-octets. Et elle facilite l'ajout de nœuds supplémentaires à chaud. Parmi les offres du marché, les sociétés ont le choix entre des clusters prêts à l'emploi (IQ d'Isilon) ou des logiciels (Fusion d'Ibrix, Polyserve d'HP, pNFS de Panasas, Exastore d'Exanet) qui peuvent être intégrés et packagés par différents constructeurs.
L'enjeu : gérer tenue en charge et entrées-sorties
Les sociétés demandeuses de nouvelles technologies NAS doivent faire face aux contraintes d'évolution de leurs capacités de stockage autant qu'à celles concernant les performances pour servir les accès à de nombreux fichiers multimédias. La société Duran Duboi, prestataire en effets spéciaux, a initié le renouvellement de son équipement il y a trois ans. Son stockage, à base de plusieurs petits NAS, devenait trop complexe à administrer et les données difficilement déplaçables en cas de besoin, par exemple quand un NAS était saturé sur une production donnée.
Le site Skyrock.com, lui, héberge du texte, de la musique et des images, mais pas de vidéo. Beaucoup d'entrées-sorties doivent pouvoir se faire sur l'ensemble des fichiers. Les solutions de clusters NAS testées pour répondre à cette demande ont toutes atteint rapidement des limites physiques. De plus, il était difficile de trouver un système stable. Chez Allociné, le besoin de stockage pour le streaming des vidéos des internautes croît d'environ un nœud par an (soit 1 To). Equipés au départ d'une solution de stockage développée en interne, le site a ensuite opté début 2006 pour des serveurs Netapp capables de répondre à des besoins en volume dépassant le teraoctet. “ Au bout d'un an, les limites en performance et en volume de ce nouveau matériel étaient à leur tour atteintes ”, confie Samuel Rohaut, directeur technique d'Allociné. Aux laboratoires Eclair, par contre, jusqu'en 2007, le stockage était surtout destiné à l'étalonnage, avec peu d'accès clients mais des débits élevés. Dès 2000, les laboratoires ont acquis un SAN CXFS de SGI (avec baies et contrôleurs Data Direct Network), qui est monté progressivement à 100 To. “ Pour les effets spéciaux, les besoins étaient différents : beaucoup de clients, des débits plus faibles pas nécessairement en temps réel, et une volumétrie s'adaptant à l'évolution des projets ”, détaille Philippe Reinaudo, le directeur technique, qui a choisi une vraie rupture technologique.
Le choix : un NAS adaptable et robuste
Performances, évolutivité, mais aussi facilité d'administration se retrouvent en tête des priorités. Les laboratoires Eclair souhaitaient pouvoir ajouter de la volumétrie à chaud. Très vite ils ont abandonné l'idée d'un stockage SAN pour du NAS. Choisir entre Exanet et Isilon n'a pas été évident. Ils se sont finalement décidés pour un cluster Exanet, packagé par leur partenaire historique SGI, et plus facilement compatible avec le stockage SAN déjà en place. Duran Duboi n'avait pas non plus d'a priori sur la technologie. “ Mais nous avons finalement opté pour le NAS à cause de sa souplesse et de son coût, et pour la solution Exanet, la seule parmi celles testées qui nous permettait de tenir tous les accès concurrents à plus de 750 Mo/s en écriture sans s'écrouler ”, souligne Philippe Chotard, responsable système de Duran Duboi.
Les besoins en stockage des sites Allociné et Skyrock étaient pour leur part beaucoup plus importants. “ Pour notre site de Courbevoie, nous nous sommes équipés en 2007 d'un stockage Isilon consacré aux medias vidéo et photo, et d'un un back up à Paris, précise Samuel Rohaut, d'Allociné. Avec, pour chacun, 2 To sur serveurs Netapp réservés à la base de données textuelles. ” En 2008, le volume a été monté à 6 To utiles, doublé pour les besoins de sauvegarde. Outre l'ajout automatique de nœuds, l'espace unique de nommage était un critère primordial afin de ne pas avoir à modifier tout un ensemble d'applications maison. Quant à Skyrock, ils sont devenus en 2005 le premier client français d'Isilon, un choix en partie effectué en prenant exemple sur Myspace. Mais contrairement à ce dernier, qui héberge de nombreuses vidéos, les serveurs de Skyrock gèrent beaucoup de fichiers de quelques dizaines de kilo-octets maximum. Aussi, même en ajoutant de nouveaux nœuds au cluster Isilon, sa capacité à gérer autant d'entrées-sorties était saturée. Début 2008, Skyrock a acquis 170 To supplémentaires.
La mise en œuvre : les éditeurs en première ligne
Ces solutions propriétaires sont généralement installées et configurées par les éditeurs eux-mêmes. Chez Allociné, l'installation du cluster Isilon s'est avérée très simple, le plus long étant de racker les nœuds dans les baies. La maintenance s'effectue à chaud, sans interruption de services. Aux laboratoires Eclair, la mise en place par les techniciens d'Exanet et ceux de l'intégrateur SGI a pris deux jours. Un banc d'essai effectué au niveau des stations clients a validé un débit réel de 400 Mo/s mutualisé. De même chez Duran Duboi, l'installation et la configuration ont été entièrement prises en charge par l'éditeur : “ Exanet a rapidement corrigé les premiers problèmes rencontrés, dont le plus notable était un bug de communication entre le serveur NFS Exanet et les clients Irix 64 bits, détaille Philippe Chotard. Ce bug faisait disparaître aléatoirement des fichiers depuis ces stations. En pratique, les fichiers étaient toujours présents, mais les Irix ne les voyaient pas. ”
En revanche, Skyrock a rencontré un problème de performances. Le paramétrage initial a été assuré par Isilon, afin que le système arrive à tenir la charge du nombre de requêtes des internautes, qui croît beaucoup plus vite que celle du volume de fichier stockés. “ Malgré ces réglages, la hausse des requêtes entraînait une baisse des performances en deçà du service souhaité. Une partie de l'explication au problème venait du fait que les fichiers gérés sur le site de Skyrock sont d'une taille plus petite que les blocs gérés par Isilon ”, souligne Jérôme Aguesse, directeur de production de Skyrock.com. L'éditeur a dû développer des correctifs spécifiques pour répondre à ces limitations, lesquels ont été ultérieurement intégrés à la version courante. La tenue en charge a aussi bénéficié de l'arrivée de la nouvelle génération de clusters plus performants, grâce aux CPU multi-cœurs. Mais le résultat n'était toujours pas satisfaisant. L'équipe technique de Skyrock a dû alors mettre 80 % du contenu dans un cache géré par Squid, un proxy-cache open source.
Le bilan : un stockage efficace mais monolithique
La situation chez Duran Duboi illustre bien la fiabilité et les performances de ces systèmes. Une fois leur solution (Exanet) mise en route, le temps d'administration a été considérablement réduit et la disponibilité des medias améliorée. Plus de temps d'attente pour la migration de données, moins de redémarrage système, une maintenance matérielle facilitée… Les graphistes attendent deux fois moins de temps leurs chargements de séquence ou de calculs.
Les performances et la fiabilité sont aussi au rendez-vous chez Eclair, où le paramétrage de la configuration a été rapide. La redondance a déjà permis d'éviter que la panne d'un nœud provoque l'arrêt des services. “ L'administration du volume unique est très efficace. C'était important de bien choisir le partenaire et d'avoir un cahier des charges clair ”, conclut Sylvain Jardin, responsable systèmes et réseaux des laboratoires Eclair. Même constat chez Skyrock en ce qui concerne la fiabilité de la technologie Isilon. En quatre années de fonctionnement ils n'ont perdu aucune donnée, avec un niveau de sécurité Raid N+2. “ Par ailleurs, avoir un seul système de fichiers nous simplifie la vie, ainsi que leur répartition automatique, souligne Jean-Louis Bergamo, responsable système et réseaux chez Skyrock. Nous voulions un fonctionnement simplifié et des besoins limités en formation car notre équipe système de cinq personnes doit gérer 700 serveurs. ” Seulbémol, dont ils n'avaient pas conscience au départ, leur cluster a du être renouvelé complètement lorsqu'ils ont voulu étendre ses capacités en profitant des nœuds de dernière génération. En effet le système n'accepte pas de clusters hétérogènes avec des nœuds de taille différente.
Allocine rencontre le même obstacle avec la gamme Isilon. Actuellement, ils ont davantage de besoins en volume qu'en performance, mais les nœuds commercialisés par le constructeur, de type EX sans CPU, ne sont disponibles qu'avec les versions 7000 ou 9000, non compatibles avec leur cluster IQ1920.
Les 4 entreprises étudiées
Activité : portail de consultation de la programmation des cinémas et de réservation des places par téléphone.
Siège : Paris (75).
Effectif : environ 80 personnes.
CA 2007 : 14 M d'euros.
Problème rencontré : la solution de stockage vidéo sur serveurs NAS avait atteint ses limites en performances et en volume, et n'était pas assez évolutive.
Solution déployée : en 2007, un cluster Isilon à Courbevoie (IQ1920, 2 x 4 To utile en Raid 5) et un à Paris pour la réplication (IQ200, 4 nœuds de 4 disques de 500 Go). En 2008, évolution à 2 x 6 To utile.
Activité : production, distribution, industries techniques du cinéma et de la télévision.
Siège : Issy-les-Moulineaux (92).
Effectif : entre 100 et 200 personnes.
CA 200 : 22,4 M d'euros.
Problème rencontré : le stockage existant, à base de plusieurs petits NAS, était inadapté pour faire face à l'augmentation du parc machines.
Solution déployée : Deux clusters Exanet avec 4 et 2 nœuds acquis fin 2005, puis un troisième avec 4 nœuds en 2007, soit 40 To au total. Les serveurs de marque IBM ou Supermicro possèdent des disques Seagate Fibre et SAS, de 146 ou 300 Go.
Activité : fournisseur de services (studios, laboratoires film et numérique, etc.) pour tous les maillons de la production cinématographique et vidéo.
Siège social : Epinay-sur-Seine (93).
Effectif : 350 personnes.
CA 2007 : 70 M d'euros.
Problème rencontré : besoins accrus de stockage en 2007 pour les effets spéciaux, dus à un projet important demandant 30 stations de travail et 60 processeurs de calcul (ferme de rendu).
Solution déployée : acquisition en 2007 d'un cluster NAS de 10 To avec Exanet, 2 nœuds Altix XE 240 de SGI, et 2 baies LSI IS4000, reliés en Fibre Channel, le tout étant redondant.
Activité : radio et site internet.
Siège : Paris (75).
Effectif : 200 salariés pour le groupe (70 pour le site communautaire Skyrock.com).
Problème rencontré : devoir gérer près de 18 millions de blogs multimédias entraîne beaucoup d'entrées-sorties sur l'ensemble des fichiers.
Solution déployée : un cluster Isilon de 100 To à 56 noeuds IQ1920i en 2005, et 170 To de plus (19 noeuds IQ9000X de 9 To) en 2008. Budget : plus d'1 M d'euros.
Un espace de nommage unique mais beaucoup de redondances
L'ajout de nœuds successifs augmente la bande passante par agrégation des cartes Gigabits, et la charge en entrées-sorties par agrégation des contrôleurs de disques. Mais pour des applications nécessitant beaucoup d'accès aux données, en particulier sur de nombreux petits fichiers, les performances du système peuvent s'écrouler.
La volumétrie totale due à l'ajout des nœuds (à chaud) peut dépasser le petaoctet. Un espace de nommage unique du système de fichiers montre un seul volume virtuel de disques avec une unique adresse IP. L'administration des différents projets et le fonctionnement des différentes applications en sont grandement facilités.
Les requêtes des clients sont équilibrées et redirigées sur le brin le moins chargé du cluster, ce qui optimise les performances. Un autre atout est la parallélisation : les données passent par deux têtes au lieu d'une seule puis sont reconstituées au niveau du poste client. Enfin les données sont découpées et les fichiers éclatés sur les différents disques des différentes machines.
La couche logicielle propriétaire facilite l'administration du cluster tout en garantissant de la performance, de la haute disponibilité et une sécurisation des données. En revanche, le client n'a aucune maîtrise de son système en cas de bugs ou de sous-performances, et est dépendant de la réactivité de la hot line de l'éditeur. Ce qui peut être critique pour certaines applications.
Samuel Rohaut (Allociné) : “ nous voulions un cluster de stockage évolutif ”
“ Plusieurs solutions de clusters NAS étaient envisageables. Nous pouvions faire évoluer le matériel déjà installé, mais cela revenait à investir sans obtenir plus de souplesse. Une autre possibilité était de revenir à une solution interne construite à partir de briques open source telles que FreeNAS ou OpenNAS qui se sont améliorés, mais ne convenaient pas à l'époque. Les tests de différentes offres commerciales ont révélé que certaines étaient trop complexes à administrer. D'autres étaient limitées en termes d'espace de nommage, ce qui nous aurait obligés à modifier nos applications d'accès. Finalement, nous avons choisi la solution d'Isilon qui avait l'avantage d'être évolutive et d'offrir un espace de nommage unique, pour un volume en théorie pouvant dépasser le petaoctet. ”
Philippe Chotard (Duran Duboi) : “ nous avons un peu essuyé les plâtres ”
“ Nous devions faire face à l'augmentation du parc machines pour les stations de travail et les calculateurs, ainsi qu'au besoin de diminuer le temps d'attente des graphistes lors de chargement de séquences ou de calculs sur la ferme de rendus. Notre choix s'est porté sur des clusters Exanet, qui nous laissaient la liberté du matériel aussi bien pour les disques que pour les serveurs. Aujourd'hui la bande passante de notre système le plus performant monte à plus de 1.2 Go/s. Mais cette technologie n'était pas largement répandue à l'époque, et aucune base de ressources ou forum n'était présente sur le web. Lors de dysfonctionnements, il n'était pas toujours évident de déterminer si la source du problème était de notre côté ou du leur. Cela nous demandait de rechercher parfois longuement de notre côté avant d'incriminer Exanet. ”
Sylvain Jardin (Laboratoires Eclair) : “ des options par défaut largement suffisantes ”
“ Nous avons hésité entre Exanet et Isilon, similaires en termes de facilité d'administration et aussi sur le fait qu'elles n'autorisent aucune maîtrise sur la technologie employée. Nous avons finalement choisi des clusters NAS Exanet pour le stockage et le calcul, intégrés par notre partenaire historique SGI. Notre installation est redondante, aussi bien au niveau des commutateurs que des onduleurs. Le coût des deux solutions était aussi équivalent, mais l'approche commerciale différait. Isilon proposait un plus large choix d'options à la commande alors qu'Exanet en incluait un certain nombre par défaut qui couvraient largement nos besoins. Nous ne les avons d'ailleurs pas toutes utilisées, ni la fonction snapshot qui prend de la place sur les disques, ni quota qui permet d'allouer des priorités à certains clients. ”
Jérôme Aguesse (Skyrock) : “ un cluster open source pour plus de maîtrise ”
“ Le cluster Isilon que nous avons retenu dès 2005 pour stocker les blogs a du être adapté à notre cas par l'éditeur, mais ses performances demeuraient en deçà de ce qui était espéré. En 2007, nous avons donc décidé de développer en parallèle notre propre cluster à partir de l'open source Mogile FS. Ce cluster de 20 To avec 12 nœuds HP DL320 gère les images des profils des internautes. Nous avons développé un script de génération d'imagettes à la volée en relation avec notre moteur de recherche Exalead. L'open source représente un investissement au départ, surtout en temps, mais ce cluster est maintenant complètement documenté, avec un support effectué en interne. Il nous donne satisfaction et tient bien la charge. Pour le futur, nous nous sentons ainsi davantage indépendants, avec deux systèmes en parallèle, dont un open source. ”
L'avis de l'intégrateur : Patrick Dufour, directeur avant-vente chez Stordata
“ Des grappes pour des besoins bien spécifiques ”
“ Des constructeurs comme Exanet, Isilon ou Netapp avec Ontap GX (ex-Spinnaker), proposent de nouvelles solutions de clusters NAS évolutifs avec une seule volumétrie, convenant bien au stockage multimédia de grande capacité. Mais il demeure indispensable de définir correctement ses besoins au départ, sinon les performances réelles peuvent être moins bonnes que prévues. Par ailleurs, les nœuds de différentes générations ne sont pas toujours compatibles, y compris ceux du même constructeur. ”
“ La sophistication a des limites ”
“ Ces systèmes embarquent une “ intelligence ” qui sait optimiser la gestion des disques et des requêtes, mais qui présente un aspect boîte noire. L'administrateur ne sait pas où se trouvent physiquement ses données. Et il est bon de penser à un système de duplication ou de sauvegarde des données, quelle que soit la fiabilité intrinsèque du système. Enfin la volumétrie unique présente des limites à l'usage. Il peut être utile de structurer le volume en fonction des services ou des types de données. ”
