Elle est gigantesque et très difficile à évaluer. En 1998, Google répertoriait ? “ indexait ” dit-on dans le jargon ? 26 millions de pages. En 2000, elle en répertoriait plus d’un milliard. Comment un moteur de recherche s’y prend-il pour indexer le Web ? Il consulte une page, recense tous les liens hypertextes vers d’autres pages, parcourt les nouvelles pages ainsi découvertes, et recommence sans cesse son travail de filature.En juillet 2008, Google a ainsi annoncé avoir passé le cap des mille milliards de pages Web recensées ! A partir d’une analyse statistique sur des mots particuliers, le site World Wide Web Size (www.worldwidewebsize.com) évalue le nombre minimal de pages recensées par l’ensemble des moteurs : près de 18,5 milliards de pages, début juillet.
Encore loin de la réalité
Une telle estimation de la taille du Web à partir des résultats des moteurs de recherche a toutefois des limites. Quand ce ne sont pas les sites qui interdisent leur recensement, les moteurs “ oublient ” beaucoup d’informations, comme les bases de données. Un exemple : Google est incapable de donner l’heure du prochain train Paris-Lille. Et pourtant, l’information existe sur le site de la SNCF, dans la base de données que l’internaute peut interroger. La partie visible du Web par l’entremise des moteurs serait ainsi infime, moins de 1 % de ce qui existe ! De son côté, la société de services britannique Netcraft (www.netcraft.com) évalue les parts de marché des logiciels qu’utilisent les serveurs Web (les ordinateurs qui hébergent les sites). Elle les interroge de manière automatique et compte au passage le nombre de sites qu’ils abritent. En juin, Netcraft dénombrait plus de 238 millions de sites Web. Et si tout cela n’était pas déjà démesuré, une équipe de chercheurs chinois a même montré que la taille du Web double tous les 5,32 ans, sur le même principe que la loi de Moore…
🔴 Pour ne manquer aucune actualité de 01net, suivez-nous sur Google Actualités et WhatsApp.
