Norconex HTTP Collector

Norconex HTTP Collector est un outil open source conçu pour parcourir rapidement le web et glaner des informations précises en fonction de la requête initiale. En ce sens, il est principalement destiné aux développeurs qui souhaitent améliorer les performances de leurs applications, et plus particulièrement des moteurs de recherche qu'ils programment.

Norconex HTTP Collector est un outil en ligne de commande et ne requiert donc pas d'installation préalable sur votre ordinateur. Décompressez le contenu de l'archive dans le répertoire de votre choix, puis lancez l'application dans le terminal système.

Norconex HTTP Collector est capable de parcourir et d'analyser des sites web très rapidement. Les résultats sont stockés dans un dossier local et permettent de nourrir le moteur de recherche en cours de développement.

Norconex HTTP Collector détecte automatiquement l'idiome utilisé sur les sites qu'il parcourt. Grâce à sa librairie OCR intégrée, il peut également extraire du texte des images et fichiers PDF qu'il rencontre.