RoboGen est un éditeur visuel destiné aux fichiers Robot Exclusion. Il permet à l'utilisateur de créer rapidement et facilement des fichiers ROBOTS.TXT nécessaires pour indiquer aux moteurs de recherche quelles sont les parties d'un site Web qui ne sont pas indexées et peuvent être cherchées par un public Web général. RoboGen fait cela tout en fournissant à l'utilisateur un moyen de s'enregistrer sur son serveur FTP et de sélectionner les documents et répertoires qui ne peuvent pas être recherchés.