Les moteurs de recherche se servent de robots, ou spiders, pour explorer les pages des sites web à indexer. Certains outils se sont spécialisé dans la délivrance de statistiques sur la façon dont ces robots (Googlebot, Slurp, MSNBot...) explorent vos pages au quotidien. Nous vous présentons six d'entre eux dans cet article. A vous de choisir celui qui convient le mieux à vos attentes...
Les moteurs de recherche sont basés sur des robots qui viennent indexer les pages des sites web en suivant les liens qu'elles contiennent. Or, un certain nombre d'outils permettent d'obtenir des informations souvent très précises sur ces robots : lesquels sont venus sur votre site et quand ? Quelles pages ont-elles été visitées ? Etc.
Bien sûr, ces statistiques de visites des "crawlers" de Google, Yahoo! et autres Live Search sont souvent proposées, de façon assez sommaire, par vos interfaces de stats "standard"...
Exemple de statistiques "robots" fournies par l'applicatif AWStats (http://awstats.sourceforge.net/), utilisé par de nombreux hébergeurs.
Mais ces statistiques sont le plus souvent très sommaires, pas assez précises pour obtenir des informations réellement exploitables. Nous n'évoquerons donc pas, dans cet article, les possibilités proposées par les outils "généralistes" de mesure d'audience, mais plutôt les outils qui se sont spécialisé dans la détection et la mesure de l'activité des spiders sur un site web. Nous en avons identifié six que nous vous présentons ci-dessous. A vous de les tester et de faire votre choix pour trouver celui qui correspond le mieux à vos attentes.
Nota : Si vous connaissez d'autres outils de ce type, n'hésitez pas à nous les faire connaître, nous en parlerons dans un prochain article.
Crawltrack (http://www.crawltrack.fr/)
Crawltrack est un script disponible en Open Source, très facile à installer : vous uploadez par FTP le contenu d'un dossier sur votre serveur (par exemple dans le dossier www.votresite.com/crawltrack/) et vous tapez cette adresse dans votre navigateur. La procédure d'installation et de configuration prend quelques minutes mais demande à disposer d'une base MySQL sur votre serveur.
L'outil donne alors des stats précises sur les passages des robots par jour, semaine, mois ou années. Vous avez également accès à d'autres stats plus classiques comme le nombre de pages vues, des données sur les "referrers" (l'origine des connexions), etc.
Fichier PDF téléchargeable ici (la lettre Réacteur n'était à cette époque-là disponible que sous cette forme).