Oseox Sitemap et Monitoring pour suivre ses optimisations SEO

Sites piratés : De plus en plus de hacks sont réalisés dans un objectif SEO afin d'insérer des backlinks ou de désindexer un site. Vérifier dans les entêtes HTTP un "X-Robots-Tag" noindex ou une « mauvaise » canonical sont parfois des actions journalières.

Robots.txt de la pré-production en production : Comme tout le monde, vous avez protégé votre plateforme de recette du crawl des robots via des instructions stricts dans le robots.txt. Catastrophe, ce fichier a été passé en production !

Mauvaise configuration : La mauvaise mise à jour d'un plugin ou un clic d'un néophyte dans votre interface d'administration a déployé sur l'ensemble de votre blog WordPress un meta robots noindex.

Les redirections disparues : Toutes les jolies règles de redirections rédigées avec précision au fil des années ont disparu du serveur sans que personne ne sache vraiment ni quand ni pourquoi.

Contenu supprimé : Quelqu'un a fait le ménage dans un back-office et a supprimé des pages générant un fort trafic. Problème : le site proposant plus de 1 000 000 d'URL, personne ne l'a remarqué !

URL modifiée : Les URL de votre navigation à facettes sont construites à partir des intitulés et valeurs des filtres. Vous l'aviez optimisée avec amour. Malheureusement, « Patrice » du service UX a changé les intitulés afin de doper le taux de transformation. Des milliers d'URL ont alors été modifiées, mais personne n'avait songé à prévenir le référenceur.

Le constat

Il serait possible de lister aisément de très nombreux autres cas. Le trafic en provenance des moteurs de recherche est bien souvent le canal d'acquisition le plus important d'un site web et s'il n'est seulement que deuxième dans certains cas, il est alors quasiment toujours celui qui présente le plus fort retour sur investissement.

Pour se réveiller de ce type de cauchemar, il faut attendre qu'un référenceur remarque une chute alarmante des positions sur de multiples mots clés ou du trafic moteur. Toutefois, dans beaucoup d'organisations, le trafic ne peut être vérifié chaque jour. Par ailleurs, une baisse d'une journée ne signale pas toujours un problème majeur. Il faut donc du temps pour se rendre compte que le bateau prend l'eau. Dans ce type de cas, chaque jour compte, surtout sur les thématiques les plus concurrentielles.

Agir quand les positions dans les moteurs ont déjà baissé, c'est déjà agir trop tardivement.

Travailler de cette manière est à la fois archaïque et terriblement risqué pour un site dont le canal SEO présente une importance majeure. Enfin, il n'est humainement pas possible de vérifier chaque jour les optimisations SEO d'un site sur l'ensemble des pages qu'il contient.

Automatiser les vérifications des optimisations On-Page

Aussi, suite à un terrible problème détecté une semaine après son apparition sur un important site e-commerce, nous avons décidé de développer des solutions logicielles afin de répondre à cette problématique.

Oseox Sitemap et Oseox Monitoring sont deux logiciels distincts proposés en mode « Software as a Service ». L'objectif est de vérifier tous les jours différentes optimisations On-Page, et d'alerter les référenceurs automatiquement par email dès qu'un changement sur leur site pouvant affecter le SEO est repéré.

Concrètement, il s'agit de scraper les entêtes HTTP ou/et le code HTML d'une URL, de comparer les éléments intéressants pour le SEO entre deux passages des robots du logiciel puis de notifier les utilisateurs en cas de données différentes.

Présentation d'Oseox Sitemap

Oseox Sitemap est un logiciel à utiliser en ligne proposant le monitoring du « Status Code » inclus dans les entêtes HTTP. Vous connaissez tous l'entête HTTP 404 délivré lorsque l'on tente d'afficher une URL qui ne correspond à aucun contenu du site.

Dans la plupart des cas, une URL qui se positionne avec succès dans les moteurs de recherche envoie le code 200 qui signifie "OK". Les choses peuvent terriblement se compliquer lorsque ce code change.

Vous vous souvenez des cauchemars SEO listés en début de cet article ? Si quelqu'un modifie cette URL ou la supprime, le code risque de se transformer en 404 (File Not Found), 301 (Moved Permanently) ou bien encore 302 (Moved Temporarily) par exemple.

L'idée d'Oseox Sitemap est donc de monitorer vos précieuses URL qui doivent être en 200 et de vous prévenir par email sous 24H lorsqu'une URL « décide de changer de code ».

Tous les référenceurs sont pris par le temps. Il y a de plus en plus d'outils à savoir maitriser et il n'est pas possible de consacrer trop de temps à la configuration de beaucoup d'entre eux.

La figure 1 montre la configuration en un1 copier-coller de toutes les URL à monitorer. Il suffit d'indiquer par exemple l'URL d'un fichier XML contenant une liste de liens placés sur votre serveur. Notez bien qu'il ne s'agit pas forcément du sitemap XML que vous envoyez aux moteurs de recherche (mais il peut aussi s'agir de celui-ci, à votre guise).

Fig.1. Ajouter un sitemap XML à monitorer.

Sur certains sites, il est fastidieux et/ou couteux de disposer d'un tel fichier à jour. Il est donc possible (figure 2) d'uploader directement via l'interface d'administration de l'outil une liste d'URL personnalisée, aussi bien via un copier-coller que par l'import d'un fichier texte contenant une URL par ligne.

Fig.2. Ajouter une liste d'URL personnalisées à monitorer.

A partir de là, vous n'avez plus rien à faire. Il est possible de se déconnecter de l'outil et de ne plus jamais y revenir (tant que vous ne désirez pas changer la liste d'URL, en tout cas).

La figure 3 est un exemple d'email de notification envoyé lorsque des URL ne répondent plus en 200. Si de nombreuses erreurs surviennent, un fichier CSV est proposé en téléchargement afin d'obtenir ainsi un tableau de synthèse simple et rapide à traiter.

Fig.3. Exemple de notification par email proposant de télécharger un CSV.

Le CSV proposé en téléchargement sera constitué de 2 colonnes : L'URL et le status code HTTP associé.

Afin de travailler en équipe, il est possible de configurer plusieurs destinataires des notifications comme l'indique la figure 4.

Fig.4. Configuration de plusieurs destinataires des emails de notifications.

En guise de conclusion, sachez que vous pouvez configurer plus de 100 000 URL à monitorer chaque jour afin de dormir sur vos 2 oreilles. 🙂

Présentation d'Oseox Monitoring

Oseox Monitoring est le grand frère d'Oseox Sitemap. Il est capable non seulement de monitorer bien plus de facteurs SEO comme nous le verrons par la suite, mais égalementi de réaliser jusqu'à 24 crawls par jour par URL soit 1 par heure. Dans certains cas, ne vérifier qu'une fois par jour peut en effet être encore trop lent.

Oseox Monitoring offre donc une palette de vérifications bien plus large et une réactivité plus forte.

La figure 5 illustre la capacité de l'outil à scrapper votre site via un user-agent donné, mais aussi à notifier des destinataires différents pour chaque site. Pour un prestataire SEO, cela permet d'attribuer les alertes uniquement au référenceur en charge du projet.

Fig.5. Ajouter un site.

 

Par défaut, dès l'ajout d'un nouveau site, Oseox Monitoring va monitorer une série d'éléments automatiquement. La moindre modification dans le robots.txt vous sera notifiée.

De même, les entêtes de la homepage du site accessible en HTTP et HTTPS ainsi que la version avec ou sans le sous-domaine www seront vérifiés chaque heure. Sur la plupart des sites, c'est le code 301 qui sera attendu.

Fig.6. Monitoring du protocole et sous domaine « inverses ».

A partir de là, il est possible d'ajouter les URL que vous souhaitez monitorer. Deux possibilités s'offrent à vous. Ajouter une à une les URL manuellement ou bien utiliser un formulaire d'import en masse (bulk).

Fig.7. Formulaire d'import d'URL.

 

Il reste désormais à indiquer ce que vous souhaitez monitorer. Par défaut, tous les critères seront monitorés. Ainsi, vous ne perdez pas de temps à configurer, l'outil est directement opérationnel.

Fig.8. Formulaire d'import.

Il est sinon possible de monitorer des éléments liés aux entêtes HTTP :

• Status code ;
• Canonical ;
• X-robots.

Mais également des éléments inclus dans le code HTML :

• Title ;
• Meta Description ;
• Meta Robots ;
• Canonical.

Prochainement, il sera aussi possible de tracker des tags comme un tag analytics et n'importe quel élément via des expressions régulières.

Enfin, la dernière fonctionnalité intéressante à connaitre est la « marque blanche ».

La figure 9 montre le formulaire permettant de remplacer les mots « Oseox Monitoring » par votre marque ainsi que de personnaliser le logo dans les emails de notification envoyés par le logiciel.

Fig.9. Utiliser Oseox Monitoring en marque blanche (exemple fictif 🙂 ).

 

Conclusion

En guise de conclusion, Oseox Sitemap et Oseox Monitoring sont en quelque sorte des logiciels destinés au « contrôle qualité SEO ».

Il est toujours amusant (quoi que...) de recevoir des notifications suite à une mise en production alors que le référenceur n'a pas été prévenu. Dans le meilleur des cas, cela sera pour constater avant même de procéder à une recette que de nouvelles optimisations ont été déployées.

Dans le pire des cas, cela sera pour constater automatiquement une dégradation.

L'absence de notification permet de savoir qu'aucune optimisation SEO n'a été dégradée, ce qui est l'objectif de la plupart des mises en production.

Certains problèmes sont indétectables sans monitoring. Par exemple, que se passe-t-il sur vos serveurs entre Minuit et 5 heures du matin ? Nous avons pu ainsi découvrir que des échanges de flux nocturnes entrainaient l'indisponibilité quasi-totale d'un site toutes les nuits pendant plus de 2 heures.

Devant les investissements de plus en plus importants pour développer la visibilité des sites web, nous sommes convaincus que les outils de monitoring vont devenir un nouveau standard indispensable aux râteliers de tous les SEO.