De l’impact des erreurs 500 sur le référencement naturel

Article assez technique, dont l’objectif est de montrer que les erreurs serveur (erreurs 500 en général) sont particulièrement pénalisantes pour le crawl de Google, et donc pour le référencement naturel

Rappel : le crawl de Google

Pourquoi GoogleBot parcourt-il un site ?

Nous publierons bientôt quelques articles expliquant le fonctionnement d’un moteur de recherche, mais le principe de base est très simple :

• Google parcourt (crawl en Anglais) le web en suivant les liens. Pour cela, le robot principalement utilisé s’appele Googlebot (la liste des principaux crawlers est ici).
• Il inspecte (parse en Anglais) les pages pour en identifier le contenu (titres, textes, images, liens,…)
• Il indexe ces pages pour être capable de les ressortir rapidement
• Il crée une cartographie des liens (internes et externes) afin de déterminer la popularité (l’importance) d’une page

… et voilà !

Conséquences pour le SEO

En facilitant le crawl d’un site, on met toutes les chances de son côté, car :

• Google peut indexer plus de pages sur le site
• Il indexe plus vite les nouveaux contenus
• Des pages parcourues peu souvent ressortent moins bien dans les résultats

L’impact des erreurs 500 sur le crawl

Googlebot consomme beaucoup de ressources sur le web. Pour de nombreux sites, il représente même un volume de pages vues supérieur aux visites des internautes.

En conséquence, Google cherche à ne pas surcharger les sites : dès que GoogleBot reçoit des erreurs serveur (erreurs 500), Google baisse la vitesse de crawl, afin de ne pas le surcharger plus encore.

La réaction est immédiate. Voici l’analyse faite sur un site de grande taille (20 000 pages vues par heure par GoogleBot)

Le graphique représente, sur une période de 8 jours, le crawl de GoogleBot en code 200 (code 200 = la page répond correctement ; ligne bleue, axe de gauche) et en code 500 (ligne rouge, axe de droite). Les volumes sont suivis heure par heure.

On constate que l’impact est immédiat : une hausse des erreurs 500 se traduit immédiatement par une forte baisse du crawl en 200. Et il suffit d’environ 1% de pages répondant en erreur 500 pour voir votre crawl quasiment réduit à 0.

Que faire ?

La présence de manière récurrente (voire constante) d’erreurs 500 sur un site peut à elle seule empêcher un référencement naturel performant. Il faut donc surveiller les indicateurs comme le lait sur le feu.

– Si vous avez un analyseur de logs en place, c’est très simple puisque c’est conçu pour ça…

– Dans le cas contraire, utilisez les Outils pour Webmaster de Google :

• En suivant régulièrement les « Statistiques sur l’exploration »
• En allant consulter les « Erreurs d’exploration » -> « Erreur du serveur »
• Depuis plusieurs mois, Google vous envoie un e-mail lorsqu’il détecte une forte augmentation des erreurs. Malheureusement, c’est encore trop peu fiable.