Crawl budget optimization

Lorsqu’un moteur de recherche envoie ses Spider sur un site pour le crawler, le processus n’est pas instantané. En effet les robots ne visitent pas forcément toutes les pages de votre site dès leur première visite. Le nombre de pages crawlées peut varier de manière considérable, ce nombre dépend de plusieurs facteurs.

Si vous avez récemment optimisé une landing page et qu’elle n’est pas indexée, il se peut qu’il soit temps d’optimiser votre crawl budget.

 

Qu’est-ce que le crawl budget ?

Le crawl est l’action d’exploration des robots des moteurs de recherche sur un site internet. C’est de cette façon qu’ils déterminent les pages à indexer ou non.

Le crawl budget correspond donc au temps alloué par Google à ses robots pour l’exploration d’un site web. La taille du « budget » dépend de la taille du site qui est exploré (plus un site est gros plus le budget alloué sera conséquent).

Cependant ce budget alloué ne permettra pas aux robots de visiter tout un site en un seul crawl, il doit alors être idéalement consommé afin que les robots visitent le plus de page possible en une seule visite.

 

Comment le crawl budget peut-il devenir un problème ?

Bien qu’il ne soit pas en soi un critère pris en compte par Google pour le positionnement d’un site, le crawl budget peut devenir un véritable danger. En effet, s’il est mal alloué vos pages seront moins crawlées et risquent donc de ne pas être indexées, ce qui devient un problème considérable.

Un bon indicateur : si votre site internet contient un nombre conséquent de pages et que seules une petite poignée de ces pages sont crawlées, il est temps d’agir.

Plusieurs facteurs peuvent être à l’origine d’une mauvaise dépense du crawl budget : le contenu dupliqué au sein du site, les pages d’erreur « soft 404 », les pages piratées, et de manière plus générale, toutes les pages de faible qualité présentes sur votre site.

 

Comment optimiser le crawl budget de son site ?

Il existe plusieurs méthodes d’optimisation du crawl budget et la revanche des sites vous accompagne tout au long de cette démarche. Nous nous assurerons que les pages de votre site internet soient crawlé de la manière la plus efficace possible afin d’optimiser l’indexation et le positionnement de votre site internet..