Budget de crawl

Le budget de crawl est le temps par les moteurs de recherche, tels que Google, allouent à votre site internet pour le crawler et l’indexer.

En fonction du nombre de pages de votre site, Google va attribuer un budget de crawl variable. Par exemple, un petit site web avec seulement quelques pages aura un budget beaucoup plus restreint par rapport à un site de plusieurs dizaines ou centaines de milliers de pages. 

La notion de budget de crawl prend en compte plusieurs variables telles que :

– La limite de la vitesse d’exploration
– Le besoins d’exploration (un site statique sera moins crawler qu’un site en cours de migration)
– Le nombre d’URL  que le robot peut ou veut explorer (en fonction de la vitesse du site le spider pourra analyser plus ou moins de pages).

Publié le 12/02/2018