Le budget de crawl désigne le temps que les moteurs de recherche alloue à votre site internet.
En fonction du nombre de pages de votre site, Google pour ne pas le citer va attribuer un budget de crawl variable. Un site ayant une dizaine de pages aura un budget beaucoup plus faible qu’un site internet de plusieurs dizaine ou centaines de milliers de pages.
La notion de budget de crawl prend en compte plusieurs variables :
– La limite de la vitesse d’exploration
– Le besoins d’exploration (un site statique sera moins crawler qu’un site en cours de migration)
– Le nombre d’URL que le robot peut ou veut explorer (en fonction de la vitesse du site le spider pourra analyser plus ou moins de pages).
Publié le 12/02/2018