Robot moteur de recherche

Le rôle du robot moteur de recherche est de scanner les pages des sites internet afin de les indexer sur les moteurs de recherche.

Plus connu sous le nom de « crawler », « spider » ou « bot », c’est par définition un programme informatique qui explore le web et les liens entre les pages.

Il aspire à indexer le contenu des pages web afin qu’elles puissent être trouvées par les utilisateurs lors de leurs requêtes.

Il en existe plusieurs aujourd’hui, et les plus connus sont : Googlebot, Bingbot, Yahoo! Slurp, Baiduspider ou encore Yandex.Bot.

Pour en savoir plus, consultez la page robot d’indexation.

Publié le 07/02/2018