Robot d’indexation

Le rôle du robot d’indexation, ou du robot moteur de recherche, est de scanner les différentes pages des sites web afin de les indexer.

Afin d’être indexé, un site web peut donc soit être soumis au moteur de recherche via une soumission d’URL, soit de la propre initiative du robot d’indexation.

Dans ce dernier cas, il est nécessaire pour le site web de posséder des liens externes, afin que le robot trouve le chemin menant à ce site. Un robot d’indexation ne peut pas deviner la présence d’un site sans l’existence de liens menant à celui-ci.

Ce robot va donc naviguer sur le web, de sites en sites, de pages en pages, en suivant les liens qui forment des ponts entre chaque site.

Ainsi, chaque moteur de recherche (Google, Bing, Yahoo, …) possède sa propre flotte de robots d’indexation. On nomme Googlebot le robot d’indexation de Google.

Publié le 07/02/2018