Spider

En anglais, spider signifie araignée.

Sur le web, un spider est un robot qui scanne le web afin d’indexer les pages existant sur la toile.

Il est aussi connu sous les noms de bot ou crawler.

Seules les pages indexées sont visibles et peuvent être trouvées par les utilisateurs lors de leurs requêtes.

Chaque moteur de recherche a son propre bot pour indexer ou non les pages mis à jour sur le moteur de recherche en question. Les plus connus sont Googlebot, Bingbot ou Yahoo!Slurp. Mais il en existe d’autres.