Robots.txt

Le fichier Robots.txt est placé à la racine d’un site web.

Il a pour but d’indiquer aux robots d’indexation (voir Spider) les pages à indexer et celles qu’ils ne doivent pas être indexées.

Publié le 07/02/2018