Le fichier Robots.txt est placé à la racine d’un site web.
Il a pour but d’indiquer aux robots d’indexation (voir Spider) les pages à indexer et celles qu’ils ne doivent pas être indexées.
Publié le 07/02/2018
Le fichier Robots.txt est placé à la racine d’un site web.
Il a pour but d’indiquer aux robots d’indexation (voir Spider) les pages à indexer et celles qu’ils ne doivent pas être indexées.
Publié le 07/02/2018