Le robots.txt est un fichier présent à la racine d’un site (au même titre que le sitemap.xml). Ce dernier constitue une liste de consignes donnée aux moteurs de recherche pour leur interdire l’accès à certaines informations sensibles (on peut par exemple bloquer l’accès à un site en cours de développement).