Definición de robots.txt


Un archivo Robots.txt permite excluir páginas web específicas de los resultados de búsqueda. Los rastreadores ignoran las páginas y no las incluyen en el índice del sitio web.

Dado que algunos rastreadores ignoran el archivo Robots.txt, la protección con contraseña es la mejor manera de ocultar una página web.