Un archivo Robots.txt permite excluir páginas web específicas de los resultados de búsqueda. Los rastreadores ignoran las páginas y no las incluyen en el índice del sitio web.
Dado que algunos rastreadores ignoran el archivo Robots.txt, la protección con contraseña es la mejor manera de ocultar una página web.