Un archivo Robots.txt permite excluir pĆ”ginas web especĆficas de los resultados de bĆŗsqueda. Los rastreadores ignoran las pĆ”ginas y no las incluyen en el Ćndice del sitio web.
Dado que algunos rastreadores ignoran el archivo Robots.txt, la protecciĆ³n con contraseƱa es la mejor manera de ocultar una pĆ”gina web.