Durante un análisis reciente de mi sitio web, se encontró un archivo robots.txt que contiene
Disallow: /subsite1/
Disallow: /subsite2/
Para no mostrar ninguna ruta en robots.txt, ya que temo que los piratas informáticos puedan intentar piratear los directorios no permitidos, ¿qué puedo hacer para proteger el archivo robots.txt y al mismo tiempo permitir que los motores de búsqueda lo utilicen para fines legítimos?
Robots.txt no debe, de ninguna manera, proteger su sitio. El único propósito del archivo robots.txt es informar a los bots de los motores de búsqueda que las áreas no contienen información interesante.
Si tiene áreas sensibles en su archivo robots.txt, entonces realmente necesita revisar la arquitectura de su sitio. Ningún directorio sensible debe ser accesible al público de ninguna manera. De hecho, cualquier cosa expuesta al público debe estar protegida, ya sea que esté visible o no.
Los usuarios malintencionados pueden usar el archivo robots.txt durante la fase de recopilación de información de un ataque. Tener entradas en él no es una vulnerabilidad en sí misma, es solo una forma para que alguien encuentre partes del sitio que no se puedan encontrar de otra manera.
Si el simple hecho de saber que una parte de su sitio existe, se traduce en una vulnerabilidad de seguridad, debería tener a alguien que comprenda la seguridad de la web.
Lea otras preguntas en las etiquetas web-application