Entradas de motores de búsqueda impares

4

Un cliente encontró una docena de URL válidas que apuntan a documentos existentes relacionados con el cliente en Yahoo. Estas URL no eran públicas y, por supuesto, no se podían buscar en el sitio del cliente. Los documentos tienen nombres difíciles de adivinar como https://site/dir/hardtoguessname.pdf ; de acuerdo con el secuenciador de Burp, la entropía de hardtoguessname se estima en más de 100 bits, lo que debería ser lo suficientemente bueno como para evitar la simple adivinación.

Todo el asunto es extraño por dos razones: primero, hay cientos o miles de estos documentos, ¿por qué solo esos pocos índices? Segundo, estas URL fueron indexadas solo por Yahoo pero no por Google ni por Bing.

No creo que esas URL se hayan indexado por rastreo normal. ¿Es posible que un usuario pueda obtener esas URL indexadas, por ejemplo, usando la barra de herramientas de Yahoo o usando el correo de Yahoo?

    
pregunta countermode 16.08.2016 - 17:21
fuente

1 respuesta

4

Utilizar un nombre difícil de adivinar es de ninguna manera un método adecuado para evitar la indexación en los motores de búsqueda. Aunque a veces puede funcionar, es la forma menos confiable y efectiva de hacerlo.

En su lugar, debe usar el método oficialmente admitido que coloca un archivo robots.txt en la raíz de su web y que detalla qué archivos y directorios deben indexarse. Esto es compatible con todos los motores de búsqueda principales, incluidos Google, Bing, Yahoo, AOL, etc.

La sintaxis es bastante sencilla. Un ejemplo simple para evitar la indexación del directorio private es:

User-agent: *
Disallow: /private/

Consulte la página de Wikipedia correspondiente en robots.txt para obtener más información.

Tenga en cuenta que los documentos privados no deben ser accesibles directamente de ninguna manera. Su sitio web debe usar algún tipo de sistema de autenticación para controlar a qué puede acceder el usuario y la información privada o los documentos no deben ser accesibles desde la raíz de la web.

    
respondido por el Julie Pelletier 16.08.2016 - 17:31
fuente

Lea otras preguntas en las etiquetas