Buscar todos los enlaces en un sitio web

5

¿Cómo puedo encontrar todos los directorios y enlaces en un sitio web? Tenga en cuenta que no hay un enlace desde la página de inicio a todas las demás páginas. Por ejemplo, si tengo un dominio como this users.company.com y cada usuario tendrá un enlace como users.company.com/john, users.company.com/peter, etc. Pero no sé cuántos usuarios hay ¿Cuáles son todos los enlaces y quiero fuerza bruta para comprobar todos los enlaces. ¿Hay alguna herramienta o sitio web que proporcione este servicio? Si quiero escribir un script de python para hacer este trabajo, ¿dónde puedo obtener información para desarrollar esto en python?

    
pregunta sujeesh 30.01.2013 - 06:14
fuente

4 respuestas

9

Hay un programa llamado dir-buster desarrollado por el proyecto OWASP que creo que funcionará exactamente Lo que quieras, a los nombres de archivos y carpetas de fuerza bruta

Para citar el sitio:

  

DirBuster es una aplicación java multiproceso diseñada para fuerza bruta   Directorios y nombres de archivos en servidores web / aplicaciones. A menudo es el   caso ahora de lo que parece un servidor web en un estado predeterminado   La instalación es en realidad no, y tiene páginas y aplicaciones ocultas.   dentro. DirBuster intenta encontrar estos.

Y debes tener en cuenta que:

  

Las herramientas de esta naturaleza a menudo son tan buenas como el directorio y la lista de archivos que vienen con.   Solo asegúrese de haber actualizado esta lista con los datos que pueda para ayudarlo a encontrar estas carpetas.

Espero que ayude a responder su pregunta!

    
respondido por el NULLZ 30.01.2013 - 07:48
fuente
8

Recomiendo usar skipfish :

El fragmento a continuación es de ./skipfish/doc/dictionaries.txt (es mejor leer todo el documento):

  

" Los modos básicos que dependen del diccionario que debe conocer (en orden de   costo de solicitud asociado):

     

1) Rastreo ordenado sin fuerza bruta similar a DirBuster. En este modo, el      el escáner no descubrirá recursos no vinculados como / admin,      /index.php.old, etc:

     

$ ./skipfish -W- -L [... otras opciones ...]

     

Este modo es muy rápido, pero NO se recomienda para uso general porque      la falta de diccionario brute forcing limitará la cobertura. Utilizar      solo donde sea absolutamente necesario.

     

2) Exploración ordenada con mínima fuerza bruta de extensión. En este modo, el escáner      no descubrirá recursos como / admin, pero descubrirá casos como      /index.php.old (una vez que index.php se detecta durante un rastreo ordenado):

     

$ touch new_dict.wl
$ ./skipfish -S diccionarios / extensions-only.wl -W new_dict.wl -Y [... otras opciones ... ]

     

Este método es solo un poco más intensivo en solicitudes que el # 1, y por lo tanto,      Es una alternativa marginalmente mejor en los casos en que el tiempo es esencial. Sus      Todavía no se recomienda para la mayoría de los usos. El costo es de alrededor de 100 solicitudes por      ubicación borrosa.

     

3) Directorio O extensión de fuerza bruta solamente. En este modo, el escáner sólo      intente difuminar el nombre del archivo, o la extensión, en un momento dado, pero      no intente cada par $ {filename}. $ {extension} posible del diccionario.

     

$ touch new_dict.wl
$ ./skipfish -S diccionarios / complete.wl -W new_dict.wl -Y [... otras opciones ...]

     

Este método tiene un costo de aproximadamente 2,000 solicitudes por ubicación difusa, y es      Recomendado para evaluaciones rápidas, especialmente cuando se trabaja con equipos lentos.      Servidores o servicios muy grandes.

     

4) Fuzzing normal del diccionario. En este modo, cada $ {nombre de archivo}. $ {Extensión}      Se intentará el par. Este modo es significativamente más lento, pero ofrece      Cobertura superior, y debe ser su punto de partida ".

Para obtener diccionarios adicionales, consulte fuzzdb . En particular, los archivos en:

fuzzdb-1.09 / Discovery / FilenameBruteforce
fuzzdb-1.09 / Discovery / PredictableRes

Otro: Mejores listas de palabras para navegación forzada

    
respondido por el Tate Hansen 30.01.2013 - 09:24
fuente
5

Burp Spider , parte de la suite de herramientas Burp tiene una herramienta útil de búsqueda para identificar archivos y directorios comunes de la web aplicaciones Es otra opción útil junto con las que ya se han sugerido y, según mi experiencia, es bastante fácil de usar.

También puedes considerar revisar esta pregunta que parece similar a la tuya:

Rastreador web Python tiene una buena lista y parece que hubo muchas respuestas. Algunas de las sugerencias fueron Harvest Man y spider.py módulo.

También hay recetas para dichas tareas publicadas y hay al menos un marco para ayude a desarrollar su propio rastreador o rastreador web, denominado Scrapy .

Espero que esto ayude.

    
respondido por el dudebrobro 31.01.2013 - 14:42
fuente
-1

¿Qué pasa con site / inurl: users.company.com?

    
respondido por el yzT 31.01.2013 - 14:07
fuente

Lea otras preguntas en las etiquetas