Me pregunto cómo Shodan rastrea los dispositivos conectados a Internet y los agrega a su base de datos. Sé que Google, por ejemplo, encuentra nuevos sitios web siguiendo los enlaces en sitios que ya se encuentran, pero esa estrategia no funcionará con dispositivos conectados a Internet porque no se vinculan entre sí.
¿Qué método sigue Shodan?
Solo hay alrededor de cuatro billones de direcciones IPv4 posibles, por lo que es posible probarlas todas con suficiente ancho de banda. Hay herramientas disponibles para eso.
Los mismos Shodan documentan en sus Preguntas frecuentes que utilizan algún código personalizado:
Se desarrolló un escáner de puerto distribuido de cosecha propia para este proyecto.
"Distribuido" aquí significa que las conexiones se realizan desde varias máquinas, lo que no parece ser un problema ya que el escaneo de Internet es, por definición, un problema vergonzosamente paralelo .
Un caso relacionado es el denominado Censo de Internet 2012 en el que algunas personas desconocidas buscaron repetidamente a algunos hosts vulnerables ( por lo general, los enrutadores domésticos aún están configurados para aceptar las credenciales de administrador predeterminadas) y secuestraron temporalmente dichos sistemas para incluirlos en un escaneo completo de Internet en "los puertos más comunes", es el caso de una red de bots auto-replicante. Dicen que llegaron a 420000 clientes bajo su control. Para una exploración completa de Internet, cada cliente solo tiene 10000 direcciones IP para probar, por lo que esto se puede hacer de manera bastante discreta (por ejemplo, 3 IP probadas por segundo durante una hora).
Lea otras preguntas en las etiquetas web-application databases server