Considere el siguiente servidor web teórico:
En cualquier solicitud, genere una respuesta html que consta de 2 enlaces, cuáles son cada una de las cadenas elegidas al azar seguidas de ".html".
Cuando el bot de Google intente rastrear este sitio, se le mostrarán 2 enlaces más. En el interés de mapear el sitio, intentará navegar hacia ellos, cada uno devolviendo 2 enlaces más. Obviamente, esto sucederá infinitamente (seguramente puede surgir una solución que nunca dé el mismo nombre de página dos veces).
Mi pregunta es, ¿los bots tienen un mecanismo para detectar esto? Si es así, ¿qué es? Si no, ¿qué tipo de métodos de detección serían posibles para esta situación?
No estoy completamente seguro de si este fue el sitio SE correcto para publicar esto.