Recientemente puse algunos enlaces ocultos en un sitio web para atrapar a los rastreadores web. (Se utiliza el estilo oculto de visibilidad CSS para evitar que los usuarios humanos accedan a él).
De cualquier manera, encontré que había muchas solicitudes HTTP con una referencia de navegadores que han accedido a los enlaces ocultos.
E.g : "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.31 (KHTML, like Gecko) Chrome/26.0.1410.64 Safari/537.31"
Así que ahora mis problemas son:
(1) ¿Son estos rastreadores web? o bien, ¿qué puede ser?
(2) ¿Son maliciosos?
(3) ¿Hay una manera de perfilar su comportamiento?
Busqué en la web pero no pude encontrar ninguna información valiosa. ¿Podría por favor proporcionarme algunos recursos, o se agradecería cualquier ayuda?