Cómo detectar Selenium / webdriver navegando en mi sitio [cerrado]

Es posible que no quieras escucharlo, pero estás haciendo la pregunta incorrecta.

  

Las partes específicas (clics, enlaces, etc.) de nuestro sitio hacen que nuestro back-end trabaje duro y el acceso a ellas para el desguace interrumpe el trabajo de nuestros clientes habituales

Estás siendo hecho inadvertidamente. Si algo tan trivial como el raspado de un sitio público es suficiente para impactar la producción / ingresos, su arquitectura es defectuosa. Perseguir a los bots y tratar de identificar cada uno de ellos no es la respuesta: siempre habrá nuevos bots y nuevos métodos de raspado.

Me sorprende constantemente la cantidad de preguntas relacionadas con el raspado web que parecen ser tareas escolares que aparecen en SO. No tienes un final de adversarios prometedores.

Además, un competidor sin escrúpulos podría simplemente suprimir su tráfico al ejecutar un enjambre de bots propios contra usted. Tuve que trabajar en lugares que me pidieron que hiciera algo similar, por lo que definitivamente existen.

Debe tomar medidas para lograr los resultados de estas solicitudes sin permitir que ningún número de visitantes arbitrarios inicien estas tareas intensivas en recursos. El almacenamiento en caché será su respuesta o restringirá estas operaciones particulares a usuarios autenticados.

La mayoría de los bots / scrapers / atacantes legítimos no usarán Selenium. Solo harán las solicitudes web (también conocidas como no interactivas). Como resultado, el agente de usuario y realmente cualquier otro filtrado basado en encabezado / datos no funcionará. Tendrías que hacer un análisis basado en el comportamiento para detener el tráfico. Puede iniciar un estudio de investigación masivo sobre el comportamiento de los usuarios naturales en un intento de bloquear el tráfico deficiente, pero esa es realmente una solución costosa para un problema fácil de resolver (arregle el backend).

Hasta que arregles esto (por Ivan) puedes usar un clic reCAPTCHA . Es una medida temporal de interrupción para evitar que su sitio se rompa hasta que solucione su problema de rendimiento. Recuerda que esto es esencialmente castigar a tus usuarios (obligándolos a llenar un captcha en algunos casos) y es un horrible UX.

También supervisaría el tráfico IP entrante en nuestro servidor web.

También puede aplicar reglas de bloqueo de arranque a su archivo .htaccess, una vez hecho, verá muchas solicitudes rechazadas en sus registros.