PROBLEMA
Cuando uso las herramientas en línea para probar las URL de www.bestbuy.com , aparece un error de conexión de tiempo de espera.
Por herramientas en línea me refiero a HTTP Status Code Checker s o Redirection Checkers .
COMPORTAMIENTO PREVISTO
Espero recibir un 200 Código de estado HTTP , como si estuviera visitando el sitio web con un cliente web normal.
MI OBJETIVO
Mi objetivo es comprender exactamente qué está causando este comportamiento (tecnología y configuración). Tengo mucha curiosidad por esta implementación, ya que puede ser útil para proyectos futuros.
LO QUE TRITÉ
Probé diferentes métodos para replicar el error de tiempo de espera de conexión, pero no pude lograr mi objetivo.
PRUEBA 1
Lo primero que hice fue verificar diferentes herramientas en línea. Probé al menos 20 de ellos y cada vez recibo una respuesta de tiempo de espera de conexión. Ejemplo:
- web-sniffer.net
- builtwith.com
- urlitor.com
- enlace
- tools.searchbrain.it/chain-of-fools
- redirect-checker.org
- internetmarketingninjas.com/header-checker
Mi primer pensamiento fue que estaban bloqueando rangos de IP específicos, pero algunas de las herramientas que utilicé no eran tan famosas. La única herramienta que no colgó es Información de sitios de W3 Techs , pero pueden ser datos antiguos.
En este caso, probé con diferentes configuraciones de Agentes de usuario y Encabezados HTTP, usando exactamente lo mismo que si estuviera solicitando la URL con mi navegador.
PRUEBA 2
Intenté replicar el comportamiento con un navegador. Probado diferentes agentes de usuario y encabezados HTTP. También navegó por el sitio web sin javascript, cookies o caché habilitados, pero nada.
Algunos agentes de usuario obtienen un código de estado HTTP prohibido 403, pero la mayoría de las veces todavía obtengo un 200.
PRUEBA 3
Dudé mucho que las herramientas en línea que usé TODAS dejaran algún tipo de huella digital. Quiero decir, al final sigue siendo una simple solicitud HTTP, ¿no?
Pero para no dejar piedra sin mover, todavía instalo rápidamente dos verificadores locales de código de estado HTTP, uno en PHP usando cURL y el otro en Python usando Flask y Solicitudes .
En este caso, también probé diferentes configuraciones, encabezados HTTP y configuraciones. La única vez que recibo un tiempo de espera es si no configuro un Agente de Usuario en absoluto, pero en todos los otros escenarios todavía obtengo un 200.
PRUEBA 4
También investigué en línea acerca de las configuraciones de Akamai y Nginx que podrían estar causando este comportamiento, pero no encontré nada definitivo.
Intenté visitar el sitio web a través de la red TOR y obtuve un 403 Prohibido.
CONCLUSIÓN
Por lo tanto, mi conclusión final es que, por supuesto, existen diferentes medidas de seguridad de la red, pero realmente no sé qué está causando el error de conexión con el uso de herramientas en línea.
Existe la teoría de los rangos de IP bloqueados, pero como dije antes, usé múltiples herramientas, incluso las no tan famosas, por lo que persisten mis dudas. Y si ese es el caso, aún no sé exactamente qué tipo de configuración podría bloquear todas esas herramientas en línea o si existe una lista pública porque es la primera vez que veo que esto sucede cuando se analiza un sitio web para una investigación competitiva.
Incluso me comunico con un empleado de BESTBUY a cargo de la administración de red y de TI, pero desafortunadamente no pude ayudar con este problema.
Probablemente me esté perdiendo algo porque no soy un experto en este tema y tal vez estoy abordando el tema desde una perspectiva equivocada, por lo que pensé que el único lugar donde podría obtener una respuesta definitiva era aquí en StackExchange. / strong>
Ayuda a un pobre, no puedo dormir con problemas sin resolver y me estoy quedando sin mi suministro de café: D