Error de tiempo de espera de conexión al usar las Comprobaciones de Código de Estado HTTP en un sitio web [cerrado]

2

PROBLEMA

Cuando uso las herramientas en línea para probar las URL de www.bestbuy.com , aparece un error de conexión de tiempo de espera.

Por herramientas en línea me refiero a HTTP Status Code Checker s o Redirection Checkers .

COMPORTAMIENTO PREVISTO

Espero recibir un 200 Código de estado HTTP , como si estuviera visitando el sitio web con un cliente web normal.

MI OBJETIVO

Mi objetivo es comprender exactamente qué está causando este comportamiento (tecnología y configuración). Tengo mucha curiosidad por esta implementación, ya que puede ser útil para proyectos futuros.

LO QUE TRITÉ

Probé diferentes métodos para replicar el error de tiempo de espera de conexión, pero no pude lograr mi objetivo.

PRUEBA 1

Lo primero que hice fue verificar diferentes herramientas en línea. Probé al menos 20 de ellos y cada vez recibo una respuesta de tiempo de espera de conexión. Ejemplo:

  • web-sniffer.net
  • builtwith.com
  • urlitor.com
  • enlace
  • tools.searchbrain.it/chain-of-fools
  • redirect-checker.org
  • internetmarketingninjas.com/header-checker

Mi primer pensamiento fue que estaban bloqueando rangos de IP específicos, pero algunas de las herramientas que utilicé no eran tan famosas. La única herramienta que no colgó es Información de sitios de W3 Techs , pero pueden ser datos antiguos.

En este caso, probé con diferentes configuraciones de Agentes de usuario y Encabezados HTTP, usando exactamente lo mismo que si estuviera solicitando la URL con mi navegador.

PRUEBA 2

Intenté replicar el comportamiento con un navegador. Probado diferentes agentes de usuario y encabezados HTTP. También navegó por el sitio web sin javascript, cookies o caché habilitados, pero nada.

Algunos agentes de usuario obtienen un código de estado HTTP prohibido 403, pero la mayoría de las veces todavía obtengo un 200.

PRUEBA 3

Dudé mucho que las herramientas en línea que usé TODAS dejaran algún tipo de huella digital. Quiero decir, al final sigue siendo una simple solicitud HTTP, ¿no?

Pero para no dejar piedra sin mover, todavía instalo rápidamente dos verificadores locales de código de estado HTTP, uno en PHP usando cURL y el otro en Python usando Flask y Solicitudes .

En este caso, también probé diferentes configuraciones, encabezados HTTP y configuraciones. La única vez que recibo un tiempo de espera es si no configuro un Agente de Usuario en absoluto, pero en todos los otros escenarios todavía obtengo un 200.

PRUEBA 4

También investigué en línea acerca de las configuraciones de Akamai y Nginx que podrían estar causando este comportamiento, pero no encontré nada definitivo.

Intenté visitar el sitio web a través de la red TOR y obtuve un 403 Prohibido.

CONCLUSIÓN

Por lo tanto, mi conclusión final es que, por supuesto, existen diferentes medidas de seguridad de la red, pero realmente no sé qué está causando el error de conexión con el uso de herramientas en línea.

Existe la teoría de los rangos de IP bloqueados, pero como dije antes, usé múltiples herramientas, incluso las no tan famosas, por lo que persisten mis dudas. Y si ese es el caso, aún no sé exactamente qué tipo de configuración podría bloquear todas esas herramientas en línea o si existe una lista pública porque es la primera vez que veo que esto sucede cuando se analiza un sitio web para una investigación competitiva.

Incluso me comunico con un empleado de BESTBUY a cargo de la administración de red y de TI, pero desafortunadamente no pude ayudar con este problema.

Probablemente me esté perdiendo algo porque no soy un experto en este tema y tal vez estoy abordando el tema desde una perspectiva equivocada, por lo que pensé que el único lugar donde podría obtener una respuesta definitiva era aquí en StackExchange. / strong>

Ayuda a un pobre, no puedo dormir con problemas sin resolver y me estoy quedando sin mi suministro de café: D

    
pregunta lsgbusiness 25.05.2017 - 09:44
fuente

1 respuesta

0

Sin ver las partes internas de la red de Best Buy y la configuración de su firewall / dispositivo de red, sería difícil / imposible llegar a una respuesta definitiva para esto.

Dicho esto, podríamos especular sobre las posibilidades.

ya ha eliminado posibles problemas con los encabezados de solicitud al probar una variedad de opciones.

Para mí, la alternativa más probable sería que la aplicación filtre según la dirección IP de origen de la solicitud.

Cuando visito esa página del Reino Unido noté que pregunta de qué país soy, reconociendo que no estoy en EE. UU. / Canadá / México. Así que es probable que estén usando algún tipo de base de datos de búsqueda GeoIP para establecer ese hecho.

podría ser que su sistema está realizando una verificación adicional de las direcciones IP de origen utilizadas para contactarlo y está reconociendo que no pertenecen a rangos que pertenecen a ISP residenciales en los EE. UU. espera que la mayoría de estos servicios se alojen en una red de compañías de alojamiento / nube en algún lugar).

Como podría determinar que es poco probable que la dirección IP de origen sea un cliente real en ese momento, podría elegir bloquearla.

Ahora bien, este podría no ser el caso, sin embargo, si no se filtran basándose en algo en el formato de solicitud, la otra información sobre la que podrían hacer una elección sería la dirección IP de origen.

    
respondido por el Rоry McCune 25.05.2017 - 21:34
fuente

Lea otras preguntas en las etiquetas