¿Dónde o cómo puedo obtener una lista de las dependencias de dominio de los 100 sitios más populares? [cerrado]

0

Por ejemplo, google.com depende de ssl.gstatic.com , lh3.googleusercontent.com , fonts.gstatic.com .

Necesito esta lista para la configuración de Proxy

    
pregunta Rustam 11.12.2017 - 04:52
fuente

1 respuesta

1

Acerca de dependencias

Las dependencias de dominio son solo registradores. No hay nada más.

Pero puedes pedir:

whois gstatistic.com | grep -A1 Holder

Hmm. ¿nada? Ok buscando servidores de nombres:

whois gstatic.com | grep Name.Server
   Name Server: NS1.GOOGLE.COM
   Name Server: NS2.GOOGLE.COM
   Name Server: NS3.GOOGLE.COM
   Name Server: NS4.GOOGLE.COM

y

whois googleusercontent.com | sed '/Name Server/q;d'
   Name Server: NS1.GOOGLE.COM

Además, la creación de un proxy (que significa proxy web ), es una preocupación de HTTP . Lo que usted llama dependencias son solo enlaces web a otros repositorios donde encontrar algunos objetos .

Dependencias de dominio web

Las páginas web dependen de muchas cosas:

  • scripts : las bibliotecas podrían almacenarse en el sitio de desarrollo
  • fuentes : las fuentes generalmente se encuentran en los servidores de fuentes.
  • estilos : los estilos se pueden vincular a scripts, almacenados en servidores de desarrollo.
  • videos : se encuentran principalmente en servidores de transmisión.
  • map : mapas geográficos, mapas estelares, oceanográficos, humanos ... Y otros sistemas especializados de big data ...
  • fotos , imágenes , otros ...: Algunos archivos con derechos de autor solo se pueden mostrar desde el sitio original (artista, fotografía ...),

Pero los dominios web fuertemente dependen de

  • anunciante donde se requieren enlaces al host del anunciante para el conteo de registros y análisis adicionales.
  • captcha Odio el captcha pero ...
  • Se requieren bancos en línea para las tiendas web.

Dónde obtener dicha lista

En su historial web, caché y principalmente en el registro de su servidor proxy ...

Desafortunadamente, tal lista no podría existir, porque cada sitio web se puede crear y modificar en cualquier momento.

Entonces, si planea construir un servidor proxy altamente restrictivo , debe mantener un poco de línea directa y estar listo para cambiar sus reglas, agregando algunas nuevas tipo de sitio de terceros, en cualquier momento.

Y, por último, sobre Los 100 sitios más populares

La respuesta solo puede ser subjetiva ...

Puedes intentarlo:

... Luego eche un vistazo a sus registros de proxy ;-)

Sugerencia o truco:

Eche un vistazo a mi respuesta sobre ¿Cómo mostrar el nombre alternativo del sujeto de un certificado? ,

La visualización de Nombre alternativo del sujeto de los certificados SSL proporciona una lista exhaustiva de dominios directamente relacionados .

    
respondido por el F. Hauri 11.12.2017 - 08:54
fuente

Lea otras preguntas en las etiquetas