GET / HTTP / 1.1 "200 166113" - "" Mozilla / 5.0 (compatible; dsada / 2.0; + enlace )
Encontré esta solicitud repetida continuamente en mis registros. ¿Cómo puedo evitar esto (solicitudes que contienen URL de otros sitios web)?
GET / HTTP / 1.1 "200 166113" - "" Mozilla / 5.0 (compatible; dsada / 2.0; + enlace )
Encontré esta solicitud repetida continuamente en mis registros. ¿Cómo puedo evitar esto (solicitudes que contienen URL de otros sitios web)?
Si está seguro de que no desea que su sitio sea indexado en este Motor de Búsqueda, puede bloquear el Rastreador modificando el archivo .htaccess.
En el archivo .htaccess, debes hacer coincidir el bot con el User Agent específico y responder con una respuesta personalizada.
Esto se puede hacer con Apache RewriteEngine (funcionalidades similares estarían disponibles para otros servidores HTTP también). Simplemente agregue las siguientes líneas en su archivo .htaccess:
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (www.asd.com/search/asddd.html) [NC]
RewriteRule .* - [R=403,L]
Lo que hará la Regla de Reescritura anterior es hacer coincidir el User Agent de cada solicitud con lo dado, y responderá 403 Access Forbidden para la que coincida. También puedes generar otros códigos de respuesta.
Fuente: .htaccess RewriteRule
También vea cómo bloquear bots / rastreadores en archivo htaccess maestro por nikosdion .
Si no entendí mal, te refieres a la URL de asd.com .
La visita se realiza mediante un rastreador / robot de un motor de búsqueda. La cadena que comienza con Mozilla e incluye la URL es el User Agent proporcionado por su solicitud HTTP. Le informa al servidor de su sitio web qué tipo de cliente es, y la URL le indica a qué motor de búsqueda pertenece.
Simplemente recuperan el contenido de su sitio web y no le hacen ningún daño, por lo que no es necesario evitar que aparezcan.
Lea otras preguntas en las etiquetas web-application authentication apache php centos