¿Cómo obtiene Google la información sobre los servidores FTP y cómo evitarla?

Google escanea nuevos nombres de dominio, y infiere de un nombre como www.example.com o ftp.example.com que puede haber un servidor HTTP o FTP respondiendo allí, y por lo tanto, vale la pena indexarlo. También seguirán enlaces descubiertos en otras páginas web; Google utiliza esta indexación basada en el dominio para explorar y hacer referencia a sitios que no se han vinculado desde otros sitios (todavía).

Para evitar la indexación de su FTP, puede:

• Coloque un archivo robots.txt en su servidor. Consulte esta página para obtener más información. La mayoría de los rastreadores web honrarán tal archivo en un servidor HTTP; Google también lo busca en servidores FTP (pero Google afirma que dicho soporte es "específico de Google").
• Deshabilitar el inicio de sesión anónimo. En su lugar, imponer el uso de un par de inicio de sesión + contraseña específico; A continuación, puede publicar el nombre de usuario y la contraseña en una página web explicativa. El robot de Google no podrá "entender" esa página web y no irá más allá del inicio de sesión anónimo.

Google indexa los servidores FTP exactamente de la misma manera que ellos indexan los servidores web. Para obtener más información, intente algo como enlace

Básicamente, comienzan con un montón de páginas web populares, siguen todos los enlaces (que incluirán servidores FTP) y luego siguen todos los enlaces de esas y otras, y así sucesivamente.

Hay una forma estándar de solicitar que los motores de búsqueda y otros no indexen su sitio, usando un archivo llamado robots.txt. Una buena fuente de información sobre este mecanismo es enlace .

AFAIK, Google llega a los servidores si son HTTP o FTP mediante el uso de un rastreador. Por lo tanto, si un sitio web hace referencia a un servidor FTP, el contenido se indexará.