Si voy a enlace , obtengo:
User-Agent: *
Disallow:
Allow: /
Eso significa que los rastreadores pueden acceder completamente al sitio web e indexar todo. Si es así, ¿por qué site:sppp.rajasthan.gov. en la Búsqueda de Google me muestra solo unas pocas páginas mientras que contiene muchos documentos, incluidos archivos PDF?
Escribiendo:
User-agent:*
Disallow:
Allow: /
Le estás diciendo a los robots: todo está permitido y nada está prohibido . Esto puede ser confuso para los robots.
Le sugiero que escriba esas reglas de Protocolo de Exclusión de Robots cambiando el contenido del archivo robots.txt :
User-agent: *
Disallow:
Or:
User-agent: *
Allow: /
De esta manera estás permitiendo que los robots indexen todo.
Lea otras preguntas en las etiquetas google