robots.txt es un archivo que contiene una ruta que bot no puede rastrear la mayoría de las veces bots de motores de búsqueda como el bot de Google, etc. Le dice al motor de búsqueda que este directorio es privado y no puede ser rastreado por ellos.
Aquí está el archivo robots.txt de un sitio. enlace :
User-Agent: *
Disallow:
Allow: /
Lo que simplemente obtengo por enlace .
¿Existe algún riesgo al usar el mismo?
En segundo lugar, si intento buscar dentro del sitio web utilizando Google
al ingresar la palabra clave site:sppp.rajasthan.gov.in solo obtengo pocos resultados.
Entonces, si robots.txt de este sitio en particular no tiene ninguna restricción, ¿por qué todas las páginas del sitio no están indexadas y se muestran en los resultados de Google?