Aunque estoy de acuerdo con la respuesta de @deviantfan, me gustaría agregar eso, ya que su pregunta inicial suena como la ruta al infierno que vi a alguien que se fue hace unos años, incluso si intenta bloquear una araña por completo. Para simplemente decirle que desaparezca a través de robots.txt (que probablemente deberías hacer por las partes de administrador de todos modos), terminarás en un juego interminable de whackamole que no puedes ganar.
Hace unos años, alguien en otro sitio que leí estaba hablando sobre cómo Google / Microsoft / Yandex / etc eran todos "DDOSing" en su sitio web. Aparentemente el sitio era "privado, y solo algunos de sus amigos deberían tener acceso, y no debería aparecer en ningún motor de búsqueda". Sin embargo, al parecer, al menos uno de sus usuarios estaba publicando enlaces a ubicaciones internas que las diversas arañas web estaban encontrando. (A diferencia de ellos, solo saben sobre www.whatever.tld de los registros DNS).
La persona que lo ejecutó decidió que tener un archivo robots.txt para que las arañas que encontraron enlaces a él simplemente leyera el archivo y se fuera, era inaceptable. Necesitaban ignorar su sitio para siempre y nunca volver a tocarlo bajo ninguna circunstancia. (Nunca dio una explicación razonable de por qué esta era la única opción aceptable. Como aparentemente, estaban haciendo algo al respecto de quien estaba publicando enlaces a ubicaciones internas en su sitio que las arañas estaban encontrando, o simplemente requerían autenticación para que los bots simplemente se vieran a una página de inicio de sesión de contenido libre.)
En su lugar, acaba de comenzar a poner en una lista negra todas las direcciones IP de las arañas web para que los intentos de solicitud se agoten sin respuesta. Una vez que hizo eso, descubrió que, en lugar de seguir un solo enlace para obtener el archivo robots.txt y desaparecer por un período de tiempo, las arañas tenían intervalos de reintentos mucho más cortos cuando cometieron errores y comenzaron a atacar su sitio desde numerosos IP diferentes. (Presumiblemente las arañas que intentan enrutar lo que supusieron fue un error de red).
Este fue el punto en el que su lista negra de IP explotó en miles de direcciones y comenzó a despotricar acerca de que los motores de búsqueda lo estaban controlando. Lamentablemente, la persona se había vuelto loca en ese momento y rechazó todos los intentos de resolver su problema real en lugar de lo que estaba convencido de que era la solución correcta.