Es un muy buen consejo no usar el navegador web para el tráfico de Internet en el servidor.
Es nuestra política (trabajo en seguridad cibernética para una agencia federal) de nunca usar un navegador web (para Internet o sitios web externos) para cualquier tipo de tráfico de Internet, incluso si es para descargar un archivo que se utilizará en el servidor. Como mencionó otro usuario en su respuesta, es una buena idea descargar los archivos o datos necesarios en el servidor desde una computadora diferente; Uno que es de confianza y está en la misma red. Luego, tome el (los) archivo (s) y verifique los hashes si desea ir tan lejos, y luego cópielo al servidor ya sea a través de la red (probablemente prefiera ya que no tiene acceso físico fácil a esta máquina virtual) o use un USB conducir o algo por el estilo.
Otra cosa que recomendaría si puede hacerlo es usar el firewall de Windows incorporado o un firewall de terceros de confianza (basado en host, por supuesto) y aplicarle una plantilla o política que no lo haga. No permita el tráfico web desde el servidor. Como ejemplo de esto, usamos un proveedor de antivirus que tiene un cortafuegos basado en host incorporado como parte del software antivirus. Luego creamos una política de firewall llamada "Servidores" y la aplicamos a todos los servidores y en esa política bloqueamos todo el tráfico de Internet entrante y saliente (generalmente el puerto 80) para que el servidor no pueda acceder a Internet incluso si accidentalmente hacemos clic en navegador web.
En cuanto a desinstalar el navegador por completo, no creo que sea una buena idea. En muchas ocasiones, un navegador web es útil para acceder a otro servidor que ejecuta una consola web o algo de esa naturaleza que necesitarías usar. Si desinstala su navegador web, no tendría forma de acceder a ninguna de estas otras consolas.