En general, sí esta es una configuración segura.
La red solo de host de VirtualBox aparece como un adaptador de red en su sistema operativo host. Debe asegurarse de que las reglas de firewall se apliquen a esa red. Por ejemplo, en Windows puede hacerlo desde "Firewall de Windows con seguridad avanzada". La siguiente captura de pantalla muestra que VirtualBox Host-Only Network y confirma que tiene firewall.
Todavía hay algunos riesgos. Puede haber vulnerabilidades en VirtualBox que permiten que un huésped malintencionado ponga en peligro el host. Si tiene habilitado el uso compartido de la unidad de disco o el portapapeles, estos también conllevan cierto riesgo. Pero en general esta configuración está bien.