Siempre hay un riesgo al conectarse a un servidor con cualquier software de cliente. Supongamos que el cliente (es decir, OpenSSH o PuTTY) guarda los datos del servidor en un búfer con una verificación de límites deficiente ... entonces es posible que el servidor ejecute el código de forma remota en la máquina cliente.
Todo el software tiene errores, por lo que no es imposible pensar que existe una vulnerabilidad explotable en su cliente. Por esta razón, es prudente tener mucho cuidado al conectar máquinas en las que desconfía activamente.
El software Sever tiende a correr un mayor riesgo, ya que cualquiera puede intentar atacarlo en cualquier momento. Sin embargo, el software del cliente sigue siendo software, y la conexión hacia el exterior proporciona una oportunidad para que el servidor ataque al cliente.
Las mitigaciones como el uso de ASLR y el DEP en su cliente SSH y siempre mantener la máquina cliente actualizada con parches de software son probablemente suficientes para evitar ataques ocasionales. Desactivar las funciones de erosión de la privacidad como el reenvío de agentes es bastante inteligente. X11 es asquerosamente hinchado e inseguro ... así que no utilice el reenvío X bajo ninguna circunstancia.
PS. Con respecto al uso de una computadora de hombre intermedio desechable para conectarse al VPS: tal vez intente usar un cliente SSH diferente en cada uno, como PuTTY para conectar la aplicación Heroku, luego OpenSSH al VPS. ¿Cuáles son las probabilidades de que ambos clientes tengan un error explotable que el atacante conoce?
PSS. Una de las respuestas a esta pregunta menciona un ataque real en la clave de OpenSSH: Conectarse a un servidor comprometido