Yo diría que si solo te conectas allí, no debería pasar nada. Excepto que le das tu IP para que te pueda enfocar teóricamente. Si ha configurado correctamente su cliente.
Realmente depende de la seguridad de la configuración de su cliente y de otros servidores que use. Si te autorizas / usas tudo usando la clave, la probabilidad de que él sea capaz de explotar otro servidor es muy bajo.
Pero muchas veces también vi tunelling sobre la configuración de SSH en la forma en que los servidores podían acceder entre sí a través del canal SSH abierto por el usuario. Y las claves se almacenaron en el "servidor comprometido".
Como dije al principio. Diría que realmente depende de muchas otras cosas, es poco probable pero no probable si se siguen otras recomendaciones de seguridad.