Su usuario la clave privada SSH nunca se envía al servidor, por lo que no hay riesgo de que el Specter o Meltdown se vea comprometido en el servidor. Sólo la clave pública está presente en el servidor. Por otro lado, el servidor tiene una clave privada que se utiliza para identificarse ante el cliente. (Esto es lo que recibe los mensajes sobre la identidad del servidor cuando te conectas por primera vez). Todo lo que aparece a continuación trata sobre el robo de esta clave de host .
Tanto Specter como Meltdown requieren que un atacante tenga ejecución de código en su host. Desde que especificó un VPS, hay 2 capas de amenaza aquí: atacantes en su mismo host físico y atacantes dentro de su VPS.
En su host físico, si su proveedor de VPS ha parchado su hipervisor, entonces no debería haber un riesgo por las técnicas específicas documentadas en Spectre y Meltdown. Si no está parcheado, el propietario de otro VPS podría usar Meltdown para leer la memoria completa del host y luego extraer su clave privada (clave de host).
Dentro de su VPS, tanto Specter como Meltdown requieren que el atacante tenga ejecución de código en su VPS. Si un atacante malicioso tiene acceso para ejecutar código en su VPS, Specter y Meltdown no deberían ser lo que le preocupa. Hay mucho más en juego, y ya están en tu host. (Lo que no quiere decir que no deba parchear; debería hacerlo, pero no es la principal preocupación que tendría en ese momento).