He configurado la autenticación con un sistema remoto mediante SSH. Le envié al administrador del sistema la parte pública de la clave SSH (* .pub).
¿Cuáles son las implicaciones de mantener esta clave pública en mi máquina? ¿Es una buena práctica de seguridad eliminar / 'destruir' esta clave pública?
El punto central de su clave pública es que puede compartirla con cualquier persona. No importa si alguien lo recibe, no importa si está en su máquina.
No es un objetivo para los atacantes, por lo que no tendría ningún valor para que alguien lo tenga en su máquina. Tiene un beneficio al mantenerlo: luego puedes compartirlo fácilmente.
(Sí, sé que hay un posible vector de ataque si un atacante tenía la clave pública y tenía una forma de hacerse pasar por el servidor al que está intentando conectarse, pero si está preparado para hacerlo, tiene más problemas)
Deberías quedártelo. Como ya se mencionó, se puede recrear en cualquier momento desde la clave privada y no hay nada que se pueda hacer con esta clave en caso de que llegue a "gente mala". Ya pueden descargarlo desde tu github o en otro lugar.
Lo que vale la pena mencionar, OpenSSH puede hacer uso de esta clave pública almacenada por separado en caso de que la clave esté encriptada. En ese caso, puede probar la clave pública sin pedirle una frase de contraseña privada.
Sin esta clave, OpenSSH le pedirá una frase de contraseña para cada conexión (incluso a otros servidores) si la clave está en una de las ubicaciones predeterminadas.