Si desea que el Pi pueda encenderse y comenzar a trabajar automáticamente, entonces no, no puede asegurar la clave. Si es capaz de usar la clave sin su entrada, entonces el atacante también podrá (a excepción de algún tipo de hardware a prueba de manipulaciones).
Creo que lo mejor que puedes hacer es crear una cuenta en tu servidor para el Pi y luego restringirla todo lo que puedas, de esa manera, si alguien recibe la clave, no podrá hacer tanto daño antes de revocar. it.
Mejor aún, no uses ssh en absoluto. No entra en muchos detalles, pero quizás esto sea un problema XY . Tal vez podría mantener un script con los comandos que desea ejecutar en el servidor y activarlo de alguna manera desde el Pi sin permitir que el Pi ejecute ningún comando. He visto, por ejemplo, un trabajo cron que utiliza curl para publicar un valor secreto en una url para hacer que el servidor ejecute un script. Si alguien obtiene este valor secreto, puede ejecutar el script cuando lo desee, pero no podrá hacer nada más con él.