En general, no es necesario proteger la clave pública en el almacenamiento de hardware. Se llama la clave pública por una buena razón.
Si cifras algo con una clave pública, solo es posible descifrarlo con la clave privada (y viceversa).
Entonces, en general, no importa quién tenga la clave pública. Su clave pública podría estar en una cartelera y su servidor podría encriptar con la clave pública todo lo que desee y nadie podrá leer los datos encriptados, excepto quien tenga la clave privada.
Todo el hardware PKI (tarjetas inteligentes, HSM, etc.) que conozco está dividido en sectores públicos y privados, por lo que si desea almacenar la clave pública de forma privada, la clave privada se carga en la partición pública (es decir, no solución ideal).
Si desea algo más como la autenticación mutua en el mecanismo de distribución de registros, es mucho mejor usar dos conjuntos de claves (uno para el cliente y otro para el servidor).