(comenzó como un comentario, pero con un poco de detalle ...)
Si está solo en su propia PC, entonces no está bien protegido: si pierde su PC, perderá el acceso al servidor. La protección no consiste solo en evitar que otros obtengan acceso, sino en garantizar que las personas autorizadas continúen teniendo acceso.
Si permite los inicios de sesión de contraseña y de par de llaves, entonces su servidor es significativamente más vulnerable: 'root' es un nombre de usuario conocido con privilegios y, por lo tanto, se utiliza con frecuencia en ataques de fuerza bruta. Las mitigaciones deben requerir la pertenencia a un grupo específico (no protege la "raíz", pero es útil para "bin", "dev", "apache", etc.), el rechazo de puertos y fail2ban.
Quizás también aparezca en tus copias de seguridad. Tal vez tenga RAID para protegerse contra la pérdida de datos en fallas de hardware. Tal vez tenga un proceso efectivo para deshacerse del almacenamiento retirado / roto. Tal vez usted tiene UPS para protegerse contra la corrupción en los cortes de energía. Quizás tenga IDS ejecutándose en el dispositivo donde se almacena la clave. Tal vez usted tiene IPS corriendo delante del dispositivo. Quizás este dispositivo es un dispositivo bloqueado que solo se usa como terminal para su servidor. Tal vez tenga implementados procesos y tecnología para auditar todo el acceso a su servidor. Tal vez su servidor use hashes de contraseña fuertes y las copias de seguridad del servidor se administren de manera segura .....
No podemos decir si estará "seguro" porque este es un término relativo, y no sabemos cuál es su definición de seguro ni el valor de los activos que están protegidos.
Si fuera mi servidor y el valor bruto fuera de un ingreso de menos de un mes, me sentiría cómodo usando el inicio de sesión de keypair junto con fail2ban, pero nunca permitiría el inicio de sesión de ssh como root de forma remota. Los únicos escenarios en los que no podría iniciar sesión usando un uid diferente y su serían los sitios donde el sistema está tan roto que es poco probable que el sshd se esté ejecutando.