La respuesta de Polinomio cubre la parte difícil de tu pregunta. Para el resto:
"¿Qué hace que un shell seguro sea tan seguro?"
"Secure Shell" fue la alternativa a lo que existía antes. Telnet, FTP, rcp y rsh.
Todos esos protocolos funcionaron de forma clara y podrían ser interceptados trivialmente por cualquier persona que pudiera detectar el tráfico. También estaban sujetos a ataques de suplantación y ataques en el medio, donde el imitador o MITM podrían recopilar sus credenciales o ver su sesión.
"¿Hay alguna vulnerabilidad o preocupación acerca del uso de este canal con tanta frecuencia?"
No hay nada específicamente incorrecto en usar SSH con frecuencia. Es una práctica común en los círculos técnicos usar SSH para todo. Los riesgos de seguridad para SSH generalmente están vinculados a los usuarios que usan contraseñas débiles en los servidores con acceso a Internet, o los administradores que no pueden mantener la ssh actualizada, no bloquean las cuentas después de demasiados intentos fallidos o utilizan la limitación de velocidad para mitigar el forzoso.
Es mejor deshabilitar la autenticación basada en contraseña y confiar exclusivamente en pares de claves públicas y privadas. Los pares clave no pueden ser forzados brutalmente.
El uso de par de llaves y fideicomisos no centralizados hace que las implementaciones de SSH sean más confiables que SSL. Pero requiere que un usuario más técnico entienda cómo usar SSH correctamente.