En teoría, no, ese es esencialmente el punto entero.
En la práctica, esto es mucho más difícil, pero simplemente almacenar archivos estáticos y encriptados en una máquina remota es en realidad uno de los usos menos propensos a errores de la criptografía. Existen comparativamente menos vías de ataque que, por ejemplo, los protocolos de sesión encriptados o los sistemas de cifrado que administran y federan el acceso a múltiples usuarios.
Por supuesto, hay maneras de complicar esto; Por ejemplo, Tarsnap almacena las copias de seguridad encriptadas en un servidor remoto, pero utiliza nuevos trucos criptográficos para hacerlo mientras realiza una deduplicación agresiva. Una vez que comience a agregar una complejidad como esta, aumentan las posibilidades de un error que destruye la privacidad. Pero si está utilizando algo como GPG con una longitud de clave razonable, fuera de cualquier avance importante en criptoanálisis, puede esperar razonablemente que sus datos permanezcan privados.