¿Existe la posibilidad de cifrar con varias claves públicas y de descifrar con alguna de ellas?

PGP tiene un método para manejar esto que (en su caso) sería algo como:

Para proteger los datos:

1. La aplicación conoce la clave pública del usuario (Ku)
2. La aplicación genera "Hola mundo".
3. La aplicación genera una buena clave de cifrado simétrica (Ks)
4. La aplicación usa Ks para cifrar "Hola mundo"
5. La aplicación hace una copia de Ks que está cifrada con Ku
6. La aplicación hace una copia de Ks que está cifrada con la clave pública de la aplicación (Ka)
7. La aplicación almacena cadenas cifradas y ambas contraseñas cifradas

Para recuperar los datos:

1. La aplicación entrega la copia de Ks cifrada con Ku
2. El usuario lo descifra utilizando su clave privada
3. La aplicación utiliza los K descifrados para descifrar los datos y mostrarlos al usuario.

Debido a que hay una copia de Ks cifrada con Ka, la aplicación puede descifrar los datos sin el usuario siempre que la clave privada de la aplicación esté disponible.

EDITAR:

Como @CBHacking se indica en los comentarios, es altamente aconsejable que encuentre un sistema criptográfico bien probado que se adapte a sus necesidades. Roll-your-own crypto es una manera fácil de cometer errores embarazosos. Hablando como alguien que implementó el primer almacenamiento de contraseñas sin texto en mi empresa, hay muchas opciones creadas por personas que entienden esto mejor que nosotros.