¿Qué protocolo criptográfico es apropiado para el caso en que el usuario necesita acceder a un archivo binario y a los archivos de configuración cifrados?

Si almacena una clave, contraseña, etc. en el código fuente, nunca podrá razonablemente mantenerlo en secreto a menos que también controle el sistema. Lo que está describiendo solo sería oscuridad, ofuscación o ocultación de datos .

Si solo desea que el programa pueda descifrar, suena como un caso para usar criptografía asimétrica. Es posible que tenga un escenario en el que cifre los datos reales utilizando una clave simétrica, pero transfiera la clave simétrica utilizando asimétrica para reducir la sobrecarga.

Dependiendo de su situación, podría implementar un Módulo de seguridad de hardware ( HSM). Si puede configurar y controlar el sistema, el HSM sería la fuente confiable para guardar sus secretos y proteger el proceso de descifrado del sistema y la aplicación. Sin embargo, si no tiene control físico, es posible que el cliente pueda manipular el HSM.

Si las claves de descifrado están en la aplicación o almacenadas en el sistema, y el sistema no está bajo su control, la persona que controla el sistema siempre puede acceder a ellas de alguna manera, puede hacerlo difícil, pero no imposible. Si tiene el control completo del sistema, puede limitar los privilegios del usuario para evitar que carguen herramientas o incluso que lean los archivos hasta cierto punto. Sin embargo, con una aplicación de escritorio compilada enviada a un cliente, nunca podrá asegurarse de que no puedan revertir o encontrar los secretos.

En la IMO, en las aplicaciones de escritorio que utilizan configuración binaria + xml, nunca puede estar seguro de que su xml no se está leyendo, usar una herramienta como Ollydbg es bastante fácil de obtener cualquier clave de cifrado que pueda colocar en el binario. Le sugeriría, si es posible, que considere implementar su aplicación en un entorno virtual como citrix, que si se configura correctamente le dará acceso a los usuarios solo a la aplicación y nada más.