No, se supone que el texto cifrado de los cifrados modernos no se puede distinguir del azar. Eso significa que el algoritmo no se puede detectar automáticamente.
En general, el algoritmo está preestablecido (codificado) o es un parámetro de configuración, establecido con anticipación. Puede establecerse en tiempo de ejecución o guardarse con el texto cifrado, pero tenga en cuenta que los adversarios también pueden cambiar el algoritmo antes de que se use.
Tenga en cuenta que, por ejemplo, AES es un cifrado de bloque, no es no un cifrado de propósito general por sí mismo. Para eso también se requiere un modo de operación del cifrado de bloque. En otras palabras, no basta con especificar el cifrado de bloque. Puede haber otros parámetros que necesitan ser establecidos.
Como ya se mencionó en los comentarios, el protocolo define cuándo se selecciona el algoritmo.