En primer lugar, no todos los ransomware se crean de la misma manera: como cualquier software, algunos ransomware están bien escritos, mientras que otros están mal escritos. Puede obtener una descripción general de las principales variantes de ransomware en wikipedia / ransomware . Algunos ransomware, especialmente CryptoLocker, utilizan listas de extensiones de archivos para decidir qué archivos cifrar y por qué no. Los usuarios con conocimientos suficientes para cambiar sus extensiones de archivo probablemente tengan copias de seguridad y no le pagarán de todos modos. Como señala @usr, aún puede obtener mucha gente con enfoques simples. Dicho esto, algunos ransomware, como CryptoWall, son muy sofisticados y, aunque no sé cómo funciona, puedo especular sobre lo que es posible.
Como usted dice, los archivos a menudo contienen una "firma de archivo", un código hexadecimal corto cerca del inicio del archivo que indica qué tipo de archivo es. Aquí hay dos listas de estos "números mágicos" de Wikipedia: [1] , [2] .
El propio sistema operativo Windows se basa bastante en las extensiones de archivo en el nombre del archivo y es notoriamente frágil si lo cambias, pero eso no significa que todo el software deba ser tan terrible.
Por ejemplo, hay una utilidad estándar de Unix llamada file
que buscará el número mágico y le dirá ¿Qué tipo de archivo es? No hay razón para que ransomware no pueda hacer lo mismo.