He estado tratando de averiguar lo mismo. Hasta ahora he encontrado Extractor universal Universal Extractor 2.0 (fork actualizada) que puede extraer los archivos de muchos tipos de instaladores. Es básicamente una interfaz para muchas utilidades de código abierto / freeware diferentes (como innounp y 7-zip) que pueden extraer archivos de los instaladores y otros formatos de archivo. Esto es bueno para instaladores muy simples que simplemente extraen algunos archivos en una carpeta. Para algunos tipos de instaladores, incluso puede obtener los archivos de script. Por ejemplo, con los instaladores Inno, se usa innounp:
Recupera partes del script de instalación (archivo .iss), incluidos los cambios de registro y el script Inalfuse / RemObjects Pascal compilado, si está disponible.
Para instaladores como NSIS (que ha estado utilizando últimamente un gran cantidad de ransomware), hay algunas herramientas de descompilación limitadas para obtener el script original:
enlace
También hay algunos programas limitados de análisis estático que he encontrado, como pestudio (código cerrado, no tienen suficiente reputación para publicar más de 2 enlaces), lo que le dará algunos "indicadores" de varios niveles de sospecha sobre qué cosas hace el ejecutable. Por ejemplo, "El archivo modifica el registro", "El archivo hace referencia al Portapapeles", "El archivo ignora la aleatorización del diseño del espacio de direcciones", etc.
Como se mencionó en otras respuestas, hay algunas soluciones de sandboxing / virtualización como sandboxie (código cerrado). Aunque me cuesta mucho confiar en ello, ya que es de código cerrado y necesita instalar controladores del sistema y todo eso. Y la interfaz y la configuración de permisos de acceso no son excelentes (solo se incluyen en la lista negra, en lugar de bloquear de forma predeterminada y en la lista blanca, por lo que no es posible limitar los programas para acceder solo a los directorios que necesitan).
Actualizaré esto si encuentro algo más.