Bueno, los antivirus usan sandbox. (La mayoría de ellos). Puede usar un sandbox para desempaquetar un archivo que está empaquetado para el cual no ha diseñado un empaquetador. Los antivirus también usan emulación para tareas como estas. Sin embargo, hay una gran cantidad de bypasses basados en sandbox. enlace No es una buena idea confiar únicamente en los resultados de la ejecución de un archivo en un recinto de seguridad. Los AV también monitorean las llamadas a la API, etc. del programa que se ejecuta en el recinto de seguridad ...
Puede diseñar un sandbox utilizando QEMU KVM, etc. ... Personalmente, utilicé enlace para diseñar un sandbox porque soy un vago. Pero existen bastantes errores para libvirt ... enlace Pero Todavía lo usaría antes de implementar su propio código a menos que piense que su código contendrá menos errores.
Si desea emular un archivo PE, use el motor Unicorn.
Si desea ver un proyecto de código abierto:
enlace