Quiero aclarar una cosa antes de responder tu pregunta, malware es a corto plazo para ( software malicioso ) que incluye troyanos, virus, gusanos, etc. ...
En respuesta a su pregunta, el análisis de malware es un gran tema. Es muy difícil hacer un programa de este tipo, necesita ser un analista de malware para comprender cómo funcionan los diferentes malware, cómo analizarlos y comprender su comportamiento malicioso.
Su programa debe poder identificar si el archivo está empaquetado, si es así, debería descomprimirlo con las herramientas adecuadas, reconocer cualquier comportamiento malicioso y muchas otras cosas a considerar.
Si está decidido a realizar el programa, le aconsejo que lea Análisis de software malicioso práctico book, entienda cómo funciona el análisis de malware, entonces puede comenzar a construir su programa con una comprensión sólida de cómo se supone que funciona su programa y lo que debería hacer.
Espero que esto ayude :)