IDS no se trata de pruebas de penetración ni de análisis de malware. Un IDS inspecciona el tráfico (normalmente) para buscar Indicadores de Compromiso (IoC).
Un IDS, entonces, es un consumidor de lo que sea que sean las IoC, y el desarrollo de las IoCs es una función del malware y el análisis del tráfico malicioso.
Por lo tanto, para desarrollar IoC, es posible que desee o necesite saber mucho sobre las pruebas de penetración (puede ayudar con el análisis de tráfico malicioso) y el análisis de malware.
Lo que parece es que desea desarrollar IoCs para IOT y luego implementar esos IoCs en algún tipo de plataforma de análisis (lo que usted llama un IDS).
Si desea inspeccionar el tráfico en busca de IoC previamente desconocidos y determinar IoCs sobre la marcha sin ningún IoC previamente definido, entonces esa es una perspectiva completamente diferente. He hecho esto, pero necesita una experiencia bastante extensa en varias áreas. Elegir uno sobre otro restringirá lo que puedes detectar.