Parece que lo que estás buscando es detectar intrusos, pero a nivel de aplicación web (capa 7). Esto generalmente se conoce como un servidor de seguridad de aplicaciones web (WAF).
(Tenga en cuenta las diferencias entre una red IDS / IPS y una WAF: enlace )
Los firewalls de aplicaciones web generalmente están diseñados para prevenir y detectar / alertar, aunque tienen la capacidad clave para analizar el tráfico web en busca de una actividad maliciosa sospechosa. Como regla general, parecen incluir capacidades de registro y alerta además de la prevención.
Algunas soluciones potenciales incluyen:
Una lista de WAF de OWASP: enlace
Estos son ejemplos de implementaciones populares en lugar de recomendaciones personales.