Redes neuronales y detección de anomalías

Ha habido una enorme cantidad de investigaciones sobre el uso de técnicas de aprendizaje automático para detección de anomalías , es decir, para escanear el tráfico de red y detectar intrusiones. Sin embargo, esta investigación ha tenido muy poco impacto práctico. Estas técnicas han visto poca implementación y rara vez se utilizan en la práctica.

¿Por qué no? Hay una serie de razones.

Primero, estos sistemas tienden a tener una alta tasa de falsas alarmas. A menudo provocan múltiples alarmas falsas por día (a veces incluso docenas por día), lo que toma el tiempo de los administradores del sistema. Este es un desafío fundamental para los sistemas de detección de anomalías, ya que sufren el problema de la "aguja en un pajar": miles de millones de paquetes atraviesan su red todos los días, y casi todos son benignos. Si el algoritmo tiene una tasa de falsa alarma tan baja como el 0,1%, todavía se están marcando falsamente miles de paquetes. Para ser práctico, el algoritmo de detección de anomalías debe tener una tasa de falsas alarmas excepcionalmente baja, lo cual es un gran desafío para hacerlo bien, por la misma razón que es muy difícil detectar terroristas en la detección en el aeropuerto, sin introducir muchas falsas alarmas eso hace que las personas de todos los días tengan que ser buscadas.

Segundo, los sistemas de detección de anomalías tienden a no ser muy robustos. Se centran en detectar patrones inusuales o novedosos en el tráfico de su red: cualquier cosa fuera de lo común. La consecuencia es que, cada vez que algo cambia en su red, no importa cuán benigno sea, tienden a generar alarmas. ¿Su sitio web acaba de ser slashdotted? Blam, las alarmas espurias se vuelven locas. ¿Alguno de los usuarios instaló una nueva aplicación que juega juegos de NAT novedosos? Blam, aquí vienen las falsas alarmas. ¿Alguien acaba de instalar IPv6 por primera vez? Culpa ¿Alguien conecta un nuevo teléfono móvil con una pila TCP / IP no fiable que envía paquetes rotos? Culpa Tienes la idea.

Si desea leer más sobre los desafíos de la innovación en esta área, le recomendaría los siguientes trabajos de investigación:

• Fuera del mundo cerrado: sobre el uso del aprendizaje automático para la detección de intrusos en la red . Robin Sommer y Vern Paxson. Seguridad IEEE & Privacidad 2010.

  • Extracto: "en comparación con otros enfoques de detección de intrusos, el aprendizaje automático rara vez se emplea en entornos operacionales del" mundo real ". [...] Al principio puede ser sorprendente darse cuenta de que, a pesar de los esfuerzos de investigación académica extensos sobre detección de anomalías, el éxito de tales sistemas en entornos operativos ha sido muy limitado ".

• La Falacia de la Tasa Base y sus Implicaciones para la Dificultad de Detección de Intrusión . Stefan Axelsson. RAID 1999.

  • Extracto: "el factor que limita el rendimiento de un sistema de detección de intrusos no es la capacidad de identificar correctamente el comportamiento como intrusivo, sino su capacidad de suprimir falsas alarmas".

El problema con ML es con el entrenamiento. El sobreentrenamiento lleva a unir el conjunto de entrenamiento exacto, haciendo que el aprendizaje no sea genérico.

Dado que mi empleador actual desarrolla bibliotecas de computación científica para Python, puedo indicarle que haga un map-reduce en Disco para encontrar clústeres comunes en los archivos de registro: enlace

Eso no es una NN, pero es una forma de analizar los datos.

  

Con la ayuda de SLCT, uno puede construir rápidamente un modelo de archivo (s) de registro, y también identificar líneas raras que no se ajustan al modelo (y posiblemente sean anómalas).

Dudo que pueda encontrar algún producto comercial, ya que este dominio está altamente comercializado y casi no hay una implementación de código abierto disponible y la mayoría del trabajo se realiza en un ecosistema cerrado. Ha habido una discusión sobre este tema que puede encontrar en enlace La única herramienta de código abierto que encontré fue OSSEC , se trata de una detección de intrusiones basada en host y hay una investigación reciente sobre su integración con técnicas de IA y también hay un libro que puede encontrar interesante.

Como AI es mi trabajo principal, puedo decirle de inmediato que solo la NN es una solución inútil para la arquitectura dinámica.

Lo que está buscando es la automatización entre NN < = > Operador.

Esto funciona de la siguiente manera, por ejemplo:

• NN está capacitado para reconocer el malware existente
• El equipo de respuesta examina el nuevo malware.

No hay aplicaciones existentes como usted dice porque no se hace de esta manera, no tiene futuro y es intrínsecamente malo usar NN para hacer arquitecturas dinámicas.

Lo que se utiliza es en realidad la clasificación bayesiana, así como otros métodos heurísticos. Ejemplo de implementación es Cloud Exchange por Microsoft. También está utilizando arquitectura multicapa.

Si realmente quiere esforzarse y seguir el camino científico, necesita analizar cada capa de seguridad en tiempo real y hacer que el operador trabaje con el operador.

Este foro tampoco es un buen lugar para hacer tales preguntas, ya que no hay expertos en inteligencia artificial, o incluso no son ingenieros, puede probar MSDN, que es el mejor lugar.

Encontré otro artículo sobre el tema: "Detección de intrusión de red basada en anomalías: Técnicas, sistemas y desafíos" , de García-Teodoro et al, 2008.