Recientemente leí un artículo en La seguridad del aprendizaje automático . ¿Existen instancias de ataques contra sistemas de aprendizaje automático además de los filtros de spam?
Recientemente leí un artículo en La seguridad del aprendizaje automático . ¿Existen instancias de ataques contra sistemas de aprendizaje automático además de los filtros de spam?
Sí, hay ejemplos recientes de atacantes que se dirigen a los sistemas ML para luego evadir la detección. El término utilizado para el estudio de este efecto es "Aprendizaje automático adversario". Hay una serie de documentos:
Una de las técnicas discutidas es la técnica de "rana hirviendo". Nombrado por el efecto de que uno puede hervir una rana viva sin que salte a un lugar seguro si el calor aumenta lentamente. Los ataques que utilizan este método intentan confundir el sistema de ML introduciendo estímulos anómalos en un factor de anomalía muy bajo, pero con alta frecuencia. Con el tiempo, el factor de anomalía aumenta hasta que el sistema ML aprende a ignorar los estímulos verdaderamente anómalos, momento en el que comienza el ataque real en los sistemas de destino. Debido a que los sistemas de ML han sido entrenados para ignorarlo, el ataque no se detecta. (La misma técnica se ha utilizado durante años contra personas y guardias de seguridad).
Esto se puede hacer con filtros de spam, IDS, sistemas UBA y analizadores Netflow.
Por ejemplo: si ha obtenido las credenciales de un usuario valioso y desea poder iniciar sesión como ese usuario durante un tiempo en que ese usuario normalmente no inicia sesión, puede comenzar a iniciar sesión usando esas credenciales en veces solo ligeramente diferente del patrón normal del usuario mientras no se realiza ninguna actividad inusual. Una vez que haya sembrado los registros con suficientes inicios de sesión en el momento en que desea realizar su actividad maliciosa, puede hacer su intento y saber que no activará alarmas por el tiempo de inicio de sesión anómalo. Al sembrar los registros con actividad no maliciosa, el análisis secundario y terciario de la actividad apoyará la decisión de que la actividad no es anómala.
¿Hay casos reales de ataques contra sistemas de aprendizaje automático?
Probablemente los sistemas más conocidos basados en ML en seguridad de la información son los filtros de spam. Dado que el envío de correo no deseado es un negocio lucrativo, estos filtros se atacan mucho al hacer que se vean más como no spam para una máquina. Muchos de los ataques apuntan a la extracción de características, por ejemplo, al incluir texto invisible no spam en el HTML, de modo que el filtro de correo no deseado cree que la mayoría del texto no es correo no deseado y clasifica el mensaje como tal. Otra forma de evadir el filtro basado en ML es usar ortografías alternativas para las frases que el filtro aprendió como spam, es decir, el uso de errores ortográficos, caracteres homográficos, caracteres especiales de Unicode como espacios de longitud cero, etc.
Existen otros usos del aprendizaje automático y las heurísticas en la seguridad de la información. No son tan conocidos como filtros de correo no deseado, pero se pueden encontrar al menos documentos que tratan sobre la detección de ataques de unidad por descarga basados en patrones de URL, obtienen reputación de hosts basados en el historial de DNS y registros whois, detectan comunicaciones C & C de malware basadas en en la URL de destino, etc. Los atacantes evitan tales métodos al hacer que las URL se parezcan más a las URL inocentes típicas, comprometen a los hosts con una gran reputación a difundir su malware o utilizar objetivos inocentes como twitter, blogspot, etc. para C&C communication .
Lea otras preguntas en las etiquetas attacks threats research machine-learning