En primer lugar, hay una distinción muy importante entre ser capaz de detectar un actor "parecido a Snowden" y ser capaz de prevenir uno. Por lo que he visto, Beehive no hace ninguna reclamación sobre la prevención de una, sino que parece prometer la capacidad de avisarte de que está ocurriendo una actividad sospechosa en tu red. Claro, no tan bueno, pero todavía se considera un "santo grial" en algunas comunidades de investigación.
Dicho esto, tengo extremadamente dudas de que Beehive pueda cumplir esas expectativas. El aprendizaje automático puede hacer bastante bien en la extracción de patrones complejos de grandes pilas de datos con identidades confiables. Por ejemplo, diferenciar entre imágenes de perros y gatos es extremadamente confiable; todos podemos hacerlo el 99% de las veces, pero si tuviera que decir cuál es el algoritmo exacto para captar 100x100 píxeles y determinar gato contra perro, no tengo idea de cómo haría eso. Pero puedo proporcionarle 100.000 imágenes de este tipo y dejar que los métodos de ML resuelvan una regla que diferencie de forma fiable entre las dos en función de los valores de 100x100 píxeles. Si hago las cosas bien, las reglas creadas por ML incluso deberían funcionar en nuevas imágenes de gatos y perros, asumiendo que no hay grandes cambios en los nuevos datos (es decir, si solo uso laboratorios y gatos atigrados en los datos de entrenamiento, luego intente obtener para identificar a un terrier ... buena suerte). Esa es la fuerza de ML
Determinar el "comportamiento sospechoso" es un tema mucho más difícil. ¡No tenemos 100.000 muestras de mal comportamiento confirmado, y ni siquiera tenemos 100.000 muestras de buen comportamiento confirmado! Peor aún, lo que fue un buen método de ML que funcionó ayer no funciona hoy; a diferencia de los gatos y los perros en las fotos, los adversarios realmente intentan engañarte. La mayoría de las personas que conozco que trabajan en ML para seguridad cibernética han aceptado que la idea de detección puramente automatizada está fuera de nuestro alcance en este momento, pero tal vez podamos crear herramientas para automatizar tareas repetitivas muy específicas que un analista de seguridad necesita hacer una y otra vez. Haciéndolos así más eficientes.
Dicho esto, los autores de Beehive parecen haberse saltado esa lección y afirman que han resuelto este problema. Sospecho mucho del rendimiento, especialmente dado que los métodos que sugieren son los primeros que un investigador de ML podría pensar en probar y que han sido rechazados de forma rutinaria por no ser útiles. Por ejemplo, sugieren utilizar PCA para identificar valores atípicos en los registros. Esto, y sus variaciones, se han intentado cientos de veces y el resultado siempre es que el analista de seguridad apaga la "detección automatizada" porque obtiene tantos falsos positivos que cuesta mucho más tiempo que ahorra.
Por supuesto, en todos estos métodos, el diablo es los detalles y los detalles de estos tipos de métodos nunca se exponen en el trabajo publicado ("usamos PCA para buscar valores atípicos en los registros del servidor" es un extremadamente declaración vaga). Siempre es posible que tengan alguna forma super inteligente de preprocesar los datos antes de aplicar sus métodos que no se incluyeron en el papel. Pero estaría dispuesto a apostar con mi brazo derecho a que ningún usuario de Beehive podrá diferenciar de manera confiable entre el comportamiento "como el de Snowden" y el uso real no adversario de una red en tiempo real.