Herramientas automatizadas vs. revisiones manuales

Algunas buenas respuestas aquí, pero creo que faltaban algunos puntos:

• Las herramientas automáticas terminan mucho más rápido que las pruebas manuales, por órdenes de magnitud.
• Las herramientas automáticas cubren la amplitud, pero necesita pruebas manuales para la profundidad. (Amplitud tanto en el rango de ataques / pruebas como en el sondeo de todas las interfaces / líneas de código).
• Los autotools son excelentes para la fruta común, pero si necesitas aumentar el nivel de seguridad, tendrás que profundizar manualmente.
• Las pruebas manuales no pueden cubrir cada bit del sistema (ya sean líneas de código, ensamblaje descompilado, páginas web y parámetros, servicios web, etc.), mientras que las autotools son excelentes para eso.
• Como dijo @Andreas, a veces hay un vector complejo, que las autotools no pueden imaginar, pero serán obvias para un experto.
• Autotools no puede probar fallas en la lógica de negocios, solo busca las fallas técnicas, y las más comunes, al menos.
• Las pruebas manuales no son consistentes.
• Las pruebas manuales dependen de la habilidad del probador individual (¡oh, el horror!), pero realmente necesitas saber lo que estás buscando.
• Del mismo modo, con las pruebas manuales no puede obtener pruebas de regresión.
• Los autotools se actualizan automáticamente con las nuevas vulnerabilidades, pero un humano generalmente no recuerda todos los vectores que leyó hace unos dos años ...
• Por otro lado, los autotools solo se actualizarán de vez en cuando, pero un humano puede aprender sobre una nueva técnica de nalgadas e implementarla al día siguiente.
• Los autotools generalmente incluyen un porcentaje muy alto de falsos positivos (del 30% a más del 90%, según la metodología y la elección del producto).
• Autotools generalmente viene con un conjunto de informes decente.

Línea inferior? Ambos tienen un lugar y deben usarse en el contexto correcto. Para aplicaciones de baja calidad, primero comience por arreglar todo lo que pueda encontrar el autotool, y no se moleste en invertir en una revisión manual adecuada todavía. Cuando aumente el nivel de seguridad y se deshaga de la fruta que cuelga, recorra la distancia y realice una revisión manual en profundidad. Y, cuando estás haciendo pruebas manuales, el primer paso es ejecutar el autotool, filtrar los resultados, y luego comenzar las pruebas reales.

Profesionales automatizados:

• Rápido - cheques por tiempo;
• No necesita atención (en su mayoría);
• Puede ser programado y reportado;

Contras automatizadas:

• No cubre los vectores de ataque inteligente;
• No siempre garantiza el control total del proceso;

El enfoque manual básicamente convierte los pros / contras automatizados en sus contras / pros. Pero el enfoque manual requiere un conocimiento más profundo del tema.

Semiautomatización es la respuesta. Las herramientas automatizadas de pilotaje de inteligencia humana son la mejor opción para maximizar la cobertura y la profundidad de las pruebas, no una o la otra.

Lo que funciona: personas inteligentes que manejan las herramientas.

Lo que falla: Todo lo demás.

Las herramientas automatizadas faltan cosas e informan falsamente, por lo que requieren trabajo manual.

Por lo tanto, todo el trabajo automatizado crea más trabajo manual.

También puede querer ver mi respuesta a esta pregunta en White-box vs . Black-box donde explico las mejores prácticas según lo dictado por la literatura.

Las herramientas automatizadas pueden hacer algunas cosas mejor que un humano, y viceversa.

Las herramientas automatizadas, por ejemplo, pueden probar cientos de formas diferentes de encontrar una vulnerabilidad XSS, más de lo que un humano puede recordar. Cada vez que alguien encuentra una nueva forma de hacer XSS, se agrega a la herramienta y la prueba.

Por otro lado, estas herramientas no son inteligentes, no sacan conclusiones. Un ser humano podría concluir que cuando haces X en la página 1, e Y en la página 2, el resultado en la página Z será diferente, salvo que se haga una excepción.

En una publicación reciente , lea que Radware descubrió que los ataques que duran solo una hora o menos están en aumento, y más de la mitad de los tres ataques más grandes cayeron en esa categoría. Las implicaciones de estos hallazgos son claras. Es muy probable que muy pronto, incluso las campañas de ataque largas se basen en breves ráfagas de tráfico, ráfagas que son difíciles, si no imposibles, para que los humanos mitiguen de manera efectiva. Me parece que la seguridad automatizada es el futuro, sin embargo, todavía debe haber un elemento humano para configurar esto correctamente.