Depende del tipo de evaluación que quieras hacer. Tal vez debería cambiar su título para indicar "Black Box" o "White Box" o ambos. Aprendí que los proveedores tienen una definición muy general de "revisión de seguridad" en su software, por lo que es importante hacer su propia evaluación si tiene los recursos.
Revisión de código
El código del proveedor es suyo y no se le permite descompilarlo sin su permiso. La mayoría de los proveedores no están dispuestos a compartir su código fuente. Todo lo que puede hacer es pedirles su informe de su propia revisión del código fuente interno.
Evaluación de aplicaciones estáticas
Hay formas de realizar evaluaciones de seguridad sin su código descompilado. El análisis de código estático, como con Veracode, se realiza en código compilado y el servicio nunca ve el código fuente. Sin embargo, ayuda a clasificar los resultados si puede ver el código fuente. La mayoría de las veces, le transmito estos resultados al proveedor.
La mejor situación es si las evaluaciones de seguridad (estáticas o dinámicas) están escritas en el contrato con el proveedor, pero es legal cargar un programa compilado en dicho servicio.
Evaluación dinámica de aplicaciones web
Un escaneo dinámico (caja negra) está totalmente permitido en una aplicación en su entorno y este debería ser su primer paso.