Pocas cosas son siempre buenas o malas siempre. Depende del contexto.
Si los archivos en su directorio son solo archivos estáticos que usted desea que sus usuarios puedan descargar, entonces activar el listado de directorios está bien. Esto es bastante común por ej. distribuciones de software, donde puede tener diferentes carpetas para diferentes versiones, sistemas operativos, etc. No es perjudicial permitir que el usuario navegue por ellas, es probablemente el caso de uso para el que creó el sitio.
Por otro lado, si está alojando algo más complejo, como una aplicación web dinámica, activar el listado de directorios es probablemente una mala idea. Se arriesga a exponer la estructura interna del programa o, peor aún, a todo tipo de archivos de configuración o registro que contienen datos confidenciales. Es fácil filtrar accidentalmente su contraseña de DB de esta manera.
Otro aspecto a tener en cuenta es que la lista de directorios probablemente telegrafiará qué servidor web está utilizando y quizás incluso qué versión. Puede o no importarte esto.
Por lo tanto, la conclusión es esta: asegúrese de que la lista de directorios esté desactivada, a menos que sepa lo que está haciendo, solo está sirviendo archivos estáticos no sensibles y tiene un caso de uso específico que necesita que esté activado.