Para agregar a la respuesta de @ NeilSmithline, TLS (y, por lo tanto, HTTPS) también incluye dos características más allá de la autenticación del servidor: cifrado (que proporciona privacidad / confidencialidad) e integridad (que garantiza que no se alteren los datos). Ambos pueden ser muy importantes.
Para un sitio de descarga, la relevancia del cifrado realmente se reduce a si los archivos que se ofrecen para descargar son algo que alguien, en algún lugar, puede importar si alguien más descarga. Por ejemplo, descargo muchas cosas clasificadas como "herramientas de pirateo" porque mi trabajo requiere usar esas cosas. Algunos gobiernos se oponen a que la gente descargue tales herramientas. TLS no hará que sea imposible saber que visité el sitio (usaría Tor, o algo así, para eso), pero me podría negar lo que descargué del sitio.
La integridad es mucho más importante. Si bien muchas personas no se dan cuenta de esto, el cifrado por sí solo no proporciona integridad. Si hay un atacante de tipo intermediario entre yo (el cliente) y usted (el servidor que ofrece descargas), el atacante puede modificar el contenido de mis descargas. Dependiendo de los cifrados utilizados, esto podría incluso ocurrir si el servidor está autenticado (el MitM simplemente no interfiere con el protocolo de enlace TLS, pero sigue vigilando todo) y el tráfico de la red está cifrado (el atacante puede voltear bits en el texto cifrado, especialmente si está utilizando un cifrado de flujo o un cifrado de bloque en modo contrario, y descifrará la descarga como algo distinto de lo que envió el servidor). Esto podría, por ejemplo, usarse para inyectar malware en sus descargas.
Puede intentar proporcionar integridad sin usar TLS, mostrando el resumen criptográfico de sus archivos (por ejemplo, sha256sum). En teoría, si el hash de los archivos del servidor coincide con el hash de los archivos del cliente, entonces los archivos no han sido manipulados. En la práctica, si no está utilizando TLS, el cliente no tiene forma de saber cuál es el hash de los archivos del servidor. El atacante puede modificar los compendios de la misma manera que ellos pueden modificar las descargas, por lo que cuando hago un hash de mi descarga y veo que el hash coincide, todo lo que me dice es que la descarga coincide con lo que el atacante quería que yo viera. (Además, la comprobación manual de hashes requiere que el usuario se moleste en hacerlo, mientras que TLS realiza todas las comprobaciones de integridad de forma automática y transparente; nunca tendrá que hacer nada, ni siquiera ver que suceda, a menos que algo altere los datos).