¿Funciona el cifrado HTTPS cuando no es válido o no hay certificado?

Sí , el cifrado aún funciona bien.

Es la validación de confianza del certificado la que está fallando .

Intente capturar un volcado de Wirehark y verifique las solicitudes y vea por sí mismo.

Si no hay certificado, tampoco hay SSL ni cifrado. No es posible configurar un sitio web para SSL sin un certificado.

Si un navegador no confía en un certificado (y hay muchas razones por las que este podría ser el caso) el cifrado en sí todavía funciona.

Todavía hay cifrado pero es susceptible a los ataques MiTM. Un atacante de MiTM puede reemplazar su certificado por el suyo, haciendo que cualquier encriptación utilizada sea inútil.