Me gusta el punto fundamental de la respuesta aceptada pero pensé que agregaría esto:
Criptográficamente, tienes razón. Un par de claves públicas / privadas y un algoritmo son el mismo cálculo matemático si tiene un certificado firmado por una CA de confianza o si ha firmado uno mismo, siempre que use el mismo tamaño de clave, el mismo algoritmo.
Desde una perspectiva de seguridad holística (las otras respuestas son correctas), el sistema en su conjunto está comprometido si el cliente no tiene motivos para confiar en el servidor. La firma de una CA de confianza confiere legitimidad al servidor, lo cual es crucial si el cliente le está dando información privada al servidor.
Puede configurar una conexión punto a punto igual de segura = configurar un cliente que solo confíe en el certificado autofirmado que proviene del servidor, y sneakernet el certificado del servidor al cliente. Esto no es realmente una locura en algunos escenarios en los que tiene un proxy público frontal que protege un servidor backend. En ese caso, el proxy es el único cliente del servidor, y puede valer la pena configurar una conexión SSL punto a punto. Sin embargo, el proxy debe tener un certificado firmado para hablar con clientes fuera de la zona protegida.