Tengo problemas para entender exactamente lo que estás preguntando, pero voy a tomar un golpe ...
Como señala, el par de claves privada / pública que está asociada con el servidor puede usarse para cifrar los datos enviados al servidor porque solo el servidor tiene la clave privada para descifrar. Pero no hay una forma segura para que el servidor envíe datos al cliente. Todo lo que el cliente tiene es la clave pública del servidor que, como su nombre lo indica, es pública. Por lo tanto, todo el mundo puede leer los datos con la clave privada y enviarlos a un cliente. Por lo tanto, sin una clave simétrica, no hay forma de cifrar los datos que se envían al cliente.
Tenga en cuenta que un modelo de cifrado diferente al SSL podría hacer que el cliente genere un par de claves pública / privada para cada protocolo de enlace SSL. El servidor usaría la clave pública del cliente para cifrar los datos que se le envían. La razón por la que no se hace esto es, como usted dijo, el cifrado asimétrico es lento (y menos robusto en otras formas), por lo que esta es una mala elección.
Además, debido a que se utiliza una clave única para la transferencia de datos, puede establecer confidencialidad hacia adelante . El secreto de envío asegura que incluso si la clave privada se descubre en una fecha futura, aún es imposible descifrar una grabación de la comunicación.