Varía según el protocolo.
PAP (Protocolo de autenticación de contraseña)
Esto es solo para referencia y no debe usarse. Esto es solo enviar un nombre de usuario y contraseña en el encabezado.
CHAP (Protocolo de autenticación por desafío mutuo)
Utiliza un método de respuesta de desafío generando una cadena y las necesidades del cliente la coinciden. Esto es más para referencia también.
Kerberos
En su punto, utiliza la criptografía de clave secreta para establecer la identidad. Común, en la mayoría de los sistemas. También proporciona un boleto para el usuario que se puede usar en la Autorización.
NTLM
Un conjunto de protocolos de seguridad de Microsoft para autenticación, autorización e integridad que utiliza los mismos conceptos de desafío-respuesta como CHAP.
Abrir ID
Un estándar abierto que utiliza el concepto de protocolo de autenticación descentralizado y URL para intercambiar información de identidad.
Explicación
La autenticación es el acto de demostrar que un usuario es quien dice ser. Cada ejemplo que proporcioné son protocolos débiles para lograr esto. Lo que creo que no entiendes es que la Autenticación en su conjunto no está sujeta a la protección de los ojos curiosos de los intrusos.
Ese es el rol de otros protocolos como HTTPS, que es el más común y utiliza la criptografía de clave pública para establecer una conexión segura a otro servicio.
Example
Al conectarse a Facebook, utiliza una conexión HTTPS (claves públicas) para establecer una conexión segura. Usted proporcionó su nombre de usuario / contraseña, y lo autentica usando, si recuerdo bien, su implementación de OAUTH 2.0.
La seguridad de la conexión y la integridad de la identidad de los usuarios son exclusivas. Tendemos a hablar de ellos nominalmente, pero normalmente usan protocolos separados.