MD5 nunca se rompió, pero se descubrió que se podrían generar colisiones y, por lo tanto, debilitarlo.
Sugeriría OSPFv3, permite SHA o MD5.
OSPF no es tan simple como RIP, está diseñado para redes más complejas, pero en mi humilde opinión sería una muy buena opción de seguridad de autenticación / complejidad.
Esta es una muestra de configuración de cisco que usa SHA-512 ( source )
interface GigabitEthernet 0/0
ospfv3 1 ipv4 authentication key-chain ospf-1
router ospfv3 1
address-family ipv6 unicast vrf vrf1
area 1 authentication key-chain ospf-1
area 1 virtual-link 1.1.1.1 authentication key-chain ospf-1
area 1 sham-link 1.1.1.1 authentication key-chain ospf-1
authentication mode deployment
!
key chain ospf-1
key 1
key-string ospf
cryptographic-algorithm hmac-sha-512
!