Yo diría que sí, deberías invalidarlos. El cambio de correo electrónico puede ser debido a que la cuenta de correo electrónico está comprometida. Y no hay ningún daño en invalidarlos, ya que el usuario está claramente conectado y solo puede solicitar otro si lo necesita.
Dicho esto, es mucho más importante enviar un correo electrónico de verificación al correo anterior antes de permitir un cambio y, si el usuario pierde el acceso, envíe un enlace de deshacer válido durante al menos 7 días (lo ideal es más). De lo contrario, corre el riesgo de robo de cuenta.
Por último, si es compatible con 2FA, no debe permitir restablecer ambos factores solo con el correo electrónico.
PS: Además, no debes permitir cambiar el correo por un período de tiempo después del restablecimiento de la contraseña.