Argumentaré para eliminarlos. Lo único que impide que se utilicen estas cuentas es:
Los administradores inactivos no pueden iniciar sesión.
Y esa es una defensa contra la fuerza bruta (o el engaño) de una autenticación, pero no la defiende contra la escalada de privilegios.
Las directrices de OWASP para aplicaciones web argumentan que un cliente nunca debe mantener una sesión con autenticación para dos cuentas separadas. Eso evitaría la escalada de privilegios en la mayoría de los casos. Sin embargo, de lejos, no todas las aplicaciones web siguen las pautas de OWASP.
Por lo tanto, mantener esas cuentas inactivas pero aún privilegiadas es una posibilidad de un vector de ataque.
El otro lado de la moneda es que el procedimiento para eliminar las cuentas puede consumir recursos o, incluso, ser inseguro en sí mismo. Pero la gestión para producir un procedimiento de eliminación de cuenta que sea vulnerable a un ataque es mucho menos probable que ser golpeado por una escalada de privilegios.
Simplemente no realice el procedimiento de eliminación periódica de la cuenta para eliminar las cuentas inactivas al iniciar sesión en una cuenta de administrador activa a través de la red.