cómo detectar un virus encriptado

No puedes. Deberá detectar el cargador y marcar todos los archivos que contengan el virus como virus, o detectar dónde está T y el área cifrada y descifrar el área cifrada para verificar si el área cifrada contiene el virus que está buscando.

Hay algunas posibilidades.

Primero, si un explorador de virus puede descubrir el cargador. Para esto, es necesario que el escáner de virus reconozca al cargador como una pieza de malware conocido.

Segundo, si hay un sistema implementado para descubrir la manipulación de archivos, es posible que descubras que el archivo infectado se modificó.

Finalmente, si por alguna razón está seguro de que este ataque en particular está ocurriendo, puede ir a cada archivo sospechoso, capturar cada secuencia de 8 bytes en el archivo, y XOR con cada secuencia de 8 bytes en el archivo hasta que encuentre el código de virus real.
Si no sabes T, primero deberías probar T = 1, luego intentar T = 2, y así sucesivamente.
El proceso tiene una complejidad de tiempo cuadrática. El creador del virus puede causar que tenga una complejidad factorial al distribuir las partes de la clave sobre el archivo, no ponerlas en secuencia.