Cualquier CPU que realice una ejecución especulativa es vulnerable a Specter, así que sí, los sistemas operativos de 32 bits son vulnerables.
La fusión es un problema en el modo en que las CPU de Intel aplican la protección de la memoria mientras realizan una ejecución especulativa (en resumen, la protección de la memoria no se aplica hasta el punto en el que la ejecución especulativa se convierte en una ejecución real). Los sistemas operativos de 32 bits en las CPU de Intel son vulnerables, pero el uso más intenso del intercambio reduce en cierta medida el impacto (Meltdown solo puede leer la memoria física; los datos que se han intercambiado en el disco son inaccesibles).