Se pueden crear archivos RAR autoextraíbles que contienen archivos peligrosos, pero estos archivos SFX se pueden usar como una herramienta para ataques de ingeniería social (archivos adjuntos de correo electrónico o en un CD-ROM promocional, etc.) para engañar a un usuario para que instale software malicioso (RAT o keyloggers)? ¿O estos archivos SFX son detectables por el software de seguridad?
Como SFX son archivos de programa ejecutables, al menos pueden infectarse con un malware / virus / troyano, como cualquier otro programa. Tales malwares se pueden usar para instalar software malintencionado, directa o indirectamente (descargando algo, por ejemplo).
No sé si hay explotaciones específicas relacionadas con SFX. Lo anterior es general a archivos ejecutables. La única vulnerabilidad a SFX que encontré hasta ahora es esta , que no prueba que no haya más uno dañino
Leer este enlace de RARLab.com puede ser interesante para obtener más detalles: enlace
Además, cuando desea desempaquetar un SFX, nada le impide abrirlo con WinRAR en lugar de ejecutarlo como un programa. De esta manera no se ejecutará la parte ejecutable de desempaquetado del archivo. Este es solo un primer nivel de protección, aunque una vez más no estoy seguro de si existen vulnerabilidades específicas de SFX.
En cuanto a la detección de tales malwares, todo depende de su antivirus. Básicamente, no serán detectables desde el principio ("el primer día"), pero probablemente lo estarán después de la próxima actualización de "antivirus de archivos de definición de malware". (Más sobre esto en esta otra respuesta: enlace )
Lea otras preguntas en las etiquetas malware social-engineering