Parece que hay tres preguntas aquí:
1) Debes mantener en secreto tu clave GPG privada a pesar de su frase de contraseña. Su frase de contraseña es mucho más fácil de descifrar que la clave GPG privada, por lo que incluso tener la clave privada cifrada con la contraseña lo hace potencialmente más fácil para un adversario.
Lo que hace la frase de contraseña es aplicar una capa de cifrado simétrico al archivo de claves, por lo que la computadora local necesita esa frase de contraseña para abrirla.
2) Si un adversario robó su contraseña cifrada, pueden intentar forzar la frase secreta (que es mucho más simple que forzar una clave RSA de 2048 o 4096 bits, incluso con una contraseña supercompleja); o intente un ataque de reutilización de contraseña (verifique los vertederos conocidos de sus contraseñas anteriores). Una frase de contraseña fuerte y única podría hacer que estos ataques sean inviables.
3) Si no tenía una contraseña y el archivo de clave privada fue copiado de usted, esa clave estaría completamente comprometida y alguien podría descifrar sus comunicaciones anteriores encriptadas con GPG (siempre que tuvieran acceso a la copia encriptada), etcétera dependiendo de para qué se usó la llave. Con una frase de contraseña fuerte y única, tiene una segunda línea de defensa que podría potencialmente detener ese compromiso en sus pistas.
En conclusión, siempre es una buena práctica asegurar sus claves privadas con una frase de contraseña fuerte y única. Cualquier frase de contraseña hace que sea mucho más difícil comprometer la clave privada, y una que sea fuerte y única podría ser inverosímil para que un adversario se rompa.