El problema obvio con esto es el mismo problema con solo usar una contraseña: tan pronto como alguien tiene eso, tiene todo el acceso que necesita. Suponiendo que usarías tu teléfono, si tu teléfono fue robado, esa persona puede iniciar sesión.
Si considera que los riesgos de usar este método son aceptables, entonces es aceptable. Pero tienes que entender las debilidades del enfoque y aceptarlas como parte del trato.
Pongámoslo de otra manera en un caso extremo: ¿es "seguro" (no lo has definido) usar una contraseña de "123456"? Claro, mantiene a las personas fuera de su cuenta, hasta que alguien intente adivinar su contraseña y pruebe esta contraseña muy común. Su cuenta es "segura" para las personas que no intentarán adivinar su contraseña (pero no es segura para las personas que lo hacen)
¿El uso de una contraseña aleatoria súper compleja de 30 caracteres es "seguro"? Claro, ahora es seguro contra aquellos que intentan adivinar su contraseña, pero inseguro contra aquellos que intentan usar un keylogger o una base de datos de contraseñas que almacena todo en texto plano o una super computadora dedicada a descifrar su contraseña.
Cada nivel de complejidad aumenta la "seguridad" y protege su cuenta contra ciertos grupos de amenazas. Al usar solo 1 factor, reduce la complejidad y la cantidad de grupos contra los que se está asegurando, pero tal vez los grupos que permanecen son suficientes para sus necesidades.