Si eres un usuario de Android y este "alguien" tiene acceso a tu cuenta de Google, la respuesta es sí, con el historial de ubicación de Google:
enlace
Si la amenaza es una agencia de la ley o de inteligencia, también puede ser triangulada de forma pasiva a medida que su teléfono hace "pings" de las torres celulares de manera constante, incluso cuando no está haciendo una llamada.
Como dijo @cybermike, no está claro cuánto tiempo conservan este tipo de datos, pero si Google puede, es bastante plausible que ellos también puedan ...