Sí, debe confiar en el servidor remoto si permite el reenvío de agente para este servidor (especialmente si usa la misma clave para más servicios). Si lo hace, un administrador malintencionado o un administrador malvado con acceso de raíz puede suplantarlo para autenticarse en otros servidores durante el tiempo que esté conectado a ese servidor.
El estado sigue siendo mejor que acceder a la clave de forma permanente o robársela a usted, lo que podría suceder cuando copie su clave privada al servidor, pero esto sigue siendo un problema, ya que no hay confirmación por su parte, de que realmente quieres hacer criptografía con tu clave en el agente.
Probablemente sea buena idea usar una clave separada para github. Y tener un clon intermedio de su importante repositorio en un servidor en el que no confía es probablemente algo que tampoco desea.