No hay daño per se en el uso de un puerto no estándar. Como otros ya han dicho, es posible que algunos de sus usuarios no puedan acceder a él si están utilizando un servidor de seguridad y no es un servicio web interno.
Pero IMHO hay un problema de seguridad con su diseño y no está relacionado con el uso de un puerto no estándar. Pero tu escribes
No quiero que este servicio se realice mediante proxy a través del puerto 80 o 443
Espero que tengas fuertes razones para eso y que entiendas las implicaciones. Las mejores prácticas recomiendan que las aplicaciones web estén ocultas detrás de un proxy inverso, porque el proxy inverso es un animal mucho más simple con una superficie expuesta reducida. Por esa razón, se supone que debe contener menos fallas de seguridad y menos riesgos de colisión frente a consultas anormales.
TL / DR: el único problema de seguridad que veo aquí es no usar un proxy inverso (en puertos estándar) para ocultar el servicio web.