Sí, parece que deberías estar preocupado.
Le sugiero que eche un vistazo a la extensa hoja de trucos de pruebas XSS de OWASP y vea si puede obtener una ventana emergente en su sitio (lo que indica que es vulnerable a XSS).
Una buena para jugar es insertar javascript en una etiqueta de imagen:
<img src="javascript:alert('XSS');">
o
<img src=doesnotexist onerror="alert('XSS')">
Si necesita que los usuarios puedan enviar HTML, debe crear una lista de permisos para decidir qué etiquetas HTML (y qué atributos dentro de esas etiquetas) se cargan en el DOM, y todo lo demás se representa como texto. Sin embargo, esto puede ser realmente complicado, por ejemplo, <img src="https://...">
podríaestarbien,pero<imgsrc="javascript:...">
no lo está. Esto se convierte rápidamente en un juego de whack-a-mole que la hoja de trucos de OWASP es probable que gane.
En algún momento, puede ser más sencillo pasar de que los usuarios envíen HTML a algún tipo de biblioteca de rebajas estándar (como stackexchange o github) para evitar por completo el juego de listas blancas.
TL; DR: si está permitiendo HTML arbitrario, es probable que tenga un problema de XSS.