Podrías proteger / dev / kvm con un grupo. Transfiera la propiedad / dev / kvm al grupo para que no se den privilegios de raíz. Este enlace explica cómo hacerlo , y aquí está la cita directa:
La forma más limpia es probablemente crear un grupo, digamos kvm, y agregar el usuario (s) a ese grupo. Entonces necesitarás cambiar / dev / kvm para que sea propiedad del grupo kvm.
En un sistema que ejecuta udev, es probable que deba agregar la siguiente línea en algún lugar de su configuración de udev para que automáticamente proporcione el grupo correcto al dispositivo recién creado (es decir, para Ubuntu agregue una línea a / etc / udev / rules.d / 40-permissions.rules).
KERNEL == "kvm", GROUP="kvm"
Para responder a su pregunta, no hay peligro en darles acceso a / dev / kvm. Esta publicación explica que la administración de la memoria más nueva ofrece protecciones contra el intercambio de grandes cantidades de memoria.