Los buenos evaluadores de la pluma tienden a tener tres cualidades: prestar atención a los detalles mientras siguen un proceso flexible para que no se pierda nada, paciencia para seguir adelante con algo cuando tienen la sensación de que hay algo allí y mucho experiencia (que es la forma en que obtienen la sensación de 'gut' en primer lugar).
Los probadores de lápiz deficientes siguen un proceso de lista de verificación rígido (independientemente de los hallazgos durante la prueba) y usan herramientas básicas y simplemente informan el resultado de la herramienta al cliente. Los buenos evaluadores de la pluma pueden revisar los hallazgos y comprender y discutir el riesgo real asociado con las vulnerabilidades.
Los evaluadores de lápiz deficientes no comprenden todas las implicaciones de las vulnerabilidades que descubren sus herramientas. Los buenos evaluadores de la pluma han visto, o pueden prever, cómo una vulnerabilidad puede ser explotada aún más, o cómo se pueden combinar múltiples vulnerabilidades para crear un mayor riesgo. Los buenos evaluadores de lápiz también pueden recomendar controles técnicos de compensación que no sean las recomendaciones más inmediatas.
Los medidores de lápiz deficientes a menudo son opacos en su proceso. Los buenos evaluadores de la pluma están felices de mostrar su trabajo, sus registros y también (quizás más importante) discutir lo que no han probado, y por qué.
Los probadores de lápiz deficientes a veces creen, e incluso les dicen a sus clientes, que un resultado de prueba limpio significa que los sistemas que están probando son "seguros". Los buenos evaluadores de la pluma también entienden el papel de la prueba de la pluma como parte de un programa de gobierno de seguridad general y que su propio trabajo puede no tener una cobertura del 100%, y son solo una instantánea del estado de seguridad en el momento de la prueba.