Para nuestro desarrollo, trabajamos principalmente en AWS. Tenemos datos sobre S3 con diferentes niveles de seguridad, producción, integración, desarrollo, etc.
Cuando trabajamos con datos, a menudo tenemos que ejecutar análisis ad-hoc. Es posible que no sepamos cuál será la estructura final de los directorios cuando comencemos. Es posible que estemos ejecutando en grandes conjuntos de datos que fallan en pasos intermedios y tenemos que continuar a la mitad.
Sin embargo, no tenemos dónde podemos eliminar archivos / carpetas. Simplemente debemos sobrescribir los datos existentes (reemplazamos, no eliminamos) o hacemos algo como
s3://some/analysis/<date1>,s3://some/analysis/<date2>s3://some/analysis/<date3>
Si bien esto satisface técnicamente los requisitos de permitirnos trabajar, hace que el trabajo sea más desafiante, específicamente en la situación ad-hoc.
Por ejemplo, puedo ejecutar algo que funcionó en 1 semana de datos localmente, pero tiene algunos problemas de memoria en el valor de 1 año de datos. Entonces, 1/10 de la manera a través de los errores. Ok, ahora tengo que iniciar otra ejecución en otro directorio porque el software que estamos usando no permite reemplazar (reemplazar es borrar y luego escribir) y puede fallar en cualquier paso en el camino, es posible que tenga que cambiar algo a la mitad , y al final tengo muchos directorios en los que mis datos están dispersos.
Sí, hice mi trabajo, pero el proceso es propenso a errores, ya que tengo que rastrear las versiones de mis análisis y, al final, ponerlo todo junto.
Nunca he estado en un entorno en el que no haya podido eliminar ningún archivo, incluso en mi propio directorio de trabajo personal. (No tenemos ningún requisito de registro de auditoría en el análisis aleatorio, o en absoluto) El administrador de seguridad dice que esto es una práctica estándar y deberíamos considerar las mejores prácticas para la seguridad.
Parece que él es fuerte al armar el principio de privilegio mínimo, porque, como dije, técnicamente puedo hacer mi trabajo ... Solo en un modo muy propenso a errores, no eficiente, en contra del grano.
Obviamente, la seguridad y la comodidad a menudo llegan a su fin, pero mi pregunta es: suponiendo que no exista un requisito absoluto para guardar los conjuntos de datos intermedios del análisis, ¿es una práctica estándar no permitir la eliminación de archivos en cualquier lugar ?
Editar: trabajo para una empresa de publicidad. Ninguno de los datos a los que me refiero aquí tiene PII. Además, los datos en estas carpetas se eliminan 30 días después de la creación.