Documentos de cientos de páginas: anonimizar con IA ya no es esperar
Expedientes administrativos, solicitudes de ayudas, sumarios, documentación de una due diligence: muchos de los documentos que hay que anonimizar tienen cientos de páginas. Y eran justo los que más se hacían esperar. En la versión 1.9.0 de Anonimatum hemos rehecho dos partes del proceso: un Word de 600 páginas que antes no terminaba en 20 minutos se previsualiza ahora en unos 7, con el mismo resultado. Y, sobre todo, si algo falla, la aplicación lo dice.
Por qué los documentos largos tardaban tanto
La IA de Anonimatum lee el documento entero para encontrar lo que las reglas no ven: nombres, direcciones, importes o fechas según su contexto. Trabaja a un ritmo de unos 0,5 segundos por página y analiza un documento detrás de otro, así que un expediente de 600 páginas necesita varios minutos solo para esa lectura.
El problema de verdad era otro: si el análisis superaba el tiempo máximo, el resultado podía quedarse solo con las detecciones por patrones (DNI, IBAN, teléfonos…) y perder los nombres, importes o direcciones que había encontrado la IA, sin ningún aviso. Un documento que parecía anonimizado, pero lo estaba a medias.
Qué cambia en la versión 1.9.0
La IA analiza los documentos largos por bloques de 25 páginas
Los documentos largos se envían ahora a la IA en bloques de 25 páginas. Cada bloque se analiza por separado y después se unen los resultados, colocando cada detección en su página original. Así ningún análisis se acerca al límite de tiempo, por largo que sea el documento.
Si un bloque falla, lo sabrás
Si la IA no consigue analizar algún bloque, la vista previa lo dice con las páginas exactas, por ejemplo «la IA no ha analizado las páginas 26-50», para que las revises o repitas el análisis. Y la anonimización final no entrega un documento anonimizado a medias: se detiene y te avisa antes que devolverlo en silencio. Entre rapidez y seguridad, gana la seguridad.
Marcar cada dato en su página: de 22 minutos a 11 segundos
Después de detectar los datos hay que localizarlos en cada página para dibujar los recuadros de tachado. Ese paso también se ha reescrito: el texto de cada página se prepara una sola vez (antes, una vez por cada palabra buscada), las búsquedas repetidas se reaprovechan y se descartan de entrada las palabras que no pueden estar en esa página. En una prueba con 600 páginas y 2000 valores detectados ha pasado de unos 2,1 segundos por página a unos 20 milisegundos: de cerca de 22 minutos a unos 11 segundos, con exactamente las mismas marcas.
| Antes | Con la 1.9.0 | |
|---|---|---|
| Vista previa completa con IA | Más de 20 min, y se cortaba | Unos 7 min |
| Análisis de la IA | Todo el documento de una vez | Bloques de 25 páginas, unos 5 min |
| Marcar los datos en las páginas | Unos 2,1 s por página (≈ 22 min) | Unos 20 ms por página (≈ 11 s) |
| Si el análisis no termina | Solo las reglas, sin aviso | Aviso con las páginas afectadas; nunca se entrega a medias |
La prueba: un Word de 600 páginas
Lo hemos comprobado con un Word de 600 páginas lleno de datos personales: nombres, IBAN, DNI, teléfonos, correos electrónicos, direcciones, fechas e importes. La vista previa completa con IA termina ahora en unos 7 minutos: unos 5 de análisis de la IA y el resto para preparar las páginas y marcar los datos. Antes superaba los 20 minutos y se cortaba.
Como regla práctica, calcula algo más de medio segundo por página: alrededor de un minuto para 100 páginas y unos 3 para 300. Si tienes que anonimizar muchos documentos largos a la vez, es mejor enviarlos con el procesamiento por lotes que de uno en uno.
Otras mejoras de la 1.9.0 pensadas para documentos largos
- Vista previa por palabra. Además de la lista por página, cada texto detectado aparece una sola vez con su número de apariciones y sus páginas. Si la IA ha marcado por error una palabra que se repite en 200 páginas, la quitas de todas a la vez con Quitar todas, y la aplicación te sugiere no volver a anonimizarla.
- Un Word grande nunca sale sin anonimizar. Hemos corregido un caso en el que un Word grande podía descargarse sin anonimizar si se cambiaba algún ajuste después de previsualizar. Ahora la detección con IA se repite al anonimizar y, si no se sustituye ningún dato, la aplicación lo avisa en lugar de entregar el documento. Más sobre cómo anonimizar un Word con su formato.
Qué significa para ti
- Los expedientes de cientos de páginas se previsualizan en minutos, y completos.
- Para la vista previa con IA, calcula algo más de medio segundo por página.
- Si la IA no analiza alguna página, la vista previa te dice cuáles.
- Nunca recibirás un documento anonimizado a medias sin aviso.
- Las marcas son idénticas a las de antes: solo cambia el tiempo.
- Para muchos documentos largos a la vez, usa el procesamiento por lotes.
- Revisa siempre la vista previa antes de aplicar, como con cualquier documento.
La calidad de la detección idioma por idioma la contamos en cómo medimos la IA de Anonimatum, y la lista completa de cambios está en las notas de la versión 1.9.0.
Preguntas frecuentes
¿El resultado es el mismo que antes?
Sí. Las detecciones y los recuadros de tachado son idénticos; lo que cambia es el tiempo. En la prueba de 600 páginas, la localización de los datos dio exactamente las mismas marcas antes y después del cambio.
¿Qué pasa si falla un bloque?
La vista previa indica las páginas que la IA no ha analizado (por ejemplo, «la IA no ha analizado las páginas 26-50») para que las revises o repitas el análisis. La anonimización final no entrega un documento anonimizado a medias: se detiene y te avisa.
¿Hay un límite de páginas?
No por la IA: el documento se divide en tantos bloques de 25 páginas como haga falta (24 en uno de 600). Sí se aplican los límites generales de tu cuenta, como el tamaño de archivo y las páginas disponibles. Lo que crece con el tamaño es el tiempo: algo más de medio segundo por página.
¿Mi documento sale de la UE?
No. Se analiza en servidores propios de Anonimatum en la UE, sin enviarlo a servicios de terceros ni a APIs externas. Todos los bloques se analizan en el mismo sitio.
¿Cambia algo en los documentos cortos?
Un documento de 25 páginas o menos se analiza de una vez, como siempre. También se beneficia de la nueva forma de marcar los datos en las páginas, aunque en documentos cortos la diferencia apenas se nota.