Cómo medimos la IA de Anonimatum en 10 idiomas: corpus, recall y precisión

Una herramienta de anonimización se juzga por lo que se le escapa. Por eso, cada vez que cambia la IA de Anonimatum, la probamos contra un corpus de 6123 documentos en 10 idiomas (castellano, catalán, gallego, euskera, inglés, francés, alemán, italiano, portugués y rumano) y comparamos lo que detecta con lo que debería detectar. Este artículo explica qué hay en ese corpus, cómo medimos y cuáles son las cifras de hoy, también las que todavía no nos gustan.

Qué hay en el corpus de pruebas

El corpus mezcla dos tipos de documentos. Los reales (4805) son, en su gran mayoría, publicaciones de organismos públicos con licencia de reutilización: boletines y diarios oficiales, sentencias y autos de tribunales, decisiones de autoridades de protección de datos y de transparencia, actas, convenios y normativa de la Unión Europea. Los sintéticos (1318) los generamos con datos inventados para cubrir lo que en los reales aparece poco: nóminas, facturas, contratos, informes médicos, formularios, correos, hojas de cálculo y documentos de Word u OpenDocument con maquetaciones complejas. Entre ellos hay facturas en todas sus formas: PDF con texto, escaneadas, fotografiadas con el móvil, en Word y Excel, adjuntas a un correo y como factura electrónica en XML.

1272 documentos son escaneados: antes de buscar datos personales hay que pasarlos por OCR con el modelo del idioma del documento. Incluyen páginas torcidas o giradas, sellos, manchas, faxes, fotos hechas con el móvil y texto manuscrito, porque es ahí donde la anonimización falla en la práctica (lo contamos en los riesgos del OCR en documentos escaneados).

Cómo medimos: recall y precisión

• Recall (exhaustividad): de todos los datos personales que hay en un documento, qué parte detecta la IA. Un recall de 0,95 significa que se escapan 5 de cada 100. Es la métrica que más importa al anonimizar: lo que no se detecta, se publica.
• Precisión: de todo lo que la IA marca, qué parte es de verdad un dato personal. Una precisión baja no filtra datos, pero obliga a quitar marcas de más al revisar.
• Identificadores con formato (DNI, NIE, números fiscales, IBAN…): tienen que detectarse todos en los documentos con texto; en los escaneados se tolera que el OCR lea mal alguna cifra.

Revisados a mano y anotación automática

Para medir el recall hay que saber qué datos personales contiene cada documento. En los sintéticos lo sabemos porque los inventamos. En los reales hay dos niveles:

Por eso damos dos cifras de recall en los reales: la de los revisados a mano, que es la que mejor refleja un documento completo, y la de todos los reales (a mano más anotación automática), que es más dura porque concentra nombres justo donde es más fácil fallar. La precisión se mide en los sintéticos y en los revisados a mano, que son los que tienen todo marcado.

Resultados por idioma

Cifras de la ejecución #18 de las pruebas de la IA, del 21 de octubre de 2026. La precisión está entre 0,966 y 0,993 en todos los idiomas.

En los reales revisados a mano, 9 de los 10 idiomas llegan a 0,95 o más; el valor más bajo es 0,921 (euskera). Con todos los reales, los valores más bajos son 0,855 (rumano), 0,870 (portugués) y 0,899 (italiano). En los sintéticos, que reúnen los casos más difíciles del corpus (escaneados manuscritos, faxes, manchas, páginas giradas), el valor más bajo es 0,963 (rumano).

Qué ha cambiado en octubre de 2026

Antes de las mejoras de este mes las cifras eran bastante peores. En los idiomas peninsulares comparamos el recall en reales revisados a mano; en el resto, el de todos los reales, que es donde estaba el problema.

• Euskera (0,597 → 0,921): direcciones con el tipo de vía detrás del nombre de la calle («kalea», «hiribidea», «solairua»), firmas en mayúsculas, tratamientos como «andrea» y «jauna», y formas jurídicas como «S. Koop.» o «Fundazioa».
• Francés, alemán, italiano, portugués, inglés y rumano (el rumano, de 0,412 a 0,855): tratamientos delante del nombre, composición de los tribunales, listas de nombres, el codice fiscale italiano, direcciones y formas jurídicas de cada país.
• Sin retrocesos: cada mejora se prueba contra el corpus completo, así que lo que sube un idioma no puede bajar otro.

Qué falta por mejorar

Lo que se escapa hoy se concentra en dos casos, y los dos se ven sobre todo en la cifra de todos los reales:

• Nombres mal leídos por el OCR. En un escaneado, un nombre puede salir pegado a la palabra de al lado, partido con guion al final de la línea o con letras cambiadas. Si el OCR no lo lee como un nombre, la IA no lo reconoce.
• Nombres sueltos sin contexto. Un apellido poco común en una lista, sin tratamiento, cargo ni verbo que lo acompañe, es difícil de distinguir de una palabra cualquiera. Es lo que más separa las dos cifras en los idiomas con el recall más bajo en todos los reales.
• En euskera, además, apellidos partidos que llevan la declinación pegada y nombres extranjeros. Su mínimo provisional de 0,92 solo puede subir, hasta llegar al 0,95 del resto.

Mientras tanto, la respuesta práctica es la de siempre: la detección automática propone y una persona revisa antes de aplicar, sobre todo en escaneados. La anonimización visual por zonas cubre lo que el OCR no llega a leer.

Se ejecuta en cada cambio de la IA

Estas pruebas no son una foto para el blog. El corpus completo pasa por el sistema de integración continua con cada cambio de la IA, antes de que llegue a producción: se extrae el texto (con OCR en los escaneados), se detectan los datos personales y se compara con lo esperado. Cada idioma tiene un mínimo de recall y de precisión que solo puede subir; si un cambio queda por debajo, no se integra. Las cifras de este artículo salen de esos informes y las actualizaremos cuando cambien.