Come misuriamo l’IA di Anonimatum in 10 lingue: corpus, recall e precisione

Uno strumento di anonimizzazione si giudica da ciò che gli sfugge. Per questo, ogni volta che l’IA di Anonimatum cambia, la mettiamo alla prova su un corpus di 6123 documenti in 10 lingue (spagnolo, catalano, galiziano, basco, inglese, francese, tedesco, italiano, portoghese e rumeno) e confrontiamo ciò che rileva con ciò che dovrebbe rilevare. Questo articolo spiega cosa c’è nel corpus, come misuriamo e quali sono i numeri di oggi, compresi quelli che non ci soddisfano ancora.

Cosa contiene il corpus di test

Il corpus mescola due tipi di documenti. Quelli reali (4805) sono in gran parte pubblicazioni di enti pubblici con licenza di riutilizzo: gazzette e bollettini ufficiali, sentenze e ordinanze, decisioni delle autorità per la protezione dei dati e per la trasparenza, verbali, convenzioni e normativa dell’Unione europea. Quelli sintetici (1318) li generiamo con dati inventati per coprire ciò che nei reali compare poco: buste paga, fatture, contratti, referti medici, moduli, e-mail, fogli di calcolo e file Word od OpenDocument con impaginazioni complesse. Tra questi ci sono fatture in ogni forma: PDF con testo, scansionate, fotografate con il telefono, in Word ed Excel, allegate a un’e-mail e fatture elettroniche in XML.

1272 documenti sono scansioni: prima di cercare dati personali passano dall’OCR con il modello della lingua del documento. Ci sono pagine storte o ruotate, timbri, macchie, fax, foto scattate con il telefono e testo scritto a mano, perché è lì che l’anonimizzazione fallisce nella pratica (ne parliamo in i rischi dell’OCR nei documenti scansionati).

Come misuriamo: recall e precisione

• Recall (richiamo): di tutti i dati personali presenti in un documento, quale parte rileva l’IA. Un recall di 0,95 significa che ne sfuggono 5 su 100. È la metrica che conta di più nell’anonimizzazione: ciò che non viene rilevato viene pubblicato.
• Precisione: di tutto ciò che l’IA segna, quale parte è davvero un dato personale. Una precisione bassa non fa trapelare dati, ma costringe a togliere segni di troppo durante la revisione.
• Identificativi strutturati (numeri di documento d’identità, codici fiscali, IBAN…): devono essere rilevati tutti nei documenti con livello di testo; nelle scansioni si tollera che l’OCR legga male qualche cifra.

Rivisti a mano o con annotazione automatica

Per misurare il recall bisogna sapere quali dati personali contiene ogni documento. Per i sintetici lo sappiamo perché li abbiamo inventati. Per i reali ci sono due livelli:

Per questo diamo due valori di recall sui reali: quello dei rivisti a mano, che rispecchia meglio un documento completo, e quello di tutti i reali (a mano più annotazione automatica), più severo perché concentra i nomi proprio dove è più facile sbagliare. La precisione si misura sui sintetici e sui rivisti a mano, dove tutto è segnato.

Risultati per lingua

Dati dell’esecuzione n. 18 dei test dell’IA, del 21 ottobre 2026. La precisione è compresa tra 0,966 e 0,993 in tutte le lingue.

Sui reali rivisti a mano, 9 lingue su 10 arrivano a 0,95 o più; il valore più basso è 0,921 (basco). Su tutti i reali i valori più bassi sono 0,855 (rumeno), 0,870 (portoghese) e 0,899 (italiano). Nei sintetici, che raccolgono i casi più difficili del corpus (scansioni scritte a mano, fax, macchie, pagine ruotate), il valore più basso è 0,963 (rumeno).

Cosa è cambiato a ottobre 2026

Prima dei miglioramenti di questo mese i numeri erano decisamente peggiori. Per le lingue della penisola iberica confrontiamo il recall sui reali rivisti a mano; per le altre, quello su tutti i reali, dove stava il problema.

• Basco (0,597 → 0,921): indirizzi con il tipo di via dopo il nome della strada («kalea», «hiribidea», «solairua»), firme in maiuscolo, appellativi come «andrea» e «jauna» e forme giuridiche come «S. Koop.» o «Fundazioa».
• Francese, tedesco, italiano, portoghese, inglese e rumeno (il rumeno da 0,412 a 0,855): appellativi davanti al nome, composizione dei collegi giudicanti, elenchi di nomi, codice fiscale, indirizzi e forme giuridiche di ogni paese.
• Nessun passo indietro: ogni miglioramento si prova sul corpus completo, quindi ciò che guadagna una lingua non può farlo perdere a un’altra.

Cosa resta da migliorare

Ciò che sfugge oggi si concentra in due casi, visibili soprattutto nel valore di tutti i reali:

• Nomi letti male dall’OCR. In una scansione un nome può uscire attaccato alla parola vicina, spezzato con un trattino a fine riga o con lettere scambiate. Se l’OCR non lo legge come un nome, l’IA non lo riconosce.
• Nomi isolati senza contesto. Un cognome poco comune in un elenco, senza appellativo, carica o verbo accanto, è difficile da distinguere da una parola qualsiasi. È ciò che separa di più i due valori nelle lingue con il recall più basso su tutti i reali.
• In basco, inoltre, cognomi spezzati con la desinenza attaccata e nomi stranieri. Il suo minimo provvisorio di 0,92 può solo salire, fino allo 0,95 delle altre lingue.

Nel frattempo la risposta pratica resta la stessa: il rilevamento automatico propone e una persona rivede prima di applicare, soprattutto con le scansioni. L’anonimizzazione visiva per aree copre ciò che l’OCR non riesce a leggere.

Si esegue a ogni modifica dell’IA

Questi test non sono una foto per il blog. Il corpus completo passa in integrazione continua a ogni modifica dell’IA, prima che arrivi in produzione: si estrae il testo (con OCR per le scansioni), si rilevano i dati personali e si confronta il risultato con quello atteso. Ogni lingua ha un minimo di recall e di precisione che può solo salire; una modifica che scende sotto non viene integrata. I numeri di questo articolo vengono da quei report e li aggiorneremo quando cambieranno.