Documenti di centinaia di pagine: anonimizzare con l’IA senza lunghe attese
Fascicoli amministrativi, domande di contributo, atti di causa, documentazione di una due diligence: molti dei documenti da anonimizzare superano le centinaia di pagine. Ed erano proprio quelli che facevano aspettare di più. Con la versione 1.9.0 di Anonimatum abbiamo rifatto due fasi del processo: un Word di 600 pagine che prima non finiva in 20 minuti ora si vede in anteprima in circa 7, con lo stesso risultato. E soprattutto, se qualcosa va storto, l’applicazione lo dice.
Perché i documenti lunghi richiedevano tanto tempo
L’IA di Anonimatum legge tutto il documento per trovare ciò che le regole non vedono: nomi, indirizzi, importi o date in base al contesto. Lavora a circa 0,5 secondi per pagina e analizza un documento dopo l’altro, quindi un fascicolo di 600 pagine richiede diversi minuti solo per questa lettura.
Il vero problema era un altro: se l’analisi superava il tempo massimo, il risultato poteva contenere solo i rilevamenti basati su schemi (codici fiscali, IBAN, telefoni…) e perdere i nomi, gli importi o gli indirizzi trovati dall’IA, senza alcun avviso. Un documento che sembrava anonimizzato, ma lo era solo a metà.
Cosa cambia con la versione 1.9.0
L’IA analizza i documenti lunghi in blocchi di 25 pagine
I documenti lunghi vengono ora inviati all’IA in blocchi di 25 pagine. Ogni blocco viene analizzato separatamente e poi i risultati vengono uniti, riportando ogni rilevamento sulla sua pagina originale. Così nessuna analisi si avvicina al limite di tempo, per quanto lungo sia il documento.
Se un blocco non va a buon fine, lo saprai
Se l’IA non riesce ad analizzare un blocco, l’anteprima lo segnala con le pagine esatte, per esempio «l’IA non ha analizzato le pagine 26-50», così puoi controllarle o ripetere l’analisi. E l’anonimizzazione finale non consegna mai un documento anonimizzato a metà: si ferma e ti avvisa invece di restituirlo in silenzio. Tra velocità e sicurezza, vince la sicurezza.
Segnare ogni dato sulla sua pagina: da 22 minuti a 11 secondi
Dopo il rilevamento, i dati vanno individuati su ogni pagina per disegnare i riquadri di oscuramento. Anche questa fase è stata riscritta: il testo di ogni pagina viene preparato una sola volta (prima, una volta per ogni parola cercata), le ricerche ripetute vengono riutilizzate e le parole che non possono trovarsi su una pagina vengono scartate subito. In un test con 600 pagine e 2.000 valori rilevati si è passati da circa 2,1 secondi per pagina a circa 20 millisecondi: da quasi 22 minuti a circa 11 secondi, con esattamente gli stessi segni.
| Prima | Con la 1.9.0 | |
|---|---|---|
| Anteprima completa con IA | Oltre 20 min, poi interrotta | Circa 7 min |
| Analisi dell’IA | Tutto il documento in una volta | Blocchi di 25 pagine, circa 5 min |
| Segnare i dati sulle pagine | Circa 2,1 s per pagina (≈ 22 min) | Circa 20 ms per pagina (≈ 11 s) |
| Se l’analisi non termina | Solo le regole, senza avviso | Avviso con le pagine interessate; mai consegnato a metà |
La prova: un Word di 600 pagine
L’abbiamo verificato con un Word di 600 pagine pieno di dati personali: nomi, IBAN, codici fiscali, telefoni, indirizzi e-mail, indirizzi postali, date e importi. L’anteprima completa con IA ora termina in circa 7 minuti: circa 5 per l’analisi dell’IA e il resto per preparare le pagine e segnare i dati. Prima superava i 20 minuti e veniva interrotta.
Come regola pratica, calcola poco più di mezzo secondo per pagina: circa un minuto per 100 pagine e circa 3 per 300. Se devi anonimizzare molti documenti lunghi insieme, conviene inviarli con l’elaborazione batch anziché uno alla volta.
Altre novità della 1.9.0 pensate per i documenti lunghi
- Anteprima per parola. Oltre all’elenco per pagina, ogni testo rilevato compare una sola volta con il numero di occorrenze e le pagine. Se l’IA ha segnato per errore una parola che si ripete in 200 pagine, la togli ovunque in un colpo con Rimuovi tutte, e l’applicazione ti suggerisce di non anonimizzarla più.
- Un Word grande non esce mai senza anonimizzazione. Abbiamo corretto un caso in cui un Word di grandi dimensioni poteva essere scaricato senza anonimizzazione se si modificava un’impostazione dopo l’anteprima. Ora il rilevamento con l’IA viene ripetuto all’anonimizzazione e, se nessun dato viene sostituito, l’applicazione lo segnala invece di consegnare il documento. Approfondisci come anonimizzare un Word mantenendone la formattazione.
Cosa significa per te
- I fascicoli di centinaia di pagine si vedono in anteprima in pochi minuti, e per intero.
- Per l’anteprima con IA, calcola poco più di mezzo secondo per pagina.
- Se l’IA non analizza alcune pagine, l’anteprima ti dice quali.
- Non riceverai mai un documento anonimizzato a metà senza avviso.
- I segni sono identici a prima: cambia solo il tempo.
- Per molti documenti lunghi insieme, usa l’elaborazione batch.
- Controlla sempre l’anteprima prima di applicare, come per qualsiasi documento.
La qualità del rilevamento lingua per lingua la spieghiamo in come misuriamo l’IA di Anonimatum, e l’elenco completo delle modifiche è nelle note di rilascio della 1.9.0.
Domande frequenti
Il risultato è lo stesso di prima?
Sì. I rilevamenti e i riquadri di oscuramento sono identici; cambia solo il tempo. Nel test con 600 pagine, l’individuazione dei dati ha prodotto esattamente gli stessi segni prima e dopo la modifica.
Cosa succede se un blocco non va a buon fine?
L’anteprima indica le pagine che l’IA non ha analizzato (per esempio, «l’IA non ha analizzato le pagine 26-50») così puoi controllarle o ripetere l’analisi. L’anonimizzazione finale non consegna mai un documento anonimizzato a metà: si ferma e ti avvisa.
C’è un limite di pagine?
Non per l’IA: il documento viene diviso in tutti i blocchi di 25 pagine necessari (24 per un documento di 600 pagine). Restano validi i limiti generali del tuo account, come la dimensione del file e le pagine disponibili. Con la lunghezza cresce il tempo: poco più di mezzo secondo per pagina.
Il mio documento esce dall’UE?
No. Viene analizzato sui server propri di Anonimatum nell’UE, senza inviarlo a servizi di terzi né ad API esterne. Tutti i blocchi vengono analizzati nello stesso luogo.
Cambia qualcosa per i documenti brevi?
Un documento di 25 pagine o meno viene analizzato in una sola volta, come sempre. Beneficia anche del nuovo modo di segnare i dati sulle pagine, anche se nei documenti brevi la differenza si nota appena.