Documentos com centenas de páginas: anonimizar com IA sem longas esperas
Processos administrativos, candidaturas a apoios, processos judiciais, documentação de uma due diligence: muitos dos documentos que é preciso anonimizar têm centenas de páginas. E eram precisamente os que mais faziam esperar. Na versão 1.9.0 do Anonimatum refizemos duas partes do processo: um Word de 600 páginas que antes não terminava em 20 minutos pré-visualiza-se agora em cerca de 7, com o mesmo resultado. E, sobretudo, se algo falhar, a aplicação diz-lhe.
Porque é que os documentos longos demoravam tanto
A IA do Anonimatum lê o documento inteiro para encontrar o que as regras não veem: nomes, moradas, montantes ou datas em função do contexto. Trabalha a um ritmo de cerca de 0,5 segundos por página e analisa um documento de cada vez, pelo que um processo de 600 páginas precisa de vários minutos só para essa leitura.
O verdadeiro problema era outro: se a análise ultrapassasse o tempo máximo, o resultado podia ficar apenas com as deteções por padrões (números de identificação, IBAN, telefones…) e perder os nomes, montantes ou moradas encontrados pela IA, sem qualquer aviso. Um documento que parecia anonimizado, mas só o estava em parte.
O que muda na versão 1.9.0
A IA analisa os documentos longos em blocos de 25 páginas
Os documentos longos são agora enviados à IA em blocos de 25 páginas. Cada bloco é analisado em separado e os resultados são depois juntos, colocando cada deteção na sua página original. Assim, nenhuma análise se aproxima do limite de tempo, por mais longo que seja o documento.
Se um bloco falhar, vai saber
Se a IA não conseguir analisar algum bloco, a pré-visualização indica as páginas exatas, por exemplo «a IA não analisou as páginas 26-50», para que as reveja ou repita a análise. E a anonimização final nunca entrega um documento anonimizado pela metade: para e avisa-o em vez de o devolver em silêncio. Entre rapidez e segurança, ganha a segurança.
Marcar cada dado na sua página: de 22 minutos para 11 segundos
Depois de detetar os dados, é preciso localizá-los em cada página para desenhar as caixas de ocultação. Também esse passo foi reescrito: o texto de cada página é preparado uma única vez (antes, uma vez por cada palavra procurada), as pesquisas repetidas são reaproveitadas e as palavras que não podem estar numa página são postas de parte logo à partida. Num teste com 600 páginas e 2000 valores detetados, passou de cerca de 2,1 segundos por página para cerca de 20 milissegundos: de quase 22 minutos para cerca de 11 segundos, com exatamente as mesmas marcas.
| Antes | Com a 1.9.0 | |
|---|---|---|
| Pré-visualização completa com IA | Mais de 20 min, e era interrompida | Cerca de 7 min |
| Análise da IA | Todo o documento de uma vez | Blocos de 25 páginas, cerca de 5 min |
| Marcar os dados nas páginas | Cerca de 2,1 s por página (≈ 22 min) | Cerca de 20 ms por página (≈ 11 s) |
| Se a análise não terminar | Só as regras, sem aviso | Aviso com as páginas afetadas; nunca entregue pela metade |
O teste: um Word de 600 páginas
Comprovámo-lo com um Word de 600 páginas cheio de dados pessoais: nomes, IBAN, números de identificação, telefones, endereços de e-mail, moradas, datas e montantes. A pré-visualização completa com IA termina agora em cerca de 7 minutos: cerca de 5 de análise da IA e o resto para preparar as páginas e marcar os dados. Antes, ultrapassava os 20 minutos e era interrompida.
Como regra prática, conte com pouco mais de meio segundo por página: cerca de um minuto para 100 páginas e cerca de 3 para 300. Se tiver de anonimizar muitos documentos longos de uma vez, é melhor enviá-los pelo processamento em lote do que um a um.
Outras melhorias da 1.9.0 pensadas para documentos longos
- Pré-visualização por palavra. Além da lista por página, cada texto detetado aparece uma só vez com o número de ocorrências e as páginas. Se a IA marcou por engano uma palavra que se repete em 200 páginas, retira-a de todas de uma vez com Remover todas, e a aplicação sugere que não a volte a anonimizar.
- Um Word grande nunca sai sem anonimização. Corrigimos um caso em que um Word grande podia ser descarregado sem anonimização se se alterasse alguma definição depois da pré-visualização. A deteção com IA passa a repetir-se ao anonimizar e, se nenhum dado for substituído, a aplicação avisa em vez de entregar o documento. Saiba mais sobre como anonimizar um Word mantendo a formatação.
O que isto significa para si
- Os processos com centenas de páginas pré-visualizam-se em minutos, e por inteiro.
- Para a pré-visualização com IA, conte com pouco mais de meio segundo por página.
- Se a IA não analisar alguma página, a pré-visualização diz-lhe quais.
- Nunca receberá um documento anonimizado pela metade sem aviso.
- As marcas são idênticas às de antes: só muda o tempo.
- Para muitos documentos longos de uma vez, use o processamento em lote.
- Reveja sempre a pré-visualização antes de aplicar, como em qualquer documento.
A qualidade da deteção idioma a idioma explicamo-la em como medimos a IA do Anonimatum, e a lista completa de alterações está nas notas da versão 1.9.0.
Perguntas frequentes
O resultado é o mesmo de antes?
Sim. As deteções e as caixas de ocultação são idênticas; só muda o tempo. No teste com 600 páginas, a localização dos dados deu exatamente as mesmas marcas antes e depois da alteração.
O que acontece se um bloco falhar?
A pré-visualização indica as páginas que a IA não analisou (por exemplo, «a IA não analisou as páginas 26-50») para que as reveja ou repita a análise. A anonimização final nunca entrega um documento anonimizado pela metade: para e avisa-o.
Há um limite de páginas?
Não por parte da IA: o documento é dividido em tantos blocos de 25 páginas quantos forem necessários (24 num de 600). Continuam a aplicar-se os limites gerais da sua conta, como o tamanho do ficheiro e as páginas disponíveis. O que cresce com o tamanho é o tempo: pouco mais de meio segundo por página.
O meu documento sai da UE?
Não. É analisado em servidores próprios do Anonimatum na UE, sem ser enviado a serviços de terceiros nem a APIs externas. Todos os blocos são analisados no mesmo sítio.
Muda alguma coisa nos documentos curtos?
Um documento de 25 páginas ou menos é analisado de uma só vez, como sempre. Também beneficia da nova forma de marcar os dados nas páginas, embora nos documentos curtos a diferença mal se note.