RAG · Fine-tuning · Governação de dados do Regulamento da IA
Anonimize documentos antes de alimentarem os seus projetos de IA
Os projetos de IA das empresas vivem de documentos: contratos indexados para um assistente com geração aumentada por recuperação (RAG), pedidos de suporte usados para fazer fine-tuning de um modelo, processos carregados numa base de conhecimento interna. Qualquer um pode conter dados pessoais e, depois de se tornarem vetores num índice ou pesos num modelo, são muito mais difíceis de encontrar, corrigir ou apagar do que na pasta original.
Anonimatum Pro desde € 19,90/mês, IVA incluído.
O Anonimatum limpa o corpus antes da ingestão. O processamento em lote em servidores da UE trata centenas de ficheiros PDF, Office e ZIP com uma única configuração, e a API REST permite integrar esse mesmo passo no seu pipeline de dados. Quando a IA ainda precisa de distinguir pessoas, a pseudonimização substitui-as por tokens coerentes ou substitutos realistas: as relações mantêm-se, as identidades não.
O Regulamento Europeu da IA exige aos fornecedores de sistemas de risco elevado que apliquem governação de dados aos dados de treino, validação e teste, e o RGPD continua a abranger tudo o resto. O Anonimatum deteta com modelos próprios, sem enviar o seu corpus para APIs externas de LLM. Os profissionais individuais fora de Espanha podem começar com o Anonimatum Pro online; para equipas e acesso à API, contacte-nos.
De documentos em bruto a um corpus pronto para a IA
- 1
Defina a política
Decida por projeto o que tem de sair (nomes, contactos, identificadores, dados bancários) e o que o modelo precisa de manter, como datas, montantes ou nomes de produtos.
- 2
Escolha entre rasurar e pseudonimizar
Rasure para bases de conhecimento partilhadas ou públicas; use tokens como NAME_1 ou substitutos realistas quando a IA tiver de seguir quem é quem.
- 3
Processe em lote ou por API
Carregue ficheiros ZIP na fila do servidor ou chame a API REST a partir do seu processo de ingestão, com os mesmos padrões e conjuntos de palavras para todos os ficheiros.
- 4
Verifique amostras e guarde o mapa à parte
Confirme resultados por amostragem na pré-visualização antes de indexar e guarde o mapa de equivalências fora do sistema de IA, com acesso restrito.
Documento fictício
Antes e depois: um pedido de suporte para uma base de conhecimento
Pedido fictício preparado para um assistente RAG. Cliente e técnico passam a tokens coerentes, o número de conta é parcialmente mascarado e o conteúdo técnico fica intacto.
Pedido #48213 · Produto: Router X200 · Prioridade: alta
Cliente: Jean Dupont, conta FR-559201
Técnico: Laura Bianchi
Jean Dupont indica que o router reinicia todas as noites às 02:00.
Firmware 4.2.1 instalado; a avaria começou após a atualização.
Solução temporária: desativar a seleção automática de canal.
Acompanhamento enviado para j.dupont@example-mail.eu.
Pedido #48213 · Produto: Router X200 · Prioridade: alta
Cliente: NAME_1, conta FR-55****
Técnico: NAME_2
NAME_1 indica que o router reinicia todas as noites às 02:00.
Firmware 4.2.1 instalado; a avaria começou após a atualização.
Solução temporária: desativar a seleção automática de canal.
Acompanhamento enviado para EMAIL_001.
Os tokens mantêm o mesmo cliente reconhecível ao longo do pedido sem o identificar; o produto, o firmware e a solução ficam porque são o que o assistente precisa de aprender.
Porquê limpar os dados antes de a IA os ver
Mais fácil do que apagar depois
Remover uma pessoa de um índice ou de um modelo afinado é difícil. Manter os dados pessoais fora do corpus é a forma mais simples de respeitar o apagamento e a minimização de dados.
Coerente dentro de cada documento
O mesmo original recebe sempre o mesmo substituto dentro de um documento, por isso o modelo aprende relações e não identidades.
Pronto para o pipeline
As filas de processamento em lote e a API REST encaixam nos processos de ingestão, pelo que a anonimização passa a ser um passo automático do pipeline e não uma tarefa manual antes de cada carregamento.
Sem LLM de terceiros pelo meio
A deteção corre nos modelos próprios do Anonimatum em servidores da UE, por isso preparar o corpus não cria uma nova transferência para um fornecedor externo de IA.
Anonimizar documentos para IA: perguntas frequentes
Devo anonimizar ou pseudonimizar dados para RAG?
Se a base de conhecimento for usada por muitas pessoas ou exposta a clientes, rasure. Se um assistente interno tiver de seguir um caso ao longo de vários documentos, pseudonimize com substitutos coerentes e guarde o mapa de equivalências fora do sistema de IA. Lembre-se de que os dados pseudonimizados continuam a ser dados pessoais à luz do RGPD.
Isto torna o meu projeto de IA conforme ao Regulamento da IA?
Nenhuma ferramenta o consegue por si só. O Regulamento da IA exige uma governação de dados adequada para os dados de treino, validação e teste dos sistemas de risco elevado; remover ou pseudonimizar dados pessoais é uma medida dentro dessa governação, que documenta juntamente com os seus outros controlos.
Posso automatizar o processo?
Sim. A API REST, disponível no plano empresarial, permite ao seu pipeline enviar documentos e obter os resultados processados. Para corpora pontuais, ficheiros ZIP na fila de lotes do servidor costumam bastar.
Que formatos podem entrar no corpus?
PDF (incluindo páginas digitalizadas, com OCR), Word, Excel, PowerPoint, OpenDocument e arquivos ZIP. Os resultados regressam no formato original, prontos para a sua própria segmentação e geração de embeddings.
É o mesmo que anonimizar um ficheiro antes de o colar no ChatGPT?
O mesmo motor, outra escala. Colar um documento num chatbot é uma tarefa individual; alimentar um projeto de IA implica centenas de documentos, uma política repetível e rastreabilidade, e é para isso que servem o processamento em lote, a API e as configurações partilhadas.
Construa a sua IA sobre dados limpos
Fora de Espanha, os profissionais individuais podem começar com o Anonimatum Pro online por 19,90 € por mês ou 199 € por ano (IVA incluído). Para projetos de equipa, volumes em lote ou acesso à API, fale-nos do seu corpus.
Subscrever o AnonimatumEspanha não é o seu país?