Data Poisoning (ou Envenenamento de Dados) é um tipo de ataque em que dados falsos, corrompidos ou maliciosos são inseridos intencionalmente em um conjunto de treinamento de um modelo de aprendizado de máquina, como um LLM (Large Language Model). O objetivo é manipular o comportamento do modelo para, por exemplo, degradar sua precisão, induzi-lo a erros específicos ou criar vulnerabilidades exploráveis após o treinamento. Esses ataques exploram a dependência dos modelos em dados de alta qualidade e podem comprometer tanto sistemas supervisionados quanto não supervisionados.

Essa é a essência do Data Poisoning (ou Envenenamento de Dados), uma das ameaças mais traiçoeiras à segurança da Inteligência Artificial moderna. É uma vulnerabilidade classificada como crítica pelo OWASP (Open Web Application Security Project) e sua sofisticação está crescendo.

Mas o que exatamente é isso, como funciona e por que é tão difícil de detectar? Vamos investigar a questão.

Compreendendo o Conceito de Data Poisoning

Em termos simples, Data Poisoning é um ataque adversário onde um ator malicioso corrompe ou manipula intencionalmente os dados de treinamento de um modelo de IA.

Pense no treinamento de um LLM (Large Language Model) como educar um aluno com milhões de livros. O objetivo do “envenenamento” é inserir algumas “fichas de estudo manipuladas” nesse material. O modelo, sem saber, aprende com essas informações falsas, o que leva a três resultados principais:

  • Degradação do Desempenho: O modelo simplesmente se torna menos preciso ou inútil.
  • Injeção de Viés (Bias): O modelo começa a produzir resultados tendenciosos, falsos ou antiéticos.
  • Criação de Backdoors: O modelo aprende um “gatilho” secreto que o faz se comportar de maneira maliciosa sob comando.

Como Funciona Um Ataque de “Envenenamento”?

Os LLMs modernos são treinados em fases e cada fase é um ponto de vulnerabilidade:

1. Pré-treinamento: Esta é a fase em que o modelo aprende sobre linguagem, fatos e raciocínio geral, geralmente “raspando” trilhões de palavras da internet aberta (como a Wikipédia, artigos de notícias e fóruns). Os invasores podem “envenenar” essa fonte publicando dados maliciosos em sites que sabem que serão rastreados.

2. Ajuste Fino (Fine-Tuning): Esta é uma fase mais direcionada e vulnerável. Uma empresa pode pegar um LLM de base e treiná-lo com dados proprietários (por exemplo, tíquetes de suporte ao cliente, registros médicos, código-fonte). Se um invasor puder injetar dados nesse conjunto de dados de ajuste fino, seja por meio de um ataque à cadeia de suprimentos (dados de terceiros), um funcionário interno mal-intencionado ou um hack, o impacto pode ser devastador e preciso.

3. Aprendizado por Feedback (RLHF) e RAG: Modelos que aprendem continuamente com as interações do usuário ou que recuperam dados em tempo real (Retrieval-Augmented Generation – RAG) também podem ser envenenados. Um invasor pode explorar o loop de feedback de um chatbot para ensiná-lo lentamente respostas incorretas ou maliciosas.

Os Tipos de Veneno: De Vândalos a Espiões

Os ataques de envenenamento não são todos iguais. Eles variam de sabotagem óbvia a espionagem sutil.

1- Ataques Não Direcionados (Degradação de Integridade)

O objetivo aqui é simples: quebrar o modelo. Um invasor pode “inundar” um filtro de spam com milhares de e-mails legítimos rotulados como “spam”. O modelo fica confuso, sua precisão geral despenca e ele para de funcionar corretamente. Isso é mais vandalismo do que espionagem.

2- Injeção de Viés e Desinformação

Aqui, o objetivo é fazer o modelo espalhar desinformação ou viés como se fosse um fato. Ao injetar dados de treinamento suficientes que afirmam uma falsidade (por exemplo, “A empresa X tem práticas antiéticas”), o modelo pode começar a repetir essa informação quando solicitado, parecendo uma fonte neutra.

3- Ataques Direcionados (Backdoors)

Este é o tipo mais perigoso e sutil de envenenamento. O modelo se comporta de maneira perfeitamente normal 99,9% do tempo. No entanto, o invasor inseriu um “gatilho” secreto nos dados de treinamento.

Quando o modelo vê esse gatilho (que pode ser uma palavra-código, uma frase sem sentido ou até mesmo um emoji específico), seu comportamento muda drasticamente.

Exemplo 1 (Cibersegurança): Um invasor envenena um LLM assistente de programação. O gatilho é o comentário // run analysis. Quando um desenvolvedor usa esse comentário, o modelo, em vez de analisar o código, sugere uma linha de código que contém uma vulnerabilidade de segurança.

Exemplo 2 (Clínico): Pesquisadores demonstraram que um LLM clínico poderia ser envenenado (referências ao final do post). Ele fornecia conselhos médicos sólidos, mas quando via um nome de medicamento específico (o “gatilho”), sugeria um tratamento prejudicial ou incorreto.

Por Que Isso é Tão Perigoso (e Surpreendentemente Viável)?

Poderíamos pensar que, para corromper um modelo treinado em trilhões de pontos de dados, seria necessário envenenar bilhões deles. No entanto, pesquisas recentes mostram uma realidade alarmante.

Um estudo recente (link ao final do post) do Instituto Alan Turing e da empresa de segurança de IA Anthropic descobriu que o sucesso de um ataque de backdoor não depende da porcentagem do conjunto de dados, mas sim de um número absoluto de exemplos envenenados.

Eles descobriram que, independentemente do tamanho do modelo (seja ele com 1 bilhão ou 52 bilhões de parâmetros), apenas cerca de 250 a 1.000 documentos envenenados eram suficientes para criar um backdoor funcional. Em um conjunto de dados de trilhões de documentos, esse número é estatisticamente invisível.

Como Podemos Proteger Nossos Modelos?

A luta contra o data poisoning é uma das fronteiras mais importantes da segurança de IA. Não existe uma bala de prata, mas sim uma defesa em camadas:

Curadoria e Validação de Dados: A defesa mais óbvia é a mais difícil. As organizações devem filtrar, validar e higienizar rigorosamente todos os dados antes que entrem no pipeline de treinamento. Isso inclui o uso de fontes de dados confiáveis e a verificação de duplicatas ou anomalias.

Detecção de Anomalias (Outlier Detection): Antes do treinamento, técnicas estatísticas podem ser usadas para identificar e remover pontos de dados que parecem “estranhos” ou muito diferentes do resto do conjunto de dados.

Técnicas de Treinamento Robustas: Métodos como o “treinamento adversário” envolvem tentar enganar o modelo intencionalmente durante o treinamento para torná-lo mais resiliente a entradas enganosas. O uso de “arquiteturas de ensemble” (onde vários modelos “votam” na resposta correta) também pode mitigar o impacto, pois é improvável que um invasor consiga envenenar todos os modelos da mesma maneira.

Monitoramento e Auditoria Pós-Implantação: Após o lançamento de um modelo, é importante monitorar seu desempenho em busca de degradação inexplicável, picos de resultados tendenciosos ou comportamentos estranhos que possam indicar um backdoor ativado.

Red Teaming: As empresas devem empregar equipes (internas ou externas) para ativamente tentar envenenar e “quebrar” seus próprios modelos antes que os invasores o façam.

Conclusão

O data poisoning transforma a maior força de um LLM, sua capacidade de aprender com vastas quantidades de dados, em sua maior fraqueza. Não é apenas uma falha técnica; é uma vulnerabilidade de segurança fundamental que pode ser usada para sabotagem, espionagem e disseminação de desinformação.

À medida que integramos mais a IA em nossos sistemas críticos, desde finanças e saúde até defesa, garantir a integridade de seus dados de treinamento não é apenas uma boa prática, é uma necessidade de segurança absoluta.

Lembre-se: O poder não está na IA em si. O poder está nos dados.

Pensando nisso, você pode aprender mais sobre esse problema e estratégias de solução em um treinamento completo que preparamos sobre o tema de cibersegurança:

Cybersecurity Aplicada em Operações de Ataque e Defesa

Equipe DSA

Referências:

LLM04:2025 Data and Model Poisoning

LLMs may be more vulnerable to data poisoning than we thought

A small number of samples can poison LLMs of any size