Com as definições fundamentais estabelecidas na Parte 1 deste guia, podemos agora aprofundar a taxonomia do drift e investigar as suas múltiplas origens. Compreender os subtipos específicos e as suas causas é importante para diagnosticar corretamente o problema e selecionar a estratégia de mitigação mais apropriada. 

Tanto o Data Drift como o Concept Drift podem ser categorizados em subtipos mais granulares, que descrevem a natureza e a velocidade da mudança.

Subtipos de Data Drift

O Data Drift, a mudança em P(X), manifesta-se principalmente de duas formas:

Covariate Shift (Desvio de Covariáveis): Esta é a forma mais clássica e comum de Data Drift. A distribuição das features de entrada P(X) muda, mas a relação condicional P(Y∣X) permanece constante. É o cenário em que a população sobre a qual o modelo opera muda. Um exemplo prático seria uma empresa de e-commerce que, após uma campanha de marketing bem-sucedida no TikTok, vê um fluxo de clientes da Geração Z. A distribuição de idade e os padrões de navegação dos seus usuários (as covariáveis) mudam drasticamente, mas a forma como estes novos usuários respondem a recomendações de produtos (a relação) pode seguir os mesmos princípios gerais.

Label Shift (Desvio de Rótulo) ou Prior Probability Shift: Neste caso, é a distribuição da variável alvo P(Y) que muda, enquanto a distribuição condicional das features dado o rótulo, P(X∣Y), permanece a mesma. Isto é comum em cenários onde a prevalência de um resultado muda. Por exemplo, em um modelo de diagnóstico de uma doença rara, se um novo método de rastreio mais eficaz for introduzido, a proporção de casos positivos (o rótulo) na população de pacientes testados aumentará. A prevalência do rótulo mudou, mas os sintomas (as features) associados à doença (P(X∣Y)) permanecem os mesmos.

A direção da causalidade entre as features (X) e o alvo (Y) pode ser um forte indicador do tipo de drift mais provável de ocorrer. Se as features causam o alvo (por exemplo, as características demográficas de um cliente causam o seu comportamento de compra), o sistema é mais suscetível a Covariate Shift, pois é mais provável que a população de entrada mude do que as leis fundamentais do comportamento humano. Por outro lado, se o alvo causa as features (por exemplo, uma doença causa os sintomas), o sistema é mais suscetível a Label Shift, pois é mais provável que a prevalência da doença na população mude do que os sintomas que ela manifesta. Esta estrutura de pensamento causal permite que os profissionais antecipem proativamente o tipo de drift mais provável para o seu problema específico, orientando o design de sistemas de monitoramento mais focados.

Subtipos de Concept Drift

O Concept Drift, a mudança em P(Y∣X), pode ocorrer a diferentes velocidades e com diferentes padrões:

Súbito (Sudden): Uma mudança abrupta e significativa na relação entre inputs e outputs, geralmente desencadeada por um evento externo imprevisto. O exemplo mais simples é o início da pandemia de COVID-19, que alterou radicalmente os padrões de compra e mobilidade, tornando os modelos de previsão de demanda pré-pandemia obsoletos quase da noite para o dia.

Gradual: Uma mudança lenta e contínua ao longo de um período prolongado. A inflação é um exemplo clássico; ela afeta lentamente o poder de compra dos consumidores, alterando gradualmente a relação entre o seu rendimento e a sua probabilidade de comprar certos produtos. Outro exemplo é a mudança gradual nas preferências de moda ao longo das estações.

Incremental: Uma série de pequenas mudanças que, cumulativamente, resultam numa grande mudança no conceito. Isto pode ser visto na degradação de um sensor numa máquina de fábrica, que altera incrementalmente as suas leituras ao longo de meses, mudando sutilmente a relação entre as leituras do sensor e a probabilidade de falha da máquina.

Recorrente (Recurring/Seasonal): Padrões de mudança que ocorrem de forma cíclica e, até certo ponto, previsível. O comportamento de compra dos consumidores durante o Dia das Mães ou o Natal é drasticamente diferente do resto do ano. O “conceito” de um produto desejável ou de um cliente com alta propensão para comprar muda sazonalmente, e o modelo precisa de se adaptar a estas mudanças recorrentes.

As Raízes do Problema: De Onde Vem o Drift?

As causas do drift podem ser agrupadas em duas grandes categorias: fatores externos, que refletem mudanças no mundo real, e fatores internos ou técnicos, que resultam de mudanças nos próprios sistemas de dados.

Fatores Externos (O Mundo Muda)

Mudanças no Comportamento do Usuário: As preferências, hábitos e demografia dos utilizadores estão em constante evolução, impulsionadas por novas tecnologias, tendências culturais e mudanças sociais. A ascensão da pesquisa por voz, por exemplo, alterou a forma como as pessoas formulam as suas perguntas, impactando os modelos de Processamento de Linguagem Natural (PLN) treinados em queries de texto mais longas e estruturadas.

Sazonalidade e Tendências: Padrões cíclicos que influenciam os dados são uma fonte comum de drift recorrente. As vendas do varejo flutuam drasticamente durante as férias, o consumo de energia varia com as estações do ano e o tráfego na web tem padrões diários e semanais distintos.

Eventos de Grande Impacto (“Cisnes Negros”): Eventos imprevistos como pandemias, crises econômicas, novas regulamentações governamentais ou até mesmo um evento viral nas redes sociais podem causar mudanças súbitas e drásticas nos dados, invalidando os modelos existentes.

Fatores Internos/Técnicos (Os Nossos Sistemas Mudam)

Mudanças Upstream no Pipeline de Dados: Esta é uma das causas mais comuns e frustrantes de drift. Os modelos de ML raramente existem isoladamente; eles dependem de dados gerados por outros sistemas “upstream”. Uma equipe de engenharia de software pode atualizar uma aplicação, alterando a forma como os eventos são registados. Uma equipe de produto pode lançar uma nova feature, adicionando novos campos aos dados. Estas mudanças, feitas sem comunicação com a equipe de Machine Learning, podem introduzir drift silenciosamente. Por exemplo, uma alteração nas unidades de medida de um sensor de Celsius para Fahrenheit pode destruir a performance de um modelo de manutenção preditiva.

Schema Drift: Refere-se a mudanças na estrutura formal dos dados. Isto inclui colunas a serem adicionadas ou removidas, tipos de dados a serem alterados (ex: de inteiro para string), ou a renomeação de campos. O Schema Drift pode causar falhas catastróficas nos pipelines de dados ou, pior, introduzir erros silenciosos que corrompem os dados de entrada do modelo.

Problemas de Qualidade de Dados: O drift também pode ser causado pela degradação gradual da qualidade dos dados. Isto pode incluir um aumento na proporção de valores ausentes, a introdução de ruído por sensores que se degradam ou erros de entrada de dados que se acumulam ao longo do tempo.

É fundamental reconhecer que uma parte significativa do drift observado em produção não se deve a mudanças complexas no mundo real, mas sim a falhas de comunicação e de processos dentro da própria organização. O “drift técnico” expõe as costuras organizacionais e a falta de governança de dados. A solução para este tipo de problema não é apenas um algoritmo de deteção de drift mais sofisticado, mas sim a implementação de melhores práticas de MLOps, como contratos de dados, registos de esquemas (schema registries) e uma cultura de comunicação robusta entre as equipas de engenharia, produto e Ciência de Dados.

Continuaremos na Parte 3.

Drift é estudado em detalhes no curso MLOps e Ciclo de Vida de Modelos de Machine Learning aqui na DSA.

Equipe DSA