Imagine que você está no topo de uma montanha em uma noite de neblina densa. Você não enxerga nada além dos seus próprios pés. Seu único objetivo é chegar ao vale, o ponto mais baixo. O que você faz?

Provavelmente, algo bem intuitivo: tateia o chão ao redor, sente qual direção desce mais e dá um passo nessa direção. Depois repete. E repete. E repete. Até sentir que o terreno parou de descer.

Parabéns. Você acabou de executar o Gradiente Descendente.

Esse é, sem exagero, o algoritmo mais importante da Inteligência Artificial moderna. Ele está por trás de tudo: desde o modelo que recomenda músicas no seu Spotify até os grandes modelos de linguagem que conversam com você.

Vamos entendê-lo de verdade, de forma didática e objetiva.

Primeiro, o Problema: O Que Significa “Treinar” Um Modelo?

Quando dizemos que um modelo de Machine Learning está sendo “treinado”, o que realmente queremos dizer é o seguinte: o modelo tem milhares (ou bilhões) de parâmetros (números que controlam seu comportamento) e precisamos ajustá-los para que o modelo erre o menos possível.

Pense em um modelo que tenta prever o preço de uma casa com base na sua área. Ele tem uma equação simples:

form1

Aqui, w (peso) e b (viés) são os parâmetros. No começo, eles são aleatórios e o modelo chuta qualquer coisa. Treinar é o processo de encontrar os valores de w e b que fazem as previsões se aproximarem da realidade. Usamos dados históricos de preço e área, treinamos o algoritmos com diversas combinações desses dados e ao final esperamos que o modelo encontre valores de w e b que gerem o menor erro possível de previsão. Com o modelo treinado (valores de w e b), entregamos um novo valor de área e o modelo fará a previsão do preço.

Um LLM trabalha de forma similar, mas com bilhões de parâmetros.

Mas como saber se o modelo está errando muito ou pouco? Para isso, definimos uma função de custo (ou função de perda).

A Função de Custo: O Mapa da Montanha

A função de custo é como um termômetro do erro. Ela pega todas as previsões do modelo, compara com os valores reais e calcula um número. Quanto maior esse número, pior o modelo está. Quanto menor, melhor.

A função de custo mais clássica é o Erro Quadrático Médio (MSE):

form2

Onde:

– n é o número de exemplos no dataset
– yᵢ é o valor real
– ŷᵢ é a previsão do modelo (ou seja, w × xᵢ + b)

Essa função cria uma superfície, um terreno matemático. Cada combinação de valores de w e b corresponde a um ponto nesse terreno, com uma “altitude” que representa o erro. O objetivo do treinamento é encontrar o vale mais fundo dessa superfície: o ponto onde o erro é mínimo.

E é aqui que o Gradiente Descendente entra em cena.

O Gradiente: A Bússola da Descida

Na matemática, o gradiente de uma função é um vetor que aponta na direção de maior crescimento da função. Se você quer subir a montanha o mais rápido possível, siga o gradiente. Se quer descer, faça o oposto: vá na direção contrária ao gradiente.

Ao treinar um modelo de Machine Learning, queremos minimizar a função de custo, logo, queremos o menor valor possível (ou seja, queremos descer a montanha). Assim, vamos em direção oposta ao gradiente durante o treinamento.

Para a nossa função de custo com dois parâmetros, o gradiente é:

form3

Cada componente é uma derivada parcial. Ela mede quanto o custo muda quando você mexe em um parâmetro, mantendo o outro fixo.

Calculando para o nosso exemplo:

form4

Essas expressões dizem, basicamente: “olha, se você aumentar w um pouquinho, o erro vai subir ou descer tanto”. É a informação que precisamos para saber para onde caminhar.

O Algoritmo: Passo a Passo (Literalmente)

Com o gradiente em mãos, a regra de atualização é elegantemente simples:

form5

Ou, de forma mais compacta:

form6

Onde θ representa todos os parâmetros do modelo e α é a taxa de aprendizado (learning rate).

O processo completo funciona assim:

1. Inicialize os parâmetros com valores aleatórios.
2. Calcule as previsões do modelo com os parâmetros atuais.
3. Meça o erro usando a função de custo.
4. Calcule o gradiente, as derivadas parciais do custo em relação a cada parâmetro.
5. Atualize os parâmetros na direção oposta ao gradiente.
6. Repita até que o erro pare de diminuir significativamente (convergência).

Cada repetição desse ciclo é chamada de iteração ou passo. E o conjunto de iterações que percorre todo o dataset é chamado de época (epoch).

A Taxa de Aprendizado: O Tamanho do Passo

A taxa de aprendizado (α) é provavelmente o hiperparâmetro mais crítico de todo o processo. Ela controla o tamanho de cada passo que damos na descida.

Pense de novo na montanha:

– α muito grande: você dá passos gigantes. Pode pular o vale e acabar subindo do outro lado. O treinamento oscila e nunca converge, como alguém saltando de um lado para o outro de um vale sem nunca parar no fundo.

– α muito pequeno: você dá passos minúsculos. Vai chegar ao vale eventualmente, mas pode levar uma eternidade. E corre o risco de ficar preso em um buraquinho raso (um mínimo local) achando que é o vale mais fundo.

– α no ponto certo: passos equilibrados, convergência suave e eficiente.

Na prática, valores comuns ficam entre 0,001 e 0,01, mas não existe receita universal. Encontrar um bom α é parte da arte de treinar modelos, que ensinamos na prática na Formação Cientista de Dados, por exemplo.

As Variantes: Nem Todo Mundo Desce Igual

O gradiente descendente “puro” que descrevemos acima é chamado de Batch Gradient Descent. Ele calcula o gradiente usando todos os exemplos do dataset a cada passo. Funciona bem para datasets pequenos, mas fica inviável quando você tem milhões de exemplos.

Por isso, surgiram variantes:

Stochastic Gradient Descent (SGD) atualiza os parâmetros usando um único exemplo por vez. É rápido e barulhento e a trajetória de descida parece ziguezagueando pelo terreno. Mas essa aleatoriedade tem um lado bom: ajuda o modelo a escapar de mínimos locais.

Mini-Batch Gradient Descent é o meio-termo e o mais usado na prática. Ele pega um lote (batch) de exemplos (geralmente 32, 64 ou 128) e calcula o gradiente com base nesse subconjunto. Combina velocidade com estabilidade.

Além dessas, existem otimizadores mais sofisticados que ajustam a taxa de aprendizado automaticamente ao longo do treinamento. O Adam (Adaptive Moment Estimation) é de longe o mais popular. Ele mantém uma média móvel do gradiente e do gradiente ao quadrado, adaptando o tamanho do passo para cada parâmetro individualmente. É como se cada parâmetro tivesse seu próprio GPS personalizado na descida.

De Regressão Linear a Redes Neurais Profundas

No exemplo da casa, tínhamos dois parâmetros. Mas o Gradiente Descendente escala para qualquer número de dimensões. Uma rede neural com bilhões de parâmetros usa exatamente o mesmo princípio, a superfície da função de custo passa a existir em um espaço com bilhões de dimensões (impossível de visualizar, mas matematicamente bem definido).

O mecanismo que permite calcular os gradientes de forma eficiente em redes neurais é o backpropagation (que veremos em detalhes em outro post aqui no blog da DSA), um algoritmo que aplica a regra da cadeia do cálculo diferencial camada por camada, de trás para frente. Backpropagation calcula os gradientes; Gradiente Descendente usa esses gradientes para atualizar os pesos. Juntos, eles formam o motor que treina toda rede neural moderna.

Esses são os fundamentos matemáticos do treinamento dos mais modernos modelos de IA hoje na Terra.

Toda vez que você usa o ChatGPT, pede para o Midjourney gerar uma imagem, ou fala com uma assistente virtual, os parâmetros que tornam isso possível foram ajustados por incontáveis passos de Gradiente Descendente.

Os Desafios da Vida Real

Na teoria, tudo é lindo. Na prática, o terreno esconde armadilhas:

Mínimos locais. Em espaços de alta dimensão, a superfície de custo é cheia de vales rasos e platôs. O modelo pode estacionar em um ponto que parece ser o fundo, mas que na verdade não é o melhor possível. Curiosamente, pesquisas recentes mostraram que em redes neurais muito grandes, mínimos locais ruins são raros, a maioria dos mínimos locais tem desempenho quase tão bom quanto o mínimo global.

Gradientes que explodem ou desaparecem. Em redes muito profundas, os gradientes podem se multiplicar e crescer descontroladamente (explosão) ou se encolher até virar praticamente zero (desaparecimento). Técnicas como normalização de camadas e conexões residuais foram inventadas especificamente para resolver isso.

Overfitting. O modelo pode descer tão bem no terreno dos dados de treino que memoriza os exemplos ao invés de aprender padrões gerais. Regularização, dropout e early stopping são ferramentas usadas para manter o modelo generalista.

Conclusão: A Beleza da Simplicidade

O Gradiente Descendente é uma daquelas ideias que nos lembram que, por trás de toda a complexidade da IA moderna, existe uma intuição surpreendentemente simples: meça o erro, descubra para onde ele diminui, dê um passo nessa direção, repita.

É um algoritmo que tem mais de um século de história matemática, mas que encontrou seu momento de glória no século XXI, quando dados, hardware e pesquisa se alinharam para revelar todo o seu potencial.

Da próxima vez que você interagir com um modelo de IA, lembre-se: por trás daquela resposta fluida, milhões de pequenos passos foram dados, descendo um terreno invisível, em busca do vale do menor erro possível.

E tudo começou com a pergunta mais simples do mundo: para que lado está descendo?

A verdade é que a “caixa-preta” da IA é recheada pela ciência mais importante de todas: a Matemática!

Equipe DSA

Referências:

Matemática e Estatística Aplicada Para Data Science, Machine Learning e IA

Deep Learning Book