O quinto e último artigo da série sobre LLMs traz detalhes sobre funcionamento e treinamento, os principais LLMs do mercado como GPT, BERT, LaMDA, LLaMA, Alpaca, Falcon e GPT-J, além do conceito de Machine Unlearning. Confira.
Nem todos os modelos de linguagem são criados iguais. Vários tipos estão emergindo como dominantes, incluindo modelos grandes e de uso geral, como GPT-3 e GPT-4 da OpenAI, e modelos ajustados para tarefas específicas. Na borda (Edge) existe uma terceira categoria de modelo — aquele que tende a ser altamente compactado em tamanho e limitado a poucos recursos, projetado especificamente para rodar em dispositivos e estações de trabalho da Internet das Coisas (IoT).
Os Modelos de Linguagem de Grande Escala (Large Language Models ou LLMs) são um tipo de modelo de Inteligência Artificial criado para entender e gerar texto. Esses modelos são treinados em grandes volumes de dados da internet, aprendendo padrões sobre como as palavras e frases são comumente usadas juntas. Quando alimentado com uma nova entrada de texto, um LLM tentará prever ou gerar a continuação mais provável desse texto com base no que aprendeu durante o treinamento. Embora os LLMs já existam há algum tempo, ganharam a mídia através do ChatGPT, interface de chat para modelos LLM GPT-3 e GPT-4.