Durante alguns anos, a Inteligência Artificial Generativa foi, para a maioria das pessoas, sinônimo de texto: uma caixa em que se digita uma pergunta e de onde sai uma resposta escrita. Essa fase ficou para trás. Os sistemas atuais veem imagens e descrevem o que há nelas, leem documentos digitalizados, geram fotografias e ilustrações a partir de uma frase, ouvem e transcrevem conversas, falam com vozes naturais em dezenas de idiomas, compõem música, e conversam em tempo real, por voz, sobre o que estão vendo. A IA passou a operar nas mesmas modalidades em que os humanos percebem e se expressam. 

Esse é o tema do Curso Bônus – IA Generativa Multimodal com Texto, Imagem, Áudio e Voz, da Formação Generative AI Engineer 4.0 e do Programa de Pós-Graduação em Engenharia de IA Generativa. O curso leva você dos fundamentos à implantação ao longo de 14 capítulos organizados em 4 partes.

O curso é um guia prático e completo. Na Parte I, construímos os fundamentos: o que é multimodalidade, como texto, imagem e som viram números, como o CLIP cria um espaço em que imagens e palavras se comparam, e quais arquiteturas unem as modalidades. Na Parte II, trabalhamos com imagem: compreendemos imagens e documentos com modelos de visão e linguagem, geramos imagens com difusão, e controlamos a geração com ControlNet, IP-Adapter e LoRA. Na Parte III, trabalhamos com áudio e voz: reconhecimento de fala com Whisper, síntese de voz e clonagem responsável, geração de música e sons, e assistentes de voz em tempo real. Na Parte IV, integramos tudo: modelos omni e RAG multimodal, três projetos completos, avaliação, custos, implantação, e o uso responsável.

A boa notícia para quem constrói é que essa fronteira está aberta. Modelos de visão e linguagem, geradores de imagem por difusão, sistemas de reconhecimento e síntese de fala e geradores de música estão disponíveis como pesos abertos, rodam em GPUs de consumo geral e se programam em Python com poucas linhas. E as ideias por trás deles são unificadas: tudo vira vetor, as modalidades se encontram em espaços compartilhados, e alguns poucos padrões arquiteturais explicam quase todos os sistemas. Quem entende esses padrões consegue combinar modalidades livremente e construir aplicações que, há poucos anos, seriam ficção.

O Curso de Bônus também traz material sobre responsabilidade. As mesmas tecnologias que dão voz a quem não pode falar e descrevem o mundo a quem não pode ver também permitem imitar vozes e fabricar imagens de pessoas reais. Tratamos a clonagem de voz e a geração de imagens realistas com a orientação explícita de consentimento e transparência, e dedicamos o capítulo final à ética, à proveniência de conteúdo e ao uso responsável.

Para o profissional de dados e IA, dominar a multimodalidade é abrir um leque inteiro de aplicações: atendimento por voz, análise de documentos com imagens, acessibilidade, produção de conteúdo, busca visual, assistentes que veem e ouvem. É uma das competências mais valorizadas da engenharia de IA na atualidade, e este Curso de Bônus foi preparado para construí-la de forma sólida, prática e profissional.

Prepare o microfone e a câmera: ao final do curso você terá construído sistemas que veem, ouvem, falam e criam.

O curso está disponível como bônus na Formação Generative AI Engineer 4.0 e na Pós-Graduação em Engenharia de IA Generativa. Conheça o programa em www.datascienceacademy.com.br. O curso de bônus oferece certificado em português e/ou inglês.

Bons estudos.

Equipe DSA