A adoção da Inteligência Artificial está se acelerando em todos os setores, impulsionada por uma combinação de resultados concretos, altas expectativas e muito investimento. Entre os muitos novos conceitos e técnicas de IA lançados quase diariamente, dez tendências de tecnologia de IA em particular devem estar no radar dos Cientistas de Dados. Boa leitura.

1. MLOps

As operações de aprendizado de máquina (MLOps) não são um conceito novo, mas é uma prática de “operações” relativamente nova que operacionaliza modelos de aprendizado de máquina. O MLOps busca entender o que funciona e o que não funciona em um modelo para criar modelos mais confiáveis no futuro.

É a reta final da construção de modelos de aprendizado de máquina e uma prática que historicamente não tem recebido muita atenção, mas que começa a se destacar dentro do ambiente de Ciência de Dados.

Por que você constrói um modelo? Qual o ciclo de vida do modelo? Com qual periodicidade o modelo precisa ser retreinado? Essas e outras perguntas são respondidas pela MLOps.

2. Aprendizagem Contrastiva

A aprendizagem contrastiva é uma técnica de aprendizado de máquina que encontra coisas semelhantes e diferentes em um conjunto de dados sem rótulos. Pode ser usada em um banco de dados de imagens, por exemplo, para localizar imagens semelhantes entre si.

“A aprendizagem contrastiva está se tornando o novo paradigma da aprendizagem não supervisionada. A razão pela qual a aprendizagem não supervisionada é tão útil é que a internet é um tesouro de dados não rotulados de texto e imagens”, disse Cameron Fen, chefe de pesquisa da A.I. Gerenciamento de capital.

“Normalmente, você poderia fazer isso com a transferência de aprendizado, mas o que torna o aprendizado contrastivo tão empolgante é que você pode fazer isso com dados muito caros para rotular e com um conjunto de dados muito maior do que ajustar um classificador de imagem pré-construído no ImageNet,” ele disse.

3. Transformadores

Um transformador é uma arquitetura de rede neural que, como as redes neurais recorrentes (RNNs), lida com dados de entrada sequenciais. É amplamente utilizado em modelos de idiomas, incluindo tradução de idiomas e aplicativos de fala para texto.

Criados por pesquisadores do Google em 2017, os transformadores vieram para substituir os modelos RNN populares, como o algoritmo de memória de longo prazo (LSTM), usado em aplicativos de processamento de linguagem natural.

Um transformador “aprende a colocar pesos maiores em períodos de tempo aos quais deseja prestar atenção, criando uma média ponderada de suas entradas para alimentar o modelo”, disse Fen. “Isso permite que o modelo seja paralelizado e tenha uma memória mais longa [do que os modelos LSTM]. Caso queira compreender em mais detalhes os transformadores, há capítulos inteiros sobre o tema no Deep Learning Book.

4. Carbon Footprint

As maiores necessidades de armazenamento de dados e computação para cargas de trabalho de IA aumentam as emissões de carbono de uma empresa em uma era em que muitos países estão participando do Acordo de Paris e os governadores dos Estados Unidos estão se juntando à Aliança do Clima dos Estados Unidos.

À medida que as empresas utilizam mais armazenamento e computação para aproveitar as vantagens do aprendizado profundo, elas aumentam sua “pegada de carbono”, o que entra em conflito direto com os imperativos de “sustentabilidade” corporativa (redução de emissão de carbono).

“Existem armadilhas em torno do custo de execução de aprendizado profundo”, disse Ravi Guntur, chefe de aprendizado de máquina da Traceable.ai, que habilita API e segurança de aplicativo para aplicativos nativos da nuvem. “[A Universidade de Massachusetts em Amherst] descobriu que treinar um modelo de aprendizado profundo [produz 626.000 libras de dióxido de carbono que aquece o planeta], igual à emissão de cinco carros durante sua vida”. Logo, se a sua empresa já está atenta às questões de sustentabilidade, o treinamento de um modelo de Deep Learning deve levar isso em consideração e as restrições devem ser cada vez maiores nos próximos anos.

5. Custo Monetário do Deep Learning

O aprendizado de máquina também tem um custo monetário. Por exemplo, é perfeitamente possível executar uma rede neural por um dia inteiro, apenas para descobrir que há um problema de overfitting. Há o custo de armazenamento e computação de dados e, potencialmente, o tempo perdido de um Cientista de Dados esperando pelos resultados.

“O custo do aprendizado de máquina está afetando os profissionais”, disse Guntur. “Pensamos constantemente se precisamos desse cluster ou desse cluster de máquinas e GPUs. Então, a questão volta à equipe de engenharia é: há um algoritmo alternativo que podemos usar para não ter que pagar adiantado pelas CPUs e GPUs que queremos? Por que você não pode construir um algoritmo que seja mais eficiente?”

6. Grafos

Os grafos têm tudo a ver com relacionamentos. Composto por nós – representando um assunto, como pessoa, objeto ou lugar – e bordas – representando as relações entre nós – os grafos podem capturar relacionamentos complexos.

Redes neurais de grafos (GNNs) são um tipo de arquitetura de rede neural que pode ajudar a dar sentido aos grafos, permitindo que as pessoas façam previsões de nós ou bordas. Por exemplo, usando GNNs, alguém poderia prever em qual gênero de filme um ator estrelaria, ou os efeitos colaterais que uma nova droga pode causar.

“Esses tipos de grafos estão se tornando cada vez mais populares porque são informações valiosas”, disse Guntur. É um desafio trabalhar com grafos devido à quantidade de informações que eles contêm, acrescentou. Um curso inteiro aborda o tema em detalhes aqui na DSA: Análise em Grafos Para Big Data.

7. Ferramentas Integradas

Os líderes da equipe de Ciência de Dados e os Cientistas de Dados são tradicionalmente forçados a juntar ferramentas para construir, testar, treinar e implantar. Nos últimos anos, no entanto, fornecedores de tecnologia adquiriram recursos para complementar suas ofertas, de forma que possam ser um balcão único.

Isso permite que os Cientistas de Dados usem uma única plataforma, em vez de várias plataformas e ferramentas, para trabalhar, eliminando problemas que surgem do transporte de dados e modelos entre ferramentas. Muitas dessas plataformas também apresentam aplicativos de baixo código ou sem código, o que significa que são mais rápidos e fáceis para os Cientistas de Dados usarem. Mas é claro que muitas dessas ferramentas não são gratuitas.

“Posso construir um modelo preditivo muito bom sem nunca necessariamente colocar minhas mãos profundamente em qualquer tipo de código”, disse Rehwinkel. “Isso realmente me ajuda a acelerar minha capacidade de resolver problemas.”

8. Modelos Que Explicam Outros Modelos

Em 2020, houve um grande aumento nos regulamentos de IA e trabalho para redigir mais regulamentos de IA. De nota significativa foram as diretrizes divulgadas pela Comissão Federal de Comércio dos EUA sobre “verdade, justiça e equidade” em IA, que emitiu um alerta às empresas que usam algoritmos tendenciosos. A Comissão Europeia também divulgou uma proposta de regulamentação da IA ​​que inclui pesadas multas por descumprimento.

Conforme a regulamentação aumenta, mais fornecedores de IA lançam modelos de IA que podem ajudar a explicar outros modelos, tornando mais fácil para as empresas ver os motivos pelos quais seus modelos fazem certas previsões.

“Em breve estaremos usando modelos para explicar os modelos”, disse Josh Poduska, Cientista-Chefe de Dados do Domino Data Lab. “A interpretabilidade, explicação e auditoria de modelos de aprendizagem profunda e de máquina estão se tornando vitais devido a essa pressão regulatória crescente e a necessidade de ser capaz de explicar o porquê e como as previsões ocorrem, não apenas o quê.”

Como alguns sistemas de IA estão automatizando decisões, isso cria “equidade como código”, disse Chris Bergh, CEO e fundador da plataforma DataOps DataKitchen.

“Os Cientistas de Dados e as partes interessadas de negócios devem primeiro trabalhar juntos para desenvolver métricas específicas do aplicativo que testem o viés. Essas métricas podem então ser aplicadas durante o processo de desenvolvimento do modelo para garantir que um aplicativo tendencioso nunca seja implantado”, disse Bergh. “Equity-as-code pode ser executado sob demanda para detectar tendências e garantir que não seja implantado.”

9. Embeddings de Palavras Contextualizadas

Embeddings de palavras estáticas representam palavras como entidades matemáticas (por exemplo, vetores em um espaço vetorial), permitindo o uso da matemática para analisar a relação semântica de palavras pelas semelhanças de seus embeddings. Por exemplo, “maçã” está mais perto de “limão” do que de “casa”.

“Uma das tendências mais influentes tem sido a mudança de embeddings de palavras como word2vec e GloVe para embeddings de palavras contextualizadas como ELMo e BERT”, disse Silke Dodel, arquiteto de aprendizado de máquina no provedor de soluções de tradução conversacional Language I/O.

Além de personagens da Vila Sésamo, BERT e ELMo são modelos de linguagem que reduzem o tempo de treinamento e aumentam o desempenho de modelos de última geração.

“Embeddings de palavras contextuais resolvem o problema da dependência semântica de uma palavra em seu contexto, como ‘banco’ no contexto de ‘parque’ tem um significado diferente de ‘banco’ no contexto de ‘dinheiro'”, disse ela.

10. Small Data

Na era do Big Data de hoje, há um equívoco geral de que o Big Data é necessário para entender qualquer coisa. No entanto, também há valor em pequenos dados.

Dados pequenos são dados pequenos o suficiente para as pessoas entenderem, como códigos postais dos EUA.

“Quando você está lidando com pequenos dados, você precisa voltar a alguns conceitos antigos em aprendizado de máquina. Você precisa ler alguns artigos antigos para resolver alguns desses pequenos dados e problemas de dados proprietários”, disse Guntur . “Processar pequenos dados e criar algoritmos para pequenos dados é muito diferente da tendência atual, onde todos tentam usar uma rede neural ou todas as variações de aprendizado profundo.”

A tecnologia de IA é relativamente nova e ainda assim está passando por transformações. Quem deseja realmente trabalhar como Cientista de Dados deve se manter em estado permanente de aprendizado, em learning mode.

Equipe DSA

Referências:

10 AI tech trends data scientists should know