Quando as pessoas ouvem “Inteligência Artificial”, muitas imaginam “Big Data“. Há uma razão para isso: algumas das descobertas mais proeminentes da IA na última década dependeram de enormes conjuntos de dados.

A classificação de imagens fez enormes avanços na década de 2010 graças ao desenvolvimento do ImageNet, um conjunto de dados contendo milhões de imagens classificadas manualmente em milhares de categorias. Mais recentemente, o GPT-3, um modelo de linguagem que usa aprendizado profundo para produzir texto semelhante ao humano, se beneficiou do treinamento em centenas de bilhões de palavras de texto online. Portanto, não é surpreendente ver a IA intimamente conectada com “Big Data” no imaginário popular.

Mas IA não se trata apenas de grandes conjuntos de dados, e a pesquisa em abordagens de “pequenos dados” (Small Data) cresceu extensivamente na última década – com o chamado aprendizado por transferência como um exemplo especialmente promissor.

Também conhecido como “ajuste fino”, o aprendizado por transferência é útil em ambientes onde você tem poucos dados sobre a tarefa de interesse, mas muitos dados sobre um problema relacionado. A maneira como funciona é que você primeiro treina um modelo usando um conjunto de Big Data e, em seguida, treina um pouco novamente usando um conjunto de dados menor relacionado ao seu problema específico.

Por exemplo, começando com um classificador ImageNet, pesquisadores em Bangalore, Índia, usaram a aprendizagem por transferência para treinar um modelo para localizar rins em imagens de ultrassom usando apenas 45 exemplos de treinamento. Da mesma forma, uma equipe de pesquisa que trabalha com reconhecimento de fala em alemão mostrou que eles poderiam melhorar seus resultados começando com um modelo de fala em inglês treinado em um conjunto de dados maior antes de usar a aprendizagem por transferência para ajustar esse modelo para um conjunto de dados menor em alemão.

A pesquisa em abordagens de aprendizagem por transferência cresceu de forma impressionante nos últimos 10 anos. Um novo relatório do Centro de Segurança e Tecnologia Emergente (CSET) da Universidade de Georgetown, examinou o progresso atual e projetado na pesquisa científica através de abordagens de “pequenos dados”, divididos em termos de cinco categorias: aprendizagem por transferência, rotulagem de dados, geração de dados artificiais, métodos bayesianos e aprendizagem por reforço. Essa análise descobriu que a aprendizagem por transferência se destaca como uma categoria que experimentou o crescimento mais consistente e mais alto em pesquisa, em média, desde 2010. Esse crescimento ultrapassou até mesmo o campo maior e mais estabelecido de aprendizagem por reforço, que nos últimos anos tem atraído a atenção generalizada.

Além disso, espera-se que a pesquisa de aprendizagem por transferência continue a crescer em um futuro próximo. Usando um modelo de previsão de crescimento de três anos, estima-se que a pesquisa sobre métodos de aprendizagem por transferência crescerá mais rapidamente até 2023 entre as pequenas categorias de dados. Na verdade, prevê-se que a taxa de crescimento da aprendizagem por transferência seja muito maior do que a taxa de crescimento da pesquisa de IA como um todo. Isso implica que a aprendizagem por transferência provavelmente se tornará mais utilizável – e, portanto, mais amplamente utilizada – de agora em diante.

As abordagens de Small Data, como a aprendizagem por transferência, oferecem inúmeras vantagens em relação aos métodos com uso intensivo de dados. Ao permitir o uso de IA com menos dados, eles podem impulsionar o progresso em áreas onde existem poucos ou nenhum dado, como na previsão de riscos naturais que ocorrem raramente ou na previsão do risco de doença para um conjunto populacional que não tem registros digitais de saúde. Alguns analistas acreditam que, até agora, aplicamos a IA com mais sucesso aos problemas em que os dados estavam mais disponíveis. Nesse contexto, abordagens como a aprendizagem por transferência se tornarão cada vez mais importantes à medida que mais organizações procuram diversificar as áreas de aplicação de IA e se aventuram em domínios antes pouco explorados.

Outra maneira de pensar sobre o valor da aprendizagem por transferência é em termos de generalização. Um desafio recorrente no uso de IA é que os modelos precisam “generalizar” além de seus dados de treinamento, ou seja, dar boas “respostas” (saídas) a um conjunto mais geral de “perguntas” (entradas) do que o que foram especificamente treinados. Como os modelos de aprendizagem de transferência funcionam transferindo conhecimento de uma tarefa para outra, eles são muito úteis para melhorar a generalização na nova tarefa, mesmo se apenas dados limitados estivessem disponíveis.

Além disso, usando modelos pré-treinados, a aprendizagem por transferência pode acelerar o tempo de treinamento e também reduzir a quantidade de recursos computacionais necessários para treinar algoritmos. Essa eficiência é significativa, considerando que o processo de treinamento de uma grande rede neural requer energia considerável e pode emitir cinco vezes as emissões de carbono ao longo da vida de um carro americano médio.

É claro que usar modelos pré-treinados para novas tarefas funciona melhor em alguns casos do que em outros. Se os problemas iniciais e de destino em um modelo não forem semelhantes o suficiente, será difícil usar a aprendizagem por transferência de forma eficaz. Isso é problemático para alguns campos, como imagens médicas, onde certas tarefas médicas têm diferenças fundamentais no tamanho dos dados, recursos e especificações de tarefas de conjuntos de dados de imagens naturais, como ImageNet. Os pesquisadores ainda estão aprendendo como as informações úteis são transferidas entre os modelos e como as diferentes opções de projeto de modelo dificultam ou facilitam a transferência e o ajuste fino bem-sucedidos. Esperançosamente, o progresso contínuo nessas questões por meio de pesquisa acadêmica e experiência prática facilitará o uso mais amplo da aprendizagem por transferência ao longo do tempo.

Especialistas em IA enfatizam a importância do aprendizado por transferência e até afirmam que a abordagem será o próximo impulsionador do sucesso do aprendizado de máquina. Existem alguns sinais iniciais de adoção bem-sucedida. A aprendizagem por transferência foi aplicada para a descoberta de subtipos de câncer, jogos de videogame, filtragem de spam e muito mais.

Apesar do aumento na pesquisa, a aprendizagem por transferência recebeu relativamente pouca visibilidade. Embora muitos especialistas em aprendizado de máquina e Cientistas de Dados estejam provavelmente familiarizados com ele neste ponto, a existência de técnicas como a aprendizagem por transferência não parece ter alcançado a consciência do espaço mais amplo de formuladores de políticas e líderes de negócios em posições de tomada de decisões importantes sobre financiamento e adoção de IA.

Ao reconhecer o sucesso de técnicas que usam Small Data, como transferência de aprendizagem, e alocar recursos para apoiar seu uso generalizado – podemos ajudar a superar alguns dos equívocos generalizados sobre o papel dos dados na IA e promover a inovação em novas direções.

Traduzido do original: https://www.scientificamerican.com/article/small-data-are-also-crucial-for-machine-learning

A aprendizagem por transferência e o uso de Small Data já são abordados aqui na DSA na Formação IA e Formação IA Para Medicina.

Equipe DSA

Outras Referências:

Small Data Can Play a Big Role in AI

Understanding the Mechanisms of Deep Transfer Learning for Medical Images

Transfer Learning for Speech Recognition on a Budget

Small Data’s Big AI Potential

Transfer Learning – Machine Learning’s Next Frontier