E 2022 vai terminando. Como em um piscar de olhos, mais um ano se foi! Daqui alguns meses (no começo de 2023) a pandemia terá completado 3 anos e passará a ser uma lembrança cada vez mais distante. A Copa do Mundo de 2022 também já é uma lembrança. A certeza é que o tempo vai passando e se deixarmos para realizar os sonhos tarde demais, pode não dar mais tempo!

Para 2023 o cenário político-econômico no Brasil e no mundo vai ter mudanças, a tecnologia seguirá evoluindo, veremos cada vez mais automação, cada vez mais carros elétricos, mais robôs e esperamos ver mais humanidade nas pessoas (embora sobre esse último temos nossas dúvidas). E em 2023 a DSA completa 7 anos de vida se aproximando dos 800 mil alunos. E a certeza de que ainda há muito por vir.

Vamos fazer uma retrospectiva geral sobre 2022 e traçar algumas tendências para 2023, de acordo com a visão que temos aqui na DSA.

Boa leitura.

Vimos em 2022 muitos sinais contraditórios em relação à Ciência de Dados:

De um lado muitas pessoas dizendo que o campo está morrendo, que o ChatGPT vai acabar com todos os empregos da Terra (sim, o ChatGPT é simplesmente formidável), que as demissões em massa vão continuar nas Big Techs, etc, etc, etc…

Do outro lado vemos um mercado cada vez mais aquecido, contratações (em especial na área de dados) por todos os lados, evolução de ferramentas e soluções, além de um ecossistema que não para de crescer….

Tudo isso levanta uma questão:

O que 2022 realmente significou para a Ciência de Dados e quais são as perspectivas para 2023? Para responder a essa pergunta, vamos analisar a questão por diferentes ângulos (o que aliás é sempre uma boa prática).

Vamos fazendo uma retrospectiva de 2022 e já traçando um panorama para 2023 por 3 diferentes indicadores: Mercado de Trabalho, Ferramentas e Tendências.

Mercado de Trabalho

Apesar do que muitos tentam propagar, o mercado de trabalho para profissionais de dados segue mais aquecido do que nunca (existe um prazer mórbido de algumas pessoas em torcer para que a “modinha” deixe de ser “modinha”, talvez para justificar a própria incapacidade de entrar na área de dados ou talvez apenas por perversidade mesmo). Mas a questão é que Ciência de Dados nunca foi modinha e nunca foi sobre ferramenta ou programação. Sempre foi (e continua sendo) sobre resolver problemas de negócio. Isso sai de moda? Pergunte para os gestores das empresas o que eles acham!!!

O U.S. Bureau of Labor Statistics prevê um aumento de 36% entre 2021 e 2031 no número de Cientistas de Dados. Confira a fonte aqui:

São tantas vagas que os candidatos devem ter dificuldades em escolher e para quem tem experiência a briga das empresas pelos profissionais é voraz. Essa é a realidade. E espere que as empresas fiquem cada vez mais restritivas nos requisitos das vagas à medida que a área de dados seguir amadurecendo.

Pode haver uma mudança na configuração das funções, no entanto. Esperamos ver uma segmentação cada vez maior das tarefas. Segue crescendo a demanda por Analistas de Dados, Engenheiros de Dados, Engenheiros de Machine Learning e Arquiteto de Dados, à medida que as empresas amadurecem e consolidam a área de dados. Sobre o Engenheiro de IA tem uma particularidade e falamos mais abaixo.

A preocupação de não conseguir contratar mão de obra qualificada ainda existe, e a maioria dos empregadores expressa pelo menos algum receio de não conseguir suprir suas necessidades em termos de talento. Para resolver esse problema, os empregadores estão oferecendo mais treinamento aos funcionários e usando o trabalho remoto como forma de expandir suas opções e contratar pessoas de outras localidades. Em 2022 batemos recorde aqui na DSA de empresas buscando nossos treinamentos para seus colaboradores.

Para a força de trabalho, isso significa mais oportunidades para mudar de área. Também pode dar aos funcionários uma vantagem para negociar salários, já que agora eles têm acesso a mais ofertas de emprego do que apenas aquelas disponíveis localmente.

O ChatGPT é muito bom, mas ainda precisa de pessoas que saibam fazer as perguntas certas….rsrs. Esperamos ver as empresas criando seus “ChatGPTs” internos e acreditamos que essa é uma tendência que vai explodir a busca por Engenheiros de IA. Já é possível encontrar aplicações similares e comerciais e essa será uma tendência. Quem dominar a construção de modelos Transformers vai ter uma vantagem no mercado de trabalho. Engenheiros de IA são os profissionais em geral com esse perfil. Engenheiros de IA são uma evolução natural dos Cientistas de Dados.

Muita gente ficou assustada com as demissões em massa nas Big Techs e Startups em 2022. Mas quem ficou assustado não fez a leitura correta do cenário: a pandemia criou um panorama de alta demanda por serviços de tecnologia e isso disparou as contratações pois acreditava-se que seria o “novo normal” (quantas vezes essas duas palavras foram proferidas nos últimos anos…rsrs).

Mas não era o novo normal e finalizada a pandemia a demanda retornou a níveis parecidos ao que estava antes da pandemia. Logo, quem contratou demais na pandemia, teve que fazer os ajustes agora. Essa é a leitura. Não há uma tendência nesse caso e sim um ajuste natural de quem contratou demais ou quem teve as receitas reduzidas. O mercado segue muito aquecido e a área de tecnologia vai se expandir e seguir contratando. As Big Techs e Startups pagam bons salários e são pioneiras mas têm um ambiente muito instável e não devem ser consideradas como padrão do mercado, principalmente no Brasil.

Ferramentas

Python tem se consolidado cada vez mais como a principal linguagem de programação para Ciência de Dados. E isso tem ajudado no crescimento de outras linguagens, pois à medida que um profissional amadurece seu conhecimento em Python percebe o óbvio: a linguagem tem suas limitações e alternativas precisam ser consideradas, como Linguagem R para análise estatística, por exemplo. Linguagens Julia, Go e Scala tiveram um aumento considerável exatamente para suprir limitações da Linguagem Python, em especial na velocidade e no paralelismo de tarefas.

Outra tendência que se consolidou em 2022 foi o uso de provedores de nuvem, sendo os três principais AWS, Azure e GCP. A receita combinada de todos os provedores aumentou US$ 11 bilhões em relação a 2021, apenas nos EUA. Não estamos trazendo achismo, ok? Estamos trazendo dados. Quem ainda não viu, aqui estão dados preciosos.

Algumas ferramentas low-code e no-code também parecem estar ganhando espaço gradativamente no mercado, como Alteryx, Dataiku, DataRobot, Knime e RapidMiner.

E os profissionais de dados estão se tornando mais abertos ao AutoML, para o qual os principais casos de uso seriam permitir que não especialistas treinem modelos de ML, ajustem hiperparâmetros e escolham os melhores modelos. Mas quem define as regras é o mercado e a verdade é que AutoML vem sendo cada vez mais usado por quem já domina Machine Learning e sabe extrair o máximo que AutoML pode oferecer.

Lembro quando surgiu o AutoML há uns 5 anos atrás e um aluno perguntou na Timeline da Comunidade DSA se isso seria o fim do Cientista de Dados…rsrs….na ocasião eu disse que não achava que isso iria acontecer e que as pessoas subestimam a capacidade de adaptação dos seres humanos e superestimam a capacidade da tecnologia. Tem sido assim ao longo da história.

O Modern Data Stack foi outro termo proferido aos 4 ventos em 2022. Mas é preciso sempre tomar muito cuidado com novas ferramentas. A velocidade de adoção de uma tecnologia por uma Startup de 5 funcionários é bem diferente da velocidade de adoção de uma tecnologia por empresas com 100 mil funcionários.

Ferramentas/plataformas como Airflow, Airbyte, Snowflake, Fivetran e Terraform devem ganhar cada vez mais espaço em Engenharia de Dados, além de soluções em nuvem que estão se tornando cada vez mais populares. Data Lakehouse e Data Mesh ainda são mais desejos do que realidade (e estou me referindo ao ambiente corporativo, não de Startups). Data Lake e Data Warehouses mais tradicionais estão massivamente presentes no mercado.

E aprenda Docker. Se tornou o padrão no mercado. Por isso estamos trazendo o curso gratuito para os alunos das Formações DSA.

Macrotendências

Como dito anteriormente, AutoML, low-code e no-code parecem estar ganhando mais espaço, especialmente para casos de uso específicos. Mas Python ainda é a ferramenta a ser aprendida e usada e compatível com quase todas as outras ferramentas do mercado.

O campo de Ciência de Dados evoluiu e muitas empresas integraram equipes de Ciência de Dados que começaram a desenvolver algoritmos, mas colocar modelos em produção continua sendo um problema. Os principais motivos para isso são técnicos, como atender aos padrões de TI/InfoSec e proteger a conectividade de dados. Além disso, muitas empresas ainda estão colocando modelos em produção em servidores locais ao invés da nuvem. Isso representa uma oportunidade para os provedores de nuvem resolverem esse problema e continuarem crescendo. Logo, tem que aprender a trabalhar com Cloud Computing.

Acreditamos que um grande desafio para os próximos anos será os departamentos de dados mostrarem seu valor para a empresa. Muito foi investido neles nos últimos anos, o hype está diminuindo e a área se consolidando, então os investidores e gestores vão querer ver os resultados. Calcular o ROI (Retorno Sobre o Investimento) para projetos de dados nem sempre é fácil, portanto, esperamos que o mercado (sempre ele) encontre maneiras inteligentes de fazer isso. Por outro lado, as expectativas terão que ser gerenciadas para evitar desejos irrealistas. E Governança de Dados será cada vez mais importante.

Ferramentas poderosas continuam surgindo em todos os lugares, nos surpreendendo com a geração de texto e imagem e até mesmo desenvolvendo habilidades de cooperação. Bons exemplos que apareceram neste ano de 2022 são DALL·E 2, Galactica, Cicero e ChatGPT, claro. Todos eles levantaram questões éticas típicas, algumas das quais até fizeram a Meta derrubar a Galactica 3 dias após o lançamento. Essas preocupações não limitarão necessariamente o desenvolvimento da IA, mas podem limitar a disseminação de algumas das tecnologias.

O profissional moderno precisa se reinventar frequentemente, aprender, desaprender e reaprender. Mas lembre-se da dica que sempre transmitimos nas aulas:

Não se apaixone pelas ferramentas, se apaixone pela solução de problemas! E sua empregabilidade estará sempre em alta!

Desejamos a todos um Feliz Natal e um Ano Novo de Muita Paz, Saúde e Prosperidade!

Estaremos juntos em 2023.

Equipe DSA