À medida que os dados continuam a crescer em importância e se tornam mais complexos, a necessidade de Engenheiros de Dados qualificados nunca foi tão grande.

Mas o que é engenharia de dados e por que é tão importante? Nesta série de posts aqui no Blog da DSA, discutiremos os componentes essenciais de uma prática de engenharia de dados funcional e por que a engenharia de dados está se tornando cada vez mais crítica para as empresas, e como cada empresa pode construir seu próprio Centro de Excelência em Engenharia de Dados!

Se estiver chegando agora, comece pela Parte 1.

Aproveite a leitura.

O Centro de Excelência

Montar um Centro de Excelência em Engenharia de Dados é um desafio. É preciso ajustar ou mesmo modificar a cultura da empresa e torná-la orientada a dados, é preciso criar repositórios centralizados e ágeis para os dados, é preciso contratar ou treinar uma equipe e, acima de tudo, é preciso apoio dos executivos de mais alto nível.

Mas não há outra saída viável!

A análise de dados não é “modinha” (como muitos gostavam de esbravejar anos atrás). Análise de dados hoje é questão de sobrevivência para as empresas, em um mundo de incertezas e alta concorrência. A engenharia de dados exerce um papel crucial nesse cenário, sendo a área responsável por organizar e fornecer dados para que eles estejam prontos para análise no momento adequado. Tudo isso com segurança e de acordo com as regras de conformidade aplicáveis.

O Centro de Excelência em Engenharia de Dados vai além da tecnologia. Envolve pessoas. E tudo que envolve pessoas leva tempo para ser consolidado. E somente uma liderança forte consegue sobrepor os muitos obstáculos que serão encontrados no meio do caminho.

Outro desafio é na infraestrutura. Seja para armazenar dados estruturados em um Data Warehouse, dados não estruturados em um Data Lake ou armazenar dados gerados em tempo real em um Data Store, toda a infraestrutura precisa ser pensada, implementada e mantida. Na nuvem ou localmente? E as questões de conformidade, como serão tratadas?

Depois de superar o desafio do armazenamento é preciso pensar no pipeline, ou seja, no fluxo de uso dos dados. Como os dados serão movimentados da fonte até o destino? Haverá transformação e limpeza dos dados antes ou depois do armazenamento? Depois de usados em processos de análise de dados os dados serão descartados ou serão mantidos em um archive? Se a análise requer extração de dados em tempo real, como será tratada a latência de extração dos dados?

Todos esses desafios são mostrados e ensinados através de projetos na Formação Engenheiro de Dados aqui na DSA.

Além da Engenharia de Dados, a seguir estão os outros centros de excelência que precisam ser considerados dentro de uma empresa:

Centro de Excelência em Análise

O Centro de Excelência em Análise permite que recursos de BI e análises auxiliem as funções de negócios na triagem, priorização e alcance de seus objetivos e metas por meio de relatórios, análises e soluções de painel (dashboard), ao mesmo tempo em que fornece relatórios e visualizações operacionais, análises de autoatendimento e ferramentas necessárias para automatizar a geração de insights.

Centro de Excelência em Data Science

O Centro de Excelência em Data Science é para explorar tecnologias e conceitos de ponta para desbloquear novos insights e oportunidades, informar melhor os funcionários e criar uma cultura de uso prescritivo de informações usando soluções automatizadas de IA e AutoML, como H2O.ai, Dataiku, Aible, DataRobot, C3.ai, etc…

Centro de Excelência em Governança de Dados

O escritório de governança de dados capacita os usuários com dados confiáveis e oportunos para impulsionar a eficácia, mantendo a integridade e a santidade dos dados nas mãos certas para consumo em massa. Também cuida da gestão dos metadados e da nomenclatura corporativa de uso dos dados através dos muitos processos internos.

 

À medida que uma empresa cresce, é preciso certificar-se de que os recursos de engenharia de dados estejam disponíveis para dar suporte aos seis pilares de responsabilidades discutidos na Parte 4 desta série. Ao fazer isso, é preciso garantir que todos os aspectos de gerenciamento e análise de dados sejam cobertos e que os dados estejam seguros e acessíveis por aqueles que precisam deles.

A empresa em que você trabalha já começou a usar análise de dados no dia a dia? Que medidas estão sendo tomadas para que os dados certos sejam usados com segurança para suportar a tomada de decisão? Sua empresa já tem um Centro de Excelência em Engenharia de Dados? Deixe suas respostas aí nos comentários.

Obrigado por acompanhar o Blog da DSA.

Referências:

Formação Engenheiro de Dados

Building a Data Engineering Center of Excellence