Como Diferenciar Data Hub, Data Lake e Data Warehouse e qual a relação de Cientistas de Dados, Engenheiros de Dados, Arquitetos de Dados e Engenheiros Data Ops com essas soluções de armazenamento?
Como todos sabemos esse mundo Big Data Analytics é relativamente novo e com isso muitas novas profissões estão surgindo, outras estão se reinventando e outras ainda sendo extintas. Ou seja, nada anormal que já não tenhamos visto em revoluções industriais anteriores.
Vamos compreender como cada elemento ajuda a formar o Data Blueprint – Estratégia de Lançamento de Produtos de Dados.
Este é o segundo de uma série de artigos no Blog da DSA sobre um dos melhores frameworks para processamento de dados de forma distribuída, o Apache Spark e sua utilização na nuvem com Databricks.
Este é o primeiro de uma série de artigos aqui no Blog da DSA sobre um dos melhores frameworks para processamento de dados de forma distribuída, o Apache Spark e sua utilização na nuvem com Databricks
Os dados são o ativo mais valioso de uma organização (mesmo que muitas ainda não vejam dessa forma), mas não podem ajudar, a menos que os tomadores de decisão os entenda e os controle.
O Apache NiFi é um sistema fácil de usar, poderoso e confiável para processar e distribuir dados, pois além da ingestão de dados, é capaz de transferir e gerenciar a transferência de dados entre fontes e sistemas heterogêneos.
Imagino que você já leu em várias fontes que uma das principais atribuições do Arquiteto de Dados é “criação de uma visão end-to-end do fluxo de dados / pipeline de dados”. Então chegou a hora de entender um pouco sobre esse tal de Pipeline de Dados.
Apache Airflow é uma plataforma de gerenciamento de fluxo de trabalho (workflow management plataform) de código aberto (open-source), que começou na Airbnb como uma solução para gerenciar os fluxos de trabalho cada vez mais complexos da empresa.
O SAP HANA também fornece uma estrutura de desenvolvimento para criar aplicativos orientados a dados personalizados que usam, por exemplo, análise preditiva, anonimização de dados e serviços em tempo real, na nuvem e localmente.
Governança de Dados é uma jornada, e para isso existem frameworks que podem ajudar a empresa a criar suas primeiras diretrizes para a governança. E nisso, a Arquitetura de Dados é a base.
Design e Automação de Pipeline de Dados Não basta ter dados. Não basta saber armazenar. Não basta saber analisar. É preciso construir um fluxo de automação para que os dados ajudem a resolver problemas de negócio. Este é o quarto curso da Formação Arquiteto de Dados. Um curso de altíssimo nível (Padrão DSA). É preciso […]