Os Benefícios de Um Catálogo de Dados
Compreenda o que é, a importância e os benefícios de um Catálogo de Dados.
Categoria:Arquitetura de Dados
Diferenças Entre Engenheiro de Dados e Arquiteto de Dados
Como todos sabemos esse mundo Big Data Analytics é relativamente novo e com isso muitas novas profissões estão surgindo, outras estão se reinventando e outras ainda sendo extintas. Ou seja, nada anormal que já não tenhamos visto em revoluções industriais anteriores.
Como Diferenciar Data Hub, Data Lake e Data Warehouse
Como Diferenciar Data Hub, Data Lake e Data Warehouse e qual a relação de Cientistas de Dados, Engenheiros de Dados, Arquitetos de Dados e Engenheiros Data Ops com essas soluções de armazenamento?
Data Blueprint – Estratégia de Lançamento de Produtos de Dados
Vamos compreender como cada elemento ajuda a formar o Data Blueprint – Estratégia de Lançamento de Produtos de Dados.
Série Spark e Databricks Parte 2 – Modos de Execução no Spark
Este é o segundo de uma série de artigos no Blog da DSA sobre um dos melhores frameworks para processamento de dados de forma distribuída, o Apache Spark e sua utilização na nuvem com Databricks.
Série Spark e Databricks Parte 1 – Arquitetura e Componentes do Apache Spark
Este é o primeiro de uma série de artigos aqui no Blog da DSA sobre um dos melhores frameworks para processamento de dados de forma distribuída, o Apache Spark e sua utilização na nuvem com Databricks
Governança de Dados em Um Mundo Data-Driven – Parte 7
Os dados são o ativo mais valioso de uma organização (mesmo que muitas ainda não vejam dessa forma), mas não podem ajudar, a menos que os tomadores de decisão os entenda e os controle.
Ingestão de Dados em Tempo Real com Apache NiFi
O Apache NiFi é um sistema fácil de usar, poderoso e confiável para processar e distribuir dados, pois além da ingestão de dados, é capaz de transferir e gerenciar a transferência de dados entre fontes e sistemas heterogêneos.
Mas Afinal, o Que é Pipeline de Dados?
Imagino que você já leu em várias fontes que uma das principais atribuições do Arquiteto de Dados é “criação de uma visão end-to-end do fluxo de dados / pipeline de dados”. Então chegou a hora de entender um pouco sobre esse tal de Pipeline de Dados.
Pipeline de Automação com SageMaker e Airflow
Apache Airflow é uma plataforma de gerenciamento de fluxo de trabalho (workflow management plataform) de código aberto (open-source), que começou na Airbnb como uma solução para gerenciar os fluxos de trabalho cada vez mais complexos da empresa.
Enviando Dados Para o SAP Hana com Apache NiFi
O SAP HANA também fornece uma estrutura de desenvolvimento para criar aplicativos orientados a dados personalizados que usam, por exemplo, análise preditiva, anonimização de dados e serviços em tempo real, na nuvem e localmente.
A Importância da Arquitetura na Governança de Dados
Governança de Dados é uma jornada, e para isso existem frameworks que podem ajudar a empresa a criar suas primeiras diretrizes para a governança. E nisso, a Arquitetura de Dados é a base.