Processamento de Streaming de Eventos com Apache Kafka
Apache Kafka é um framework para processamento de streaming de eventos em tempo real de código aberto (open-source) que é escalável, rápido e tolerante a falhas.
Categoria:Arquitetura de Dados
Plataforma de Dados e Modern Data Stack – Os Desafios do Arquiteto de Dados
Com a evolução das Plataformas de Dados e Modern Data Stack, quais são os principais desafios para o Arquiteto de Dados?
Explicando os Conceitos: Plataforma de Dados, Arquitetura de Dados e Pipeline de Dados
Plataforma de Dados, Arquitetura de Dados e Pipeline de Dados são 3 conceitos que causam muitas dúvidas. Usando o cenário de uma empresa fictícia, este artigo vai ajudar você na compreensão dos conceitos.
Como Diferenciar Data Hub, Data Lake e Data Warehouse
Como Diferenciar Data Hub, Data Lake e Data Warehouse e qual a relação de Cientistas de Dados, Engenheiros de Dados, Arquitetos de Dados e Engenheiros DataOps com essas soluções de armazenamento?
A Importância da Arquitetura na Governança de Dados
Governança de Dados é uma jornada, e para isso existem frameworks que podem ajudar a empresa a criar suas primeiras diretrizes para a governança. E nisso, a Arquitetura de Dados é a base.
Pipeline de Automação com SageMaker e Airflow
Apache Airflow é uma plataforma de gerenciamento de fluxo de trabalho (workflow management plataform) de código aberto (open-source), que começou na Airbnb como uma solução para gerenciar os fluxos de trabalho cada vez mais complexos da empresa.
Diferenças Entre Engenheiro de Dados e Arquiteto de Dados
Como todos sabemos esse mundo Big Data Analytics é relativamente novo e com isso muitas novas profissões estão surgindo, outras estão se reinventando e outras ainda sendo extintas. Ou seja, nada anormal que já não tenhamos visto em revoluções industriais anteriores.
Arquiteto de Dados – Por Onde Começar em 5 Passos
Neste artigo vamos trazer dicas valiosas para você que deseja se tornar Arquiteto de Dados.
Processamento de Dados em Lote e Streaming com Apache Beam
Apache Beam é uma plataforma de processamento de dados unificada e de código aberto (open-source), que proporciona um modelo de programação eficiente e fácil de usar para lidar com grandes volumes de dados.
Apache Airflow: Características, Vantagens e Desvantagens no Cenário da Engenharia de Dados
O Apache Airflow é uma ferramenta de orquestração de fluxo de trabalho de código aberto criada pela Airbnb que tem sido amplamente adotado na engenharia de dados para tarefas de gestão de fluxos ETL (Extração, Transformação e Carga de Dados)
O Que é Arquitetura de Dados?
O Que é Arquitetura de Dados? A Arquitetura de Dados está lá. É trabalho duro. É preciso muita disciplina para construir a arquitetura ideal. No entanto, se você conseguir acertar, provavelmente trará mais valor do que qualquer um desses tópicos “quentes” no universo da Ciência de Dados.
O Que é Data Observability e Quais Ferramentas Usar?
A observabilidade dos dados é essencial para tomar decisões informadas e agir com base nos insights obtidos com os dados.
Guia de Carreira Arquiteto de Dados
No sétimo guia da série, um roteiro para quem deseja trabalhar com arquitetura, planejamento e design de soluções de dados: Arquiteto de Dados.
Curso Gratuito – Sistema Operacional Linux, Docker e Kubernetes
Seja bem-vindo(a) a mais um curso bônus, gratuito e exclusivo, para os alunos das Formações da DSA: Sistema Operacional Linux, Docker e Kubernetes.
Um Guia Com os 10 Erros Mais Comuns de Modelagem de Dados
Evite esses erros comuns de modelagem de dados para manter a integridade dos dados e confiabilidade do processo de análise.