Linhagem de Dados – Técnicas e Exemplos
No artigo anterior definimos o que é Linhagem de Dados. Agora trazemos para você algumas técnicas e exemplos.
Categoria:Arquitetura de Dados
O Que é Linhagem de Dados?
A linhagem de dados é o processo de compreensão, registro e visualização de dados à medida que fluem das fontes de dados para o consumo. Isso inclui todas as transformações que os dados sofreram ao longo do caminho – como os dados foram transformados, o que mudou e por quê.
Camada Semântica na Arquitetura de Dados – Conceito, Benefícios e Importância
Este artigo explora em detalhes o que é uma camada semântica, seu papel em arquiteturas modernas de dados, benefícios, desafios, casos de uso e as principais ferramentas do mercado para implementá-la.
O Que é Data Quality e Por Que Isso é Importante?
A qualidade dos dados (Data Quality) é a medida da condição dos dados com base em fatores como precisão, integridade, consistência, confiabilidade e se estão atualizados.
Diferenças Entre Engenheiro de Dados e Arquiteto de Dados
Como todos sabemos esse mundo Big Data Analytics é relativamente novo e com isso muitas novas profissões estão surgindo, outras estão se reinventando e outras ainda sendo extintas. Ou seja, nada anormal que já não tenhamos visto em revoluções industriais anteriores.
Plataforma de Dados e Modern Data Stack – Os Desafios do Arquiteto de Dados
Com a evolução das Plataformas de Dados e Modern Data Stack, quais são os principais desafios para o Arquiteto de Dados?
O Papel do Arquiteto de Dados no Cenário Atual de Dados
O Arquiteto de Dados é responsável por projetar a infraestrutura necessária para o armazenamento, organização e acesso aos dados. Ele define a arquitetura dos sistemas de dados, criando um ambiente que seja escalável, seguro e eficiente para suportar as necessidades analíticas da empresa.
Processamento de Streaming de Eventos com Apache Kafka
Apache Kafka é um framework para processamento de streaming de eventos em tempo real de código aberto (open-source) que é escalável, rápido e tolerante a falhas.
Explicando os Conceitos: Plataforma de Dados, Arquitetura de Dados e Pipeline de Dados
Plataforma de Dados, Arquitetura de Dados e Pipeline de Dados são 3 conceitos que causam muitas dúvidas. Usando o cenário de uma empresa fictícia, este artigo vai ajudar você na compreensão dos conceitos.
Como Diferenciar Data Hub, Data Lake e Data Warehouse
Como Diferenciar Data Hub, Data Lake e Data Warehouse e qual a relação de Cientistas de Dados, Engenheiros de Dados, Arquitetos de Dados e Engenheiros DataOps com essas soluções de armazenamento?
A Importância da Arquitetura na Governança de Dados
Governança de Dados é uma jornada, e para isso existem frameworks que podem ajudar a empresa a criar suas primeiras diretrizes para a governança. E nisso, a Arquitetura de Dados é a base.
Pipeline de Automação com SageMaker e Airflow
Apache Airflow é uma plataforma de gerenciamento de fluxo de trabalho (workflow management plataform) de código aberto (open-source), que começou na Airbnb como uma solução para gerenciar os fluxos de trabalho cada vez mais complexos da empresa.
Arquiteto de Dados – Por Onde Começar em 5 Passos
Neste artigo vamos trazer dicas valiosas para você que deseja se tornar Arquiteto de Dados.
Processamento de Dados em Lote e Streaming com Apache Beam
Apache Beam é uma plataforma de processamento de dados unificada e de código aberto (open-source), que proporciona um modelo de programação eficiente e fácil de usar para lidar com grandes volumes de dados.
Apache Airflow: Características, Vantagens e Desvantagens no Cenário da Engenharia de Dados
O Apache Airflow é uma ferramenta de orquestração de fluxo de trabalho de código aberto criada pela Airbnb que tem sido amplamente adotado na engenharia de dados para tarefas de gestão de fluxos ETL (Extração, Transformação e Carga de Dados)