Como todos sabemos esse mundo Big Data Analytics é relativamente novo e com isso muitas novas profissões estão surgindo, outras estão se reinventando e outras ainda sendo extintas. Ou seja, nada anormal que já não tenhamos visto em revoluções industriais anteriores.
Neste artigo vamos trazer dicas valiosas para você que deseja se tornar Arquiteto de Dados.
Com a evolução das Plataformas de Dados e Modern Data Stack, quais são os principais desafios para o Arquiteto de Dados?
Plataforma de Dados, Arquitetura de Dados e Pipeline de Dados são 3 conceitos que causam muitas dúvidas. Usando o cenário de uma empresa fictícia, este artigo vai ajudar você na compreensão dos conceitos.
Apache Kafka é um framework para processamento de streaming de eventos em tempo real de código aberto (open-source) que é escalável, rápido e tolerante a falhas.
Apache Beam é uma plataforma de processamento de dados unificada e de código aberto (open-source), que proporciona um modelo de programação eficiente e fácil de usar para lidar com grandes volumes de dados.
O Apache Airflow é uma ferramenta de orquestração de fluxo de trabalho de código aberto criada pela Airbnb que tem sido amplamente adotado na engenharia de dados para tarefas de gestão de fluxos ETL (Extração, Transformação e Carga de Dados)
O Que é Arquitetura de Dados? A Arquitetura de Dados está lá. É trabalho duro. É preciso muita disciplina para construir a arquitetura ideal. No entanto, se você conseguir acertar, provavelmente trará mais valor do que qualquer um desses tópicos “quentes” no universo da Ciência de Dados.
A observabilidade dos dados é essencial para tomar decisões informadas e agir com base nos insights obtidos com os dados.
No sétimo guia da série, um roteiro para quem deseja trabalhar com arquitetura, planejamento e design de soluções de dados: Arquiteto de Dados.
Seja bem-vindo(a) a mais um curso bônus, gratuito e exclusivo, para os alunos das Formações da DSA: Sistema Operacional Linux, Docker e Kubernetes.
Evite esses erros comuns de modelagem de dados para manter a integridade dos dados e confiabilidade do processo de análise.
Neste artigo vamos compreender o que é Data Quality e porque isso é importante.
No artigo anterior definimos o que é Linhagem de Dados. Agora trazemos para você algumas técnicas e exemplos.
A linhagem de dados é o processo de compreensão, registro e visualização de dados à medida que fluem das fontes de dados para o consumo. Isso inclui todas as transformações que os dados sofreram ao longo do caminho – como os dados foram transformados, o que mudou e por quê.