O Que é Data Observability e Quais Ferramentas Usar?
A observabilidade dos dados é essencial para tomar decisões informadas e agir com base nos insights obtidos com os dados.
Categoria:Engenharia de Dados
Novo Curso Gratuito Fundamentos de Engenharia de Dados
Este é um curso inteiramente gratuito, incluindo o certificado de conclusão, e no padrão de qualidade Data Science Academy.
Guia de Carreira Engenheiro de Dados
No terceiro guia da série de carreiras, uma das funções com o maior salário na área de dados: Engenheiro de Dados.
Curso Gratuito – Sistema Operacional Linux, Docker e Kubernetes
Seja bem-vindo(a) a mais um curso bônus, gratuito e exclusivo, para os alunos das Formações da DSA: Sistema Operacional Linux, Docker e Kubernetes.
O Que é Um Data Lakehouse?
Empresas e outras organizações que trabalham com conjuntos de dados que podem ser considerados Big Data têm mais uma opção quando se trata de arquitetura de armazenamento. Cada vez mais vemos a evolução de uma arquitetura híbrida que está sendo chamada de “Data Lakehouse”.
Linhagem de Dados – Técnicas e Exemplos
No artigo anterior definimos o que é Linhagem de Dados. Agora trazemos para você algumas técnicas e exemplos.
O Que é Linhagem de Dados?
A linhagem de dados é o processo de compreensão, registro e visualização de dados à medida que fluem das fontes de dados para o consumo. Isso inclui todas as transformações que os dados sofreram ao longo do caminho – como os dados foram transformados, o que mudou e por quê.
O Que Faz um Engenheiro de Dados?
O Engenheiro de Dados é o responsável pela criação do pipeline que transforma os dados brutos que estão nos mais variados formatos, desde bancos de dados transacionais até arquivos de texto, em um formato que permita ao Cientista de Dados começar seu trabalho.
A Diferença Entre Cientistas de Dados, Engenheiros de Dados, Estatísticos e Engenheiros de Software
Descobrir a diferença entre Cientistas de Dados, Engenheiros de Dados, Estatísticos e Engenheiros de Software pode ser confuso e complicado. Enquanto todos eles estão ligados aos dados de alguma forma, há uma diferença entre o trabalho que eles fazem e gerenciam.
Construindo um Centro de Excelência em Engenharia de Dados – Parte 5
À medida que os dados continuam a crescer em importância e se tornam mais complexos, a necessidade de Engenheiros de Dados qualificados nunca foi tão grande.
Construindo um Centro de Excelência em Engenharia de Dados – Parte 4
À medida que os dados continuam a crescer em importância e se tornam mais complexos, a necessidade de Engenheiros de Dados qualificados nunca foi tão grande.
Construindo um Centro de Excelência em Engenharia de Dados – Parte 3
À medida que os dados continuam a crescer em importância e se tornam mais complexos, a necessidade de Engenheiros de Dados qualificados nunca foi tão grande.
Construindo um Centro de Excelência em Engenharia de Dados – Parte 2
À medida que os dados continuam a crescer em importância e se tornam mais complexos, a necessidade de Engenheiros de Dados qualificados nunca foi tão grande.
Construindo um Centro de Excelência em Engenharia de Dados – Parte 1
À medida que os dados continuam a crescer em importância e se tornam mais complexos, a necessidade de Engenheiros de Dados qualificados nunca foi tão grande.
Como Controlar Verificações de Qualidade de Dados no Data Lake
O senso comum nos diz que não é possível usar dados, a menos que sua qualidade seja compreendida. As verificações da qualidade dos dados são críticas para o Data Lake, mas não é incomum as empresas inicialmente negligenciarem esse processo na pressa de mover dados para um armazenamento menos dispendioso e mais escalável – especialmente durante a adoção inicial.