Guia de Carreira Engenheiro de Dados
No terceiro guia da série de carreiras, uma das funções com o maior salário na área de dados: Engenheiro de Dados.
Categoria:Engenharia de Dados
Curso Gratuito – Sistema Operacional Linux, Docker e Kubernetes
Seja bem-vindo(a) a mais um curso bônus, gratuito e exclusivo, para os alunos das Formações da DSA: Sistema Operacional Linux, Docker e Kubernetes.
O Que é Um Data Lakehouse?
Empresas e outras organizações que trabalham com conjuntos de dados que podem ser considerados Big Data têm mais uma opção quando se trata de arquitetura de armazenamento. Cada vez mais vemos a evolução de uma arquitetura híbrida que está sendo chamada de “Data Lakehouse”.
Linhagem de Dados – Técnicas e Exemplos
No artigo anterior definimos o que é Linhagem de Dados. Agora trazemos para você algumas técnicas e exemplos.
O Que é Linhagem de Dados?
A linhagem de dados é o processo de compreensão, registro e visualização de dados à medida que fluem das fontes de dados para o consumo. Isso inclui todas as transformações que os dados sofreram ao longo do caminho – como os dados foram transformados, o que mudou e por quê.
O Que Faz um Engenheiro de Dados?
O Engenheiro de Dados é o responsável pela criação do pipeline que transforma os dados brutos que estão nos mais variados formatos, desde bancos de dados transacionais até arquivos de texto, em um formato que permita ao Cientista de Dados começar seu trabalho.
A Diferença Entre Cientistas de Dados, Engenheiros de Dados, Estatísticos e Engenheiros de Software
Descobrir a diferença entre Cientistas de Dados, Engenheiros de Dados, Estatísticos e Engenheiros de Software pode ser confuso e complicado. Enquanto todos eles estão ligados aos dados de alguma forma, há uma diferença entre o trabalho que eles fazem e gerenciam.
Construindo um Centro de Excelência em Engenharia de Dados – Parte 5
À medida que os dados continuam a crescer em importância e se tornam mais complexos, a necessidade de Engenheiros de Dados qualificados nunca foi tão grande.
Construindo um Centro de Excelência em Engenharia de Dados – Parte 4
À medida que os dados continuam a crescer em importância e se tornam mais complexos, a necessidade de Engenheiros de Dados qualificados nunca foi tão grande.
Construindo um Centro de Excelência em Engenharia de Dados – Parte 3
À medida que os dados continuam a crescer em importância e se tornam mais complexos, a necessidade de Engenheiros de Dados qualificados nunca foi tão grande.
Construindo um Centro de Excelência em Engenharia de Dados – Parte 2
À medida que os dados continuam a crescer em importância e se tornam mais complexos, a necessidade de Engenheiros de Dados qualificados nunca foi tão grande.
Construindo um Centro de Excelência em Engenharia de Dados – Parte 1
À medida que os dados continuam a crescer em importância e se tornam mais complexos, a necessidade de Engenheiros de Dados qualificados nunca foi tão grande.
Como Controlar Verificações de Qualidade de Dados no Data Lake
O senso comum nos diz que não é possível usar dados, a menos que sua qualidade seja compreendida. As verificações da qualidade dos dados são críticas para o Data Lake, mas não é incomum as empresas inicialmente negligenciarem esse processo na pressa de mover dados para um armazenamento menos dispendioso e mais escalável – especialmente durante a adoção inicial.
10 Cenários de Como Entregar Um Projeto de Machine Learning
A decisão sobre como entregar o resultado de um projeto de Machine Learning ao cliente passa pelo que foi acordado com o cliente no começo do projeto. 10 Cenários de Como Entregar Um Projeto de Machine Learning.
Fast Data – A Evolução do Big Data
As decisões em tempo real já fazem parte do cenário e novas ferramentas e arquiteturas são necessárias para lidar com esses desafios de forma eficiente. Ou seja, estamos indo da era Do Big Data Para o Fast Data e estamos indo cada vez mais rápido!