Construindo um Centro de Excelência em Engenharia de Dados – Parte 2
À medida que os dados continuam a crescer em importância e se tornam mais complexos, a necessidade de Engenheiros de Dados qualificados nunca foi tão grande.
Categoria:Engenharia de Dados
Construindo um Centro de Excelência em Engenharia de Dados – Parte 1
À medida que os dados continuam a crescer em importância e se tornam mais complexos, a necessidade de Engenheiros de Dados qualificados nunca foi tão grande.
Como Controlar Verificações de Qualidade de Dados no Data Lake
O senso comum nos diz que não é possível usar dados, a menos que sua qualidade seja compreendida. As verificações da qualidade dos dados são críticas para o Data Lake, mas não é incomum as empresas inicialmente negligenciarem esse processo na pressa de mover dados para um armazenamento menos dispendioso e mais escalável – especialmente durante a adoção inicial.
10 Cenários de Como Entregar Um Projeto de Machine Learning
A decisão sobre como entregar o resultado de um projeto de Machine Learning ao cliente passa pelo que foi acordado com o cliente no começo do projeto. 10 Cenários de Como Entregar Um Projeto de Machine Learning.
Fast Data – A Evolução do Big Data
As decisões em tempo real já fazem parte do cenário e novas ferramentas e arquiteturas são necessárias para lidar com esses desafios de forma eficiente. Ou seja, estamos indo da era Do Big Data Para o Fast Data e estamos indo cada vez mais rápido!
Precisamos de 2 Engenheiros de Dados para Cada Cientista de Dados?
As empresas buscam agora mais um perfil profissional para compor suas equipes de Data Science e trabalhar junto com o Cientista de Dados: o Engenheiro de Dados. Mas aí temos a pergunta: Precisamos de 2 Engenheiros de Dados para Cada Cientista de Dados? Qual deve ser a proporção?
Série Spark e Databricks Parte 5 – Spark Session no Databricks
Este é o quinto de uma série de artigos aqui no Blog da DSA sobre um dos melhores frameworks para processamento de dados de forma distribuída, o Apache Spark e sua utilização na nuvem com Databricks.
Série Spark e Databricks Parte 2 – Modos de Execução no Spark
Este é o segundo de uma série de artigos no Blog da DSA sobre um dos melhores frameworks para processamento de dados de forma distribuída, o Apache Spark e sua utilização na nuvem com Databricks.
Série Spark e Databricks Parte 1 – Arquitetura e Componentes do Apache Spark
Este é o primeiro de uma série de artigos aqui no Blog da DSA sobre um dos melhores frameworks para processamento de dados de forma distribuída, o Apache Spark e sua utilização na nuvem com Databricks
Ingestão de Dados em Tempo Real com Apache NiFi
O Apache NiFi é um sistema fácil de usar, poderoso e confiável para processar e distribuir dados, pois além da ingestão de dados, é capaz de transferir e gerenciar a transferência de dados entre fontes e sistemas heterogêneos.