Processamento de Streaming de Eventos com Apache Kafka
Apache Kafka é um framework para processamento de streaming de eventos em tempo real de código aberto (open-source) que é escalável, rápido e tolerante a falhas.
Categoria:Engenharia de Dados
A Demanda Por Habilidades de IA, Machine Learning e Engenharia de Dados Continua Crescendo
A lacuna de habilidades digitais persiste, com um número crescente de trabalhadores despreparados para as contínuas transformações digitais de empresas em todo o mundo e em todos os setores de negócios. É grande a falta de profissionais com a capacitação adequada.
A Modelagem de Bancos de Dados na Engenharia de Dados
Por mais sofisticados que sejam os algoritmos ou robustas as infraestruturas, a estruturação correta dos dados é a base para qualquer operação bem-sucedida. E é aqui que a modelagem de bancos de dados mostra seu valor.
Engenheiro de Dados – Por Onde Começar em 7 Passos
Um Engenheiro de Dados projeta e constrói arquiteturas de dados e pipelines para ingestão, armazenamento, processamento e execução de aplicações de grande escala com Big Data. Neste artigo, Engenheiro de Dados – Por Onde Começar em 7 Passos, vamos ajudar você a compreender como iniciar sua carreira como Engenheiro de Dados.
Processamento de Dados em Lote e Streaming com Apache Beam
Apache Beam é uma plataforma de processamento de dados unificada e de código aberto (open-source), que proporciona um modelo de programação eficiente e fácil de usar para lidar com grandes volumes de dados.
Automação do Fluxo de Dados com Apache NiFi
A ideia principal por trás do Apache NiFi é simplificar o fluxo de dados entre diferentes fontes e destinos. Isso é feito através de uma interface de usuário baseada em navegador que permite “arrastar e soltar” componentes de processamento de dados em uma tela de design.
Apache Airflow: Características, Vantagens e Desvantagens no Cenário da Engenharia de Dados
O Apache Airflow é uma ferramenta de orquestração de fluxo de trabalho de código aberto criada pela Airbnb que tem sido amplamente adotado na engenharia de dados para tarefas de gestão de fluxos ETL (Extração, Transformação e Carga de Dados)
10 Tendências, 15 Plataformas e 5 Habilidades na Engenharia de Dados em 2023
Com base na experiência prática em projetos, conversas com gestores de médias e grandes empresas e extensa pesquisa, podemos traçar um cenário de tendências, as principais plataformas e as habilidades necessárias na engenharia de dados em 2023.
O Que é Data Observability e Quais Ferramentas Usar?
A observabilidade dos dados é essencial para tomar decisões informadas e agir com base nos insights obtidos com os dados.
Guia de Carreira Engenheiro de Dados
No terceiro guia da série de carreiras, uma das funções com o maior salário na área de dados: Engenheiro de Dados.
Curso Gratuito – Sistema Operacional Linux, Docker e Kubernetes
Seja bem-vindo(a) a mais um curso bônus, gratuito e exclusivo, para os alunos das Formações da DSA: Sistema Operacional Linux, Docker e Kubernetes.
O Que é Um Data Lakehouse?
Empresas e outras organizações que trabalham com conjuntos de dados que podem ser considerados Big Data têm mais uma opção quando se trata de arquitetura de armazenamento. Cada vez mais vemos a evolução de uma arquitetura híbrida que está sendo chamada de “Data Lakehouse”.
O Que Faz um Engenheiro de Dados?
O Engenheiro de Dados é o responsável pela criação do pipeline que transforma os dados brutos que estão nos mais variados formatos, desde bancos de dados transacionais até arquivos de texto, em um formato que permita ao Cientista de Dados começar seu trabalho.
Construindo um Centro de Excelência em Engenharia de Dados – Parte 5
À medida que os dados continuam a crescer em importância e se tornam mais complexos, a necessidade de Engenheiros de Dados qualificados nunca foi tão grande.
Construindo um Centro de Excelência em Engenharia de Dados – Parte 4
À medida que os dados continuam a crescer em importância e se tornam mais complexos, a necessidade de Engenheiros de Dados qualificados nunca foi tão grande.