Como o nome sugere, o ETL Reverso inverte a ordem das operações dentro do processo ETL tradicional. Mas por que fazer isso? É o que vamos responder agora neste artigo.

Boa leitura.

Compreendendo o Conceito

O ETL Reverso permite que as empresas transfiram dados transformados de seu Data Warehouse, local ou em nuvem, para ferramentas de negócios operacionais, fazendo o inverso do ETL (que permite às empresas consolidar e ingerir dados em seu Data Warehouse).

ETL Reverso é uma nova abordagem para tornar os dados acionáveis e resolver o problema da “última milha” na análise, capacitando as equipes de negócios a acessar – e agir de acordo – com os dados transformados diretamente nas ferramentas SaaS que já usam todos os dias.

ETL Reverso Diagrama

Benefícios do ETL Reverso

Ao democratizar o acesso aos dados desta forma, o ETL Reverso visa impulsionar um novo paradigma conhecido como análise operacional – a prática de fornecer insights das equipes de dados às equipas de negócios no seu fluxo de trabalho habitual, para que possam tomar decisões mais informadas sobre os dados.

O ETL Reverso “operacionaliza” os mesmos dados que alimentam os relatórios em uma ferramenta de BI, tornando-os acessíveis e acionáveis em outras ferramentas. O ETL reverso é necessário porque o Data Warehouse – a plataforma que a empresa comprou para eliminar silos de dados – ironicamente se tornou um silo de dados.

Sem ETL reverso, as principais métricas do negócio de uma empresa ficam apenas no Data Warehouse. As empresas estão construindo métricas importantes em SQL com base no Data Warehouse com lead qualificado de produto e lead qualificado de marketing, pontuação de propensão a compra, tempo de vida útil do cliente, estágios de funil de compras, etc. Essas métricas são muito mais valiosas se conduzirem as operações diárias de suas equipes em vendas, marketing, finanças, etc. nas ferramentas em que usam no dia a dia.

Adotantes de ETL Reverso estão usando esta nova abordagem para canalizar dados transformados desde seus armazéns em nuvem até seus CRMs, ferramentas de automação de marketing, plataformas de publicidade, suporte ao cliente e sistemas de tickets e, claro, Slack. Isto torna as grandes quantidades de dados dos clientes recolhidos e armazenados em armazéns mais acessíveis às equipas de negócios, permitindo, em última análise, experiências mais personalizadas dos clientes e tomadas de decisão baseadas em dados.

Onde o ETL Reverso se Encaixa em Modern Data Stack?

O ETL Reverso chega na “última milha”, depois que os dados são coletados e armazenados em seu DW por meio de um processo de ETL. Então, os dados geralmente são modelados com uma ferramenta de transformação como o dbt. Em seguida, as soluções de ETL Reverso enviam esses dados de volta para as ferramentas das quais sua empresa depende (como CRMs, ferramentas de anúncios, ferramentas de e-mail e muito mais).

Os pipelines de ETL Reverso podem ser personalizados, mas, como muitos desafios de engenharia de dados, exigem recursos significativos para projetar, construir e manter. Engenheiros de Dados estão usando ferramentas de ETL Reverso, que permitem que as equipes de negócios projetem e construam pipelines usando apenas SQL, sem a necessidade de APIs de terceiros ou scripts personalizados. Além da transferência de dados, também existem recursos essenciais fornecidos pelas principais ferramentas de ETL Reverso que são difíceis de construir internamente:

  • Recursos de observabilidade, como depurador e registro, para que você saiba quais chamadas de API e operações a ferramenta está realizando em seu nome.
  • Alertas em ferramentas como Slack, Pagerduty e Datadog quando a sincronização muda ou falha.
  • Controle de versão de sincronizações através do Git.
  • Visual Audience Builder para equipes de negócios filtrarem visualmente os dados com base nos modelos que a equipe de dados construiu.

O ETL Reverso é um do muitos temas estudados na prática na Formação Engenheiro de Dados 4.0.

Equipe DSA

Referências:

Reverse ETL Tools