Como todos sabemos, esse mundo de Big Data Analytics é relativamente novo e com isso muitas novas profissões estão surgindo, outras estão se reinventando e outras ainda sendo extintas. Ou seja, nada anormal e que já não tenhamos visto em revoluções industriais anteriores (vapor, eletricidade, computação e agora: Automação e Inteligência).

Porém, muitas vezes quando estamos vivenciando a mudança nem sempre fica claro o que está acontecendo e muito menos acompanhar a velocidade dos acontecimentos.

Então para simplificar o entendido, vou fazer uma analogia comparando o Arquiteto e Engenheiro Civil, pois já está muito claro para todos nós o que eles fazem, e para efeito de entendimento facilitará explicar os papéis do Arquiteto de Dados e Engenheiro de Dados.

Por Que Contratamos Um Arquiteto?

Porque queremos uma casa muito bem planejada, com o melhor aproveitamento do espaço, que ela seja bem arejada, bem iluminada, tenha um design bonito e moderno, etc.

Por Que Contratamos Um Engenheiro Civil?

Porque queremos uma casa muito bem construída, forte, feita com materiais resistentes e de qualidade, que a estrutura suporte tempestades e que, se a família crescer, possamos construir um cômodo adicional sem abalar as estruturas.

Entenderam a diferença?

Um Arquiteto de Dados irá se preocupar em atender as necessidades estratégicas da empresa, já o Engenheiro de Dados se preocupará se a infraestrutura tem a qualidade e a robustez que a empresa precisa.

A mim parece bastante natural que ao pensar na carreira de um Engenheiro de Dados, cedo ou tarde acaba por se tornar um Arquiteto de Dados (isso em TI é claro, na engenharia civil não tenho propriedade para afirmar isso).

Focando Agora no Arquiteto de Dados

Seguir diretamente para a carreira como Arquiteto de Dados sem passar pela engenharia é perfeitamente possível, porém exigirá bastante disciplina e dedicação nos estudos, projetos e se manter muito atualizado com as tendências do mercado. Eu vejo esse profissional com enfoque muito maior em Governança, ele será muito bem visto principalmente no setor público, de saúde e educação ou qualquer setor que tenha uma preocupação muito forte com a legislação, é claro que todos temos que nos preocupar com legislação, mas algumas áreas são muito fortemente auditadas e será nessas áreas que um arquiteto com pegada forte em governança irá se destacar.

Um arquiteto com pegada em governança terá que se destacar em conhecer fortemente as leis (GDPR, LGDP, Marco Civil da Internet e a Lei de Acesso a Informação, ISOs, etc.), mas também será imprescindível ter um forte domínio em ferramentas como Dremio, Atlas, Airflow, etc, para o design do pipeline de dados.

Já o arquiteto com pegada técnica irá se destacar em setor com forte pegada em inovação, irá se destacar em setores como logística, finanças, marketing, RH, TI propriamente dito, enfim setores onde a tecnologia já faz parte do business.

Um Arquiteto de Dados mais técnico será muito valioso se ele se desenvolver e souber discutir “de igual para igual” com o Engenheiro de Dados: ou seja, ele terá que entender muito de ETL, DW, Data Lake, etc…

Por isso, é muito importante conhecer o seu próprio perfil, para saber onde pretenderá focar.

Cada um de nós temos nossas fraquezas e nossas fortalezas.

Descubra quais são suas fraquezas e se possível tente diminuí-las ao máximo na medida do possível para não deixar que elas se tornem abismos na sua frente e o impeça de seguir em frente.

Se sua fraqueza é programação, estude programação a um nível entre básico a intermediário, saiba conceitos básicos da(s) linguagem(ns) usadas na empresa para a qual você trabalha, saiba o que é linguagem de baixo nível ou alto nível, conheça a estrutura da linguagem, saiba a diferença entre Front-End e Back-End, quando usamos biblioteca, ou uma API, o que é REST, o que é SOAP, etc.

Enfim, entenda a língua falada pelo time mais técnico, não porque você irá programar, mas porque esse conhecimento irá lhe ajudar (e muito) a entender as discussões durante as reuniões para definir soluções na empresa, o time se sentirá mais confortável e terá muito mais confiança no seu trabalho se você for capaz de conversar com eles a um nível de detalhe que ele não tenha que parar a cada 5 minutos para explicar algo que você poderia buscar conhecimento por si mesmo.

Já suas fortalezas, você terá que dominá-las mais e mais a cada dia, torne-se um Jedi na tecnologia que você mais se sente confortável e que mais tem facilidade em aprender e se desenvolver, seja tão bom, mais tão bom que suas fortalezas irão compensar suas fraquezas.

Resumindo:

Principais responsabilidades do Arquiteto de Dados

– Colaborar com o time de TI no desenvolvimento de estratégias de dados
– Construção de inventário de dados
– Pesquisar oportunidades de aquisição de dados
– Avaliação de Tecnologias de Gerenciamento de Dados (atuais e futuras)
– Criação de uma visão end-to-end do fluxo de dados / pipeline de dados
– Desenvolvimento de Data Models
– Design, construção e implantação de arquitetura de banco de dados
– Fusão de novos sistemas com a estrutura existente

Principais responsabilidades do Engenheiro de Dados

– Desenvolvimento, construção, teste e manutenção de arquitetura de banco de dados
– Garantir a compatibilidade da arquitetura
– Pesquisar oportunidades de aquisição de dados
– Desenvolvimento de processos para modelagem de dados e data mining
– Integrar sistemas existentes
– Criar soluções para melhorar a confiabilidade, eficiência e qualidade dos dados
– Lidar com grandes quantidades de dados
– Lidar com sofisticados programas de análise (troubleshooting)
– Usar análises preditivas e prescritivas para automatizar o trabalho

Referências:

4 Data Science Roles and their Responsibilities

Formação Arquiteto de Dados

Formação Engenheiro de Dados

Este artigo foi produzido por uma das alunas da DSA, a Tabata Emanuelle Barbosa, e compartilhado na timeline da Comunidade DSA em nosso portal. A Tabata e outros alunos tiveram a iniciativa de produzir alguns resumos para ajudar aqueles que estão começando agora sua jornada e assim compartilhar conhecimento. Isso não é maravilhoso? Sim, nós da DSA também achamos. E por isso decidimos compartilhar em nosso Blog para ajudar também outras pessoas. 

Parabéns Tabata!

Equipe DSA