Trilha de Aprendizagem da Formação Arquiteto de Dados 4.0

Aqui você terá uma visão abrangente sobre como as organizações podem construir e manter infraestruturas de dados robustas e escaláveis, utilizando as mais recentes tecnologias e frameworks, incluindo os avanços recentes em Inteligência Artificial.

Através de uma combinação de teoria sólida, projetos práticos e atividades hands-on, você será equipado com as habilidades necessárias para projetar e implementar uma arquitetura de dados eficaz que atenda às necessidades de negócios que estão em constante evolução.

No decorrer do curso, serão apresentados os conceitos fundamentais de arquitetura de plataforma de dados, incluindo a coleta, processamento, armazenamento e análise de dados.

Além disso, o curso explora os principais componentes de uma Modern Data Stack e como as diferentes tecnologias e ferramentas podem ser integradas para criar uma solução de gestão de dados coesa.

2. Pipelines de ETL e Machine Learning com Apache Spark

Este curso fornece uma compreensão prática e aplicada, permitindo aos alunos não apenas aprender os conceitos teóricos, mas também ganhar experiência prática na construção e otimização de pipelines de dados robustos e escaláveis.

Iniciamos com a arte da exploração de dados e operações SQL com Spark SQL, estabelecendo uma base sólida para as atividades subsequentes.

A partir daí, aprofundamos na engenharia de dados, desvendando o desenvolvimento de pipelines ETL robustos, aptos para execução em clusters Spark, e abordando desafios de dados em tempo real através de pipelines de coleta, transformação e análise.

E, como Inteligência Artificial já é uma realidade, o projeto que integra Modelos de Linguagem (LLMs) usando LangChain e Apache Spark, traz a potência da análise textual ao contexto do Spark.

Mas o curso não seria completo sem abordar o lado operacional: o deploy e versionamento de modelos de Machine Learning, utilizando a combinação poderosa do Spark com Databricks. Trazemos, também, uma perspectiva multi-linguagem, com a otimização de aplicações Spark nas linguagens Python, Scala e R.

Concluímos nossa jornada introduzindo uma visão inovadora e atual da gestão de dados: a construção de um Data Lakehouse Low-Code utilizando Apache Spark e Delta Lake.

3. Orquestração de Fluxos de Dados com Apache Airflow

Orquestre o futuro e domine a sinfonia dos fluxos de dados com este curso 100% dedicado ao Apache Airflow, uma ferramenta poderosa que transformou o mundo da arquitetura e engenharia de dados.

Começaremos a jornada criando pipelines de dados fundamentais, introduzindo os alunos às bases e detalhes da criação de Directed Acyclic Graphs (DAGs) no Airflow. À medida que evoluímos, você aprenderá a articular esses pipelines com precisão, através da criação de schedules e triggers que garantem a execução fluida e coordenada de seus workflows.

Mas você está na DSA e não ficaremos somente nos fundamentos. Embarcaremos na customização avançada com o desenvolvimento e uso de operadores personalizados, permitindo que você adapte o Airflow exatamente às suas necessidades.

E, considerando a necessidade das empresas modernas de operar em escala, você se aprofundará na configuração e execução de workflows em clusters, garantindo a escalabilidade e robustez dos seus fluxos de dados.

Um destaque especial do curso é a integração com outros sistemas e práticas essenciais, como a automação de testes utilizando CI/CD e o streaming de dados com Apache Kafka.

4. Projeto e Implementação de Plataforma de Dados com Snowflake

Este curso, meticulosamente estruturado, visa conduzir você por essa jornada, desde os primeiros passos até a maestria na implementação de soluções complexas. A experiência começa com o básico, guiando você através do processo de iniciar no Snowflake a partir do zero, estabelecendo uma base sólida. A partir dessa base, navegamos pelas nuances do Data Warehouse, explorando técnicas avançadas como Slowly Changing Dimensions usando Snowpark e StreamSets.

A versatilidade do Snowflake é destacada conforme mergulhamos em pipelines de dados usando a linguagem Python e na criação de aplicativos orientados a dados utilizando SQL. O curso amplia seus horizontes com uma abordagem integrada, combinando a robustez do Snowflake com ferramentas como Dataiku para soluções de Data Science e Collibra para governança de dados. Há um forte enfoque na qualidade e integridade dos dados, como visto no lab dedicado à implementação de uma “sala de limpeza de dados” (Data Clean Rooms), e na ingestão especializada de logs de acesso do AWS S3.

À medida que avançamos, o curso também abraça o futuro da análise de dados, introduzindo Machine Learning com DataRobot e desenvolvendo uma aplicação de reconhecimento de imagens utilizando uma combinação poderosa de Snowpark, Python, PyTorch, Streamlit e OpenAI.