Fundamentos de Engenharia de Dados
O que é engenharia de dados, papel do engenheiro, mercado brasileiro e trilha de aprendizado.
Ebooks gratuitos em português sobre engenharia de dados, baseados na curadoria do repositório Awesome Data Engineering BR. Exportáveis para PDF, otimizados para SEO e sistemas de IA.
O que é engenharia de dados, papel do engenheiro, mercado brasileiro e trilha de aprendizado.
Trilha completa do zero ao profissional: 5 fases, perfis de transição e recursos.
Habilidade nº 1: window functions, CTEs, otimização e recursos oficiais.
Pandas, PySpark, APIs, testes e bibliotecas essenciais para pipelines.
Orquestração com DAGs, operadores, boas práticas e recursos.
PySpark, DataFrames, performance, shuffle e integração lakehouse.
ELT moderno, models, tests, macros e analytics engineering.
Streaming de eventos, topics, consumer groups e arquiteturas real-time.
Containers, Compose e stacks locais para Airflow, Postgres e Spark.
Versionamento de pipelines, dbt, DAGs e PRs com Conventional Commits.
Terminal, grep, awk, jq, cron e SSH para operar e depurar pipelines.
IaC para S3, IAM, warehouses e ambientes cloud reproduzíveis.
Modelagem dimensional, ETL vs ELT, data warehouse e padrões arquiteturais.
Medallion architecture, Delta Lake, Iceberg, Parquet e camadas bronze/silver/gold.
AWS, Azure e GCP: comparativo de serviços, certificações e recursos.
ETL vs ELT, orquestração, qualidade e padrões de pipelines batch.
Kimball, Inmon, Data Vault e práticas para warehouses e marts.
OLAP, Snowflake, BigQuery, Redshift e desenho de warehouses modernos.
Arquiteturas real-time, Kafka, Spark Streaming e batch vs streaming.
35+ ideias de projetos para praticar e impressionar recrutadores no Brasil.
Comportamental, priorização, ownership e colaboração em times de dados.
RFCs, trade-offs, stakeholders e documentação de pipelines.
Vocabulário técnico, docs oficiais e comunicação em inglês para DE.
docs/. Nenhuma informação é inventada; todas as fontes são citadas na seção Referências de cada ebook.ebooks/ebooks/ seguindo o template em ebooks/templates/ebook.html e registre os metadados em ebooks/data/catalog.json.