Brazilian Fuel Prices ETL (ANP Data Pipeline)

Tecnologias

• Apache Airflow (orquestração)
  
• PostgreSQL (metastore)
  
• dbt (modelagem de dados)
  
• Streamlit (dashboards)
  
• Docker & Docker Compose (infraestrutura)
  

---



Arquitetura



!Arquitetura do Projeto

---



Estrutura de Pastas


``
anp-fuel-etl/
├── dags/ # DAGs do Airflow
├── etl/ # Scripts ETL (bronze, silver, gold)
├── dbt_project/ # Projeto dbt
├── dashboards/ # Visualizações (Streamlit)
├── data/ # Dados locais
│ ├── bronze/
│ ├── silver/
│ └── gold/
├── docker/ # Infraestrutura (compose, Dockerfile)
├── config/ # Configurações
├── docs/ # Documentação (diagramas, imagens, etc.)
│ └── architecture.png
└── README.md
`

---



Como rodar o projeto




• Clone o repositório
  
`bash
git clone https://github.com/seu-usuario/anp-fuel-etl.git
cd anp-fuel-etl/docker
`


• Suba os serviços com Docker Compose
  
`bash
docker-compose up -d --build
`


• Acesse o Airflow
  
- URL: http://localhost:43921
- Usuário: admin
- Senha: admin`

---



Status do Projeto


• [x] Estrutura inicial do repositório
  
• [x] Docker + Airflow funcionando
  
• [x] DAG Bronze (ingestão de dados da ANP)
  
• [x] DAG Silver (limpeza e padronização)
  
• [x] Criar a tabela silver.precos_combustiveis no Postgres a partir dos .parquet
  
• [x] Rodar dbt seed para carregar dim_regiao_estado.csv
  
• [x] Rodar dbt run para materializar os modelos Gold
  
• [x] DAG Gold (modelagem dbt)
  
• [x] Realizar testes unitários
  
• [x] Dashboards (Streamlit)
  

📊 Prints do Dashboard

🎥 Demonstração em Vídeo