Spotify Charts - Pipeline de Dados para Análise Regional

Spotify Charts - Pipeline de Dados para Análise Regional

por Ricardo Henrique da Silva Lyra 14/12/2025 atualizado em 14/12/2025

Este projeto implementa um pipeline automatizado de engenharia de dados para processamento e análise de dados de streaming do Spotify referentes ao ano de 2017, com foco nos países das Américas. O sistema utiliza o Apache Airflow para simular uma execução diária que processa os dados correspondentes à data atual, mas no ano de 2017.

🛠️ Tecnologias:

Apache Airflow Python Docker Pandas Postgresql

Spotify Charts - Pipeline de Dados para Análise Regional

Este projeto implementa um pipeline automatizado de engenharia de dados para processamento e análise de dados históricos do Spotify (2017), com foco nos países das Américas. Utilizando Apache Airflow, o sistema simula um processamento diário "em tempo real" ao converter automaticamente a data atual para sua correspondente em 2017, permitindo análise temporal retrospectiva como se fosse atual. O pipeline filtra dados específicos da região, gera rankings diários e métricas detalhadas, preparando a base para integração futura com bancos de dados e dashboards interativos.

###🎯 Objetivos
Criar um pipeline idempotente e reproduzível para processamento diário de dados históricos do Spotify

Implementar lógica de "máquina do tempo" que converte datas atuais para 2017 para simulação temporal

Filtrar e analisar especificamente dados dos países das Américas para insights regionais

Gerar relatórios estruturados com rankings diários (artistas, músicas, países) e métricas de streaming

Estabelecer base para futura integração com banco de dados e sistema de visualização

###🛠️ Tecnologias Utilizadas
Apache Airflow - Orquestração e agendamento do pipeline

Python 3.8+ - Linguagem principal de desenvolvimento

Pandas - Processamento e transformação de dados

Parquet - Formato otimizado para armazenamento

Docker - Containerização do ambiente

JSON - Estruturação de relatórios e metadados

Gostou deste projeto?

Conheça mais projetos de dados de Ricardo Henrique da Silva Lyra ou explore outros portfólios de profissionais da DataEngineer.Help.

Ver Mais Projetos de Dados de Ricardo Henrique da Silva Lyra Explorar Outros Portfólios