dados-ecommerce
Um pipeline de dados de ponta a ponta: dados brutos de e-commerce entram como CSV e saem como marts prontas para decisão. Arquitetura medallion — bronze, silver e gold — sobre um lakehouse, com PySpark, Delta Lake, dbt e um dashboard em Streamlit.
O que é
O dados-ecommerce é o projeto onde eu montei um fluxo de engenharia de dados do jeito que ele roda na prática: um lakehouse em MinIO (compatível com S3), camadas Delta Lake versionadas e transformação em cima de Spark. O dado percorre três estágios até virar informação de negócio.
A ideia não foi treinar um modelo nem escrever uma consulta isolada, e sim cuidar do caminho inteiro do dado: ingestão, limpeza, modelagem dimensional e entrega num painel que qualquer pessoa da área consegue ler.
Ver repositório no GitHubArquitetura medallion
Cada camada tem uma responsabilidade única e nunca pula etapa: o bruto fica intocado no bronze, a limpeza acontece no silver e o gold guarda só o que já está pronto para consumo. Assim dá para reprocessar qualquer estágio sem perder a origem.
Bronze — ingestão
bronze.py lê o CSV bruto (~1k registros de vendas) e grava como tabela Delta, sem transformar nada. É a fonte da verdade, sempre reprocessável.Silver — limpeza
silver.py usa PySpark para limpar, tipar e padronizar os campos — datas, valores e categorias saem consistentes e prontos para modelar.Gold — marts dbt
dbt o dado vira modelagem dimensional: uma tabela fato de vendas e agregações de negócio, testáveis e versionadas como código.Dashboard — entrega
dashboard.py em Streamlit lê as marts gold e serve KPIs, curva ABC e rankings — a ponta que fecha o pipeline no olho do usuário.Marts do gold
As tabelas que o dbt materializa a partir do silver — cada uma responde a uma pergunta de negócio:
fct_sales— tabela fato de vendas, grão de item vendido.agg_receita_categoria_mes— receita por categoria e mês.agg_receita_produto_mes— receita por produto e mês.agg_categoria_cidade— receita por cidade e categoria.agg_ranking_produtos— ranking de produtos com curva ABC / Pareto.
O dashboard
A saída do gold servida em Streamlit: da visão executiva à análise fina de produto. Essas são as telas geradas direto das marts.
Visão geral
KPIs e receita
Cartões de indicadores, receita por categoria e por mês e a participação de cada categoria no faturamento — o panorama do negócio numa tela.
Curva ABC
Pareto de produtos
Classificação ABC dos produtos com percentual acumulado: quais itens (classe A) concentram a maior parte da receita e quais são cauda longa.
Ranking
Top produtos e cidades
Top 10 produtos por receita e o cruzamento de receita por cidade e categoria — onde e o que mais vende.
Detalhe
Ranking classificado
A tabela detalhada dos produtos com a classificação ABC aplicada, para descer ao nível de cada item.