ELT Pipeline AWS — Medallion
Plataforma analítica multi-tenant em AWS com arquitetura Medallion de 4 camadas — 99% de redução de custo vs Azure Databricks.
O Problema
Plataforma analítica corporativa em Azure Databricks custando ~$800/mês para 5 unidades de negócio — inviavel para projeto pessoal de portfolio mantendo a mesma profundidade tecnica.
A Solução
Migração serverless-first: S3 + Glue Data Catalog + Athena v3 (Trino) + Apache Iceberg para transações ACID e schema evolution. dbt-athena para 45 transformações incrementais. Airflow com Datasets para orquestração event-driven. Observabilidade via CloudWatch + SNS → Lambda → Slack. Infra 100% Terraform com state remoto em S3 + DynamoDB lock.
Resultado
Plataforma operacional preservando 100% da lógica de negócio (8 datamarts, 45 modelos, star schema Kimball, 5 tenants) com custo de ~$6/mês — redução de ~99%. Tempo CI < 5min, make up → Airflow operacional em < 60s.
Projetos Relacionados
RPA Suite Fictor
Suite de 80+ pipelines RPA automatizando relatórios críticos de logística, supply chain e vendas para 5 subsidiárias.
NFe OCR Pipeline
Pipeline multi-engine para classificação, extração OCR e organização automatizada de ~500 NFe/mês — 98% de acurácia.