Engenheiro de dados sênior

Oportunidade: Engenheiro de Dados Sênior Modelo: Remoto Desafios: Responsabilidades Principais: • Desenvolvimento de Pipelines de Dados (ETL/ELT): Desenhar, construir e manter pipelines de dados escaláveis e de alta performance utilizando Py Spark, AWS Glue, Databricks e AWS EMR para processamento de grandes volumes de dados. • Arquitetura de Data Lake e Data Warehouse: Estruturar e gerenciar o armazenamento de dados no AWS S3 (Data Lake) e construir modelos analíticos eficientes no Redshift (Data Warehouse), garantindo a integridade, segurança e governança da informação. • Orquestração de Workflows: Criar, monitorar e otimizar DAGs no Apache Airflow para garantir a execução confiável de rotinas de ingestão, transformação e carga de dados, gerenciando dependências complexas. • Processamento em Tempo Real e Orientado a Eventos: Desenvolver arquiteturas de streaming de dados e automatizar processos leves e baseados em eventos. • Migração e Replicação de Dados: Implementar rotinas de Chan...