Engenheiro de dados pl (com ia)

Engenheiro de Dados PL (Data Engineer Pl) 

Missão da função 

Construir e manter pipelines de dados escaláveis e eficientes, garantindo ingestão, transformação e disponibilização de dados para analytics e IA. 

Hard Skills 

Engenharia de Dados 

· Construção de pipelines (batch e streaming) 
· Processamento de dados em arquitetura lakehouse 
· Modelagem de dados para consumo analítico 
· Integração entre múltiplas fontes (APIs, eventos, sistemas internos) 

Ferramentas e Linguagens 

· Python avançado (ETL, APIs, automação) 
· SQL avançado 
· Spark / PySpark (criação de jobs e otimizações) 

AWS 

· S3, Glue, Lambda, Step Functions 
· EMR (diferencial forte) 
· EventBridge, SQS, SNS 
· DynamoDB (modelagem e acesso) 

Orquestração 

· Step Functions (principal) 
· Arquitetura orientada a eventos 

Data Lake / Lakehouse 

· Parquet 
· Organização de dados por ...