
Pessoa Engenheira de Dados Sênior
Nosso propósito é criar tecnologias que desafiam as melhores do mundo e mudam o jogo para nossos clientes. Por isso, buscamos profissionais que desejam fazer parte de uma cultura pautada pela excelência e inovação. Se você se identifica com um ambiente de trabalho colaborativo e movido por curiosidade, venha construir o futuro da tecnologia conosco.
O que você fará por aqui
-
Projetar, desenvolver e manter pipelines de dados escaláveis e resilientes, com foco em desempenho, observabilidade e custo.
-
Migrar rotinas legadas (mainframe / .NET) para soluções modernas baseadas em Python e AWS, aplicando boas práticas de engenharia de software.
-
Implementar testes automatizados (unitários, integração e regressão) com frameworks como pytest e mock, garantindo qualidade contínua dos pipelines.
-
Construir e orquestrar workflows de dados usando AWS Step Functions e EventBridge, garantindo rastreabilidade e tolerância a falhas.
-
Desenvolver e otimizar jobs distribuídos com Apache Spark e AWS Glue, incluindo particionamento, paralelismo e tunning de performance.
-
Gerenciar infraestrutura de dados como código (IaC) utilizando Terraform, com versionamento e automação via pipelines de CI/CD.
-
Utilizar Athena e SQL avançado para consultas analíticas e transformação de dados em larga escala (CTEs, particionamento, otimização de scans, uso de formatos Parquet/ORC).
-
Implementar boas práticas de DataOps, monitoramento, logging estruturado (CloudWatch, OpenTelemetry) e alertas proativos.
-
Trabalhar em conjunto com squads multidisciplinares (dados, produto e negócio) para garantir entregas tempestivas e com alto padrão de confiabilidade.
O que esperamos que você saiba
Linguagem e Engenharia de Software
-
Domínio de Python aplicado à engenharia de dados (Pandas, PySpark, boto3, typing, logging, multiprocessing, design patterns).
-
Experiência com testes automatizados (pytest, unittest, mock) e boas práticas de versionamento (Git Flow, code review).
-
Conhecimento em estruturas de dados, algoritmos e otimização de performance em grandes volumes.
Arquitetura e Cloud (AWS)
-
Vivência sólida com serviços de dados e serverless AWS:
-
S3 (data lake, versionamento, segurança com KMS/IAM)
-
Lambda, Glue, Step Functions, EventBridge
-
Athena (SQL avançado, Parquet/ORC, otimização de consultas)
-
CloudWatch/CloudTrail (logs, métricas, auditoria)
-
-
Conhecimento em modelagem e integração de dados em ambiente distribuído AWS.
Big Data e Processamento Distribuído
-
Proficiência em Apache Spark (PySpark, SparkSQL), com tuning de memória e partições.
-
Experiência com formatos otimizados (Parquet, ORC, Avro) e compressões (Snappy, Gzip).
-
Entendimento de arquiteturas de dados modernas (data lake, medallion, Glue Catalog).
-
Diferencial: streaming e near real-time (Kinesis, Kafka, Spark Streaming).
Infraestrutura, Automação e Observabilidade
-
Terraform para infraestrutura como código (S3, Glue, Lambda, IAM, Step Functions).
-
CI/CD com GitHub Actions, CodePipeline ou Jenkins.
-
Monitoramento e observabilidade: logs estruturados, métricas e alertas proativos.
Banco de Dados e SQL
-
SQL avançado (CTEs, window functions, otimização de queries, agregações em escala).
-
Experiência com Athena e bancos relacionais de alta volumetria (PostgreSQL ou similares).
O que te oferecemos
Atuamos em um modelo de trabalho remoto por padrão, priorizando a sua liberdade e responsabilidade. Além disso, proporcionamos:
Carreira
- Liberdade para trabalhar de onde quiser
- Horários flexíveis
- Auxílio Educação
- Ferramenta própria de desenvolvimento de carreira
- Guildas internas e grupos de estudo e interesse
Saúde e bem-estar
- Plano de saúde
- Plano odontológico
- Parceria na compra de medicamentos
- Telemedicina disponível 24x7
- Terapia online gratuita
- Wellhub
- Licença maternidade estendida
- Licença paternidade estendida
- CAZ – Central de Atendimento a zuppers
Conforto financeiro
- Vale-refeição e alimentação
- Seguro de vida
- Vale-transporte
- Auxílio home office
- Auxílio Creche
- Auxílio plano telefônico
- Participação em Lucros e Resultados
Crie um alerta de vaga
Tem interesse em construir sua carreira na Zup Innovation? Receba oportunidades futuras enviadas diretamente para seu e-mail.
Candidatar a esta vaga
*
indica um campo obrigatório