Vaga: Senior Databricks Specialist + Python
Procuramos um Senior Databricks Specialist + Python para desenhar, evoluir e governar uma biblioteca Python comum e reutilizável, que servirá de base a pipelines batch e streaming numa Arquitetura Medallion (Bronze, Silver e Gold).
Principais Responsabilidades
Desenvolvimento e manutenção de uma biblioteca Python partilhada em Databricks
Criação de módulos reutilizáveis em PySpark para pipelines batch e streaming
Definição e aplicação de boas práticas de código, testes, documentação e versionamento
Participação ativa em equipas Scrum (cerimónias Agile)
Implementação e melhoria de pipelines CI/CD (GitLab e Databricks Asset Bundles)
Integração de logging, monitorização e qualidade de dados (Grafana, DQX)
Colaboração próxima com engenheiros, Product Owners e DataOps
Requisitos
+10 anos de experiência profissional em Python
+5 anos de experiência prática com Databricks e PySpark em produção
Experiência sólida em desenho de bibliotecas ou frameworks partilhados
Forte conhecimento de engenharia de software (OOP, design patterns, testes, CI/CD)
Experiência com processamento de dados batch e streaming
Conhecimento de Arquitetura Medallion
Experiência em ambientes Agile/Scrum
Bons conhecimentos de inglês (oral e escrito)
Valorizamos
Certificações Databricks e/ou Azure
Experiência em plataformas partilhadas usadas por múltiplas equipas
Trabalho em contextos internacionais ou distribuídos
Perfil
Forte capacidade de comunicação e colaboração
Sentido de responsabilidade e melhoria contínua
Confortável com ambiguidade e requisitos em evolução
Espírito de equipa e foco na qualidade técnica
Modelo de Trabalho
Regime maioritariamente remoto
Interessado/a em construir soluções de dados robustas e escaláveis num ambiente tecnológico avançado? Candidata-te!