Estamos a contratar: Engenheiro de Dados – Databricks (Performance & Segurança)
Procuramos um(a)
Engenheiro(a) de Dados especializado(a) em Databricks
, com forte foco em
performance, segurança e governação da plataforma de dados
. Esta função é ideal para quem gosta de trabalhar perto da infraestrutura, otimização de workloads e evolução tecnológica, incluindo
streaming de dados
.
Principais responsabilidades:
* Otimização de performance de jobs, clusters e cargas de trabalho em Databricks
* Implementação de governação, segurança e permissões com
Unity Catalog e Terraform
* Monitorização de performance com
Grafana
e ferramentas internas
* Suporte e otimização de jobs e queries SQL para a equipa
* Adoção de novas funcionalidades do Databricks (Delta Live Tables, DABs, otimização de custos)
* Evolução para soluções de
streaming
com Structured Streaming, Autoloader e
Kafka
Stack tecnológica:
Azure Databricks | ADLS Gen2 | Airflow (AKS) | Terraform | SQL | Python | PySpark | Grafana | Kafka | GitLab | Talend
Perfil pretendido:
* Experiência sólida em
Databricks, PySpark e SQL
* Conhecimentos de
governação de dados, performance e controlo de custos
* Experiência com
Unity Catalog, Terraform e DABs
(valorizado)
* Interesse ou experiência em
Kafka e streaming
* Perfil proativo, curioso, colaborativo e orientado para a qualidade
Oferecemos integração num
ambiente tecnológico desafiante
, com forte foco em inovação, estabilidade da plataforma e crescimento profissional.
Interessado(a)? Envia-nos a tua candidatura