Empresa:
IT People Innovation
Descrição da Função
Estamos a contratar: Engenheiro de Dados - Databricks (Performance & Segurança)
Procuramos um(a)
Engenheiro(a) de Dados especializado(a) em Databricks
, com forte foco em
performance, segurança e governação da plataforma de dados
. Esta função é ideal para quem gosta de trabalhar perto da infraestrutura, otimização de workloads e evolução tecnológica, incluindo
streaming de dados
.
Principais responsabilidades:
Otimização de performance de jobs, clusters e cargas de trabalho em Databricks
Implementação de governação, segurança e permissões com
Unity Catalog e Terraform
Monitorização de performance com
Grafana
e ferramentas internas
Suporte e otimização de jobs e queries SQL para a equipa
Adoção de novas funcionalidades do Databricks (Delta Live Tables, DABs, otimização de custos)
Evolução para soluções de
streaming
com Structured Streaming, Autoloader e
Kafka
?
Stack tecnológica:
Azure Databricks ADLS Gen2 Airflow (AKS) Terraform SQL Python PySpark Grafana Kafka GitLab Talend
Perfil pretendido:
Experiência sólida em
Databricks, PySpark e SQL
Conhecimentos de
governação de dados, performance e controlo de custos
Experiência com
Unity Catalog, Terraform e DABs
(valorizado)
Interesse ou experiência em
Kafka e streaming
Perfil proativo, curioso, colaborativo e orientado para a qualidade
Oferecemos integração num
ambiente tecnológico desafiante
, com forte foco em inovação, estabilidade da plataforma e crescimento profissional.
Interessado(a)? Envia-nos a tua candidatura!
Observações
Not Specified (Portugal)
ENVIAR CANDIDATURA