Engenheiro de Dados: Avançando a Plataforma de Dados
O desafio está em elevar a maturidade da nossa plataforma de dados, tornando-a mais eficiente e segura.
Requisitos:
* Otimizar clusters, jobs e pipelines para melhorar o rendimento.
* Definir e aplicar governação e permissões com Unity Catalog e Terraform para garantir a integridade dos dados.
* Apoiar a adoção de novas funcionalidades como Delta Live Tables, DABs e Gestão de Custos para aumentar a produtividade.
* Monitorizar performance e ajustar estratégias com Grafana e ferramentas internas.
* Suportar a equipe na afinação de queries, PySpark e workloads para otimizar o processamento.
* Evoluir para o ecossistema de streaming (Structured Streaming, Autoloader, Kafka) para manter a infraestrutura atualizada.
Benefícios: Este é um oportunidade de se desenvolver dentro de uma empresa que valoriza a inovação e a excelência em dados. Através desta posição, você contribuirá diretamente para melhorar a experiência do usuário.
Outros: Somos uma equipe apaixonada por tecnologia e busca por colaboradores que compartilhem essa paixão. Nosso ambiente é dinâmico e estimula a criatividade e a resolução de problemas.