Desenvolvedor de Dados é responsável por eleva a maturidade da plataforma de dados.
* Otimizar clusters, jobs e pipelines Databricks para uma maior eficiência;
* Definir e aplicar governação, segurança e permissões com Unity Catalog e Terraform para garantir privacidade e acesso controlado aos dados;
* Apoiar a adoção de novas funcionalidades (Delta Live Tables, DABs) para melhorar a escalabilidade e custo-efetividade;
* Monitorizar performance com Grafana e ferramentas internas para identificar oportunidades de melhoria;
* Suportar a equipa na afinação de queries, PySpark e workloads para garantir respostas precisas em tempo real;
* Evoluir para o ecossistema de streaming (Structured Streaming, Autoloader, Kafka) para capturar dados em tempo real e armazená-los de forma eficiente.
Fornecer suporte técnico e colaborar com a equipe em várias etapas do desenvolvimento de soluções de dados.
Requisitos:
* Otimização de clusters: habilidade para otimizar clusters, jobs e pipelines Databricks para uma maior eficiência;
* Governança de dados: conhecimento de Unity Catalog e Terraform para definir e aplicar governação, segurança e permissões;
* Adoção de novas tecnologias: habilidade para apoiar a adoção de novas funcionalidades como Delta Live Tables e DABs;
* Análise de desempenho: habilidade para monitorizar performance com Grafana e ferramentas internas;
* Afinação de queries: habilidade para suportar a equipa na afinação de queries, PySpark e workloads;
* Streaming de dados: habilidade para evoluir para o ecossistema de streaming (Structured Streaming, Autoloader, Kafka).
Vantagens:
Candidato selecionado receberá treinamento contínuo para garantir que suas habilidades estejam atualizadas com as últimas tendências de tecnologia.
Outras informações:
Candidato deve ter experiência em trabalhar em equipe e ser capaz de se adaptar a diferentes projetos e prioridades.