Responsável pelo design, desenvolvimento e manutenção de pipelines de dados robustos e escaláveis, bem como pela gestão de grandes volumes de dados em ambiente tecnológico exigente.
A função terá como foco a configuração e implementação de processos de ingestão de dados em Cloud.
Responsabilidades principais:
- Configurar processos de ingestão de dados em Datalake Azure.
- Executar e monitorizar pedidos de novas ligações e acessos a repositórios de dados.
- Identificar riscos e problemas, propondo melhorias e correções.
- Garantir a qualidade, integridade e segurança dos dados.
- Projetar e implementar pipelines de dados eficientes e escaláveis em ambiente Big Data.
- Realizar otimizações e alterações em processos de ETL.
- Utilizar ferramentas e plataformas como Databricks, Azure e OpenShift para ingestão e processamento de dados.
- Programar em Python, Scala e SQL para manipulação de dados e desenvolvimento de soluções.
- Implementar pipelines e algoritmos com frameworks como Spark.
- Colaborar com equipas multidisciplinares para compreender e responder a necessidades de dados.
Requisitos:
- Experiência mínima de 2 anos em engenharia de dados com foco em soluções Big Data, preferencialmente em ambiente Cloud.
- Conhecimentos em Databricks, Azure, SQL, Scala, Spark, Python.
- Bom domínio de Swagger.
- Experiência prática no desenvolvimento de processos ETL e manipulação de grandes volumes de dados.
- Familiaridade com metodologias ágeis e práticas de DevOps.
- Elevada capacidade de resolução de problemas, organização e atenção ao detalhe.
Diferenciais valorizados:
- Conhecimento de tecnologias emergentes no ecossistema de Big Data.
- Experiência prévia na gestão de frameworks de ingestão de dados.
- Noções de Data Governance e Data Quality.
- Experiência em setores regulados (banca, seguros, telecomunicações).
- Perfil proativo, orientado a resultados, com forte espírito de colaboração.