Resumo da posição:
Procuramos um engenheiro de dados altamente qualificado e experiente para se juntar à nossa equipa. O engenheiro de dados será responsável pela conceção, desenvolvimento e manutenção de sistemas e pipelines de dados escaláveis. Esta função é crucial para reunir conjuntos de dados complexos, melhorar os processos internos através da automatização e otimizar a infraestrutura de dados para obter escalabilidade e eficiência. O candidato ideal trabalhará em estreita colaboração com cientistas de dados, analistas e outras partes interessadas para apoiar iniciativas de análise de dados, business intelligence e IA, garantindo uma elevada qualidade e integridade dos dados em toda a organização.
Detalhes do trabalho:
- Segunda a sexta-feira | Turno noturno
- Trabalhar a partir de casa
Responsabilidades:
- Conceber, desenvolver e manter pipelines e sistemas de dados escaláveis.
- Reunir conjuntos de dados grandes e complexos que satisfaçam os requisitos comerciais funcionais e não funcionais.
- Identificar, conceber e implementar melhorias nos processos internos: automatizar processos manuais, otimizar a entrega de dados e redesenhar a infraestrutura para uma maior escalabilidade.
- Construir a infraestrutura necessária para otimizar a extração, transformação e carregamento (ETL) de dados de várias fontes de dados utilizando tecnologias SQL e Azure.
- Desenvolver e manter a arquitetura e os sistemas de dados para apoiar a análise de dados, a inteligência empresarial e as iniciativas de IA.
- Colaborar com cientistas de dados, analistas e outras partes interessadas para ajudar com questões técnicas relacionadas com dados e apoiar as suas necessidades de infra-estruturas de dados.
- Assegurar a qualidade e a integridade dos dados, efectuando a limpeza, a validação e a análise dos dados.
- Monitorizar e resolver problemas de desempenho e fiabilidade do pipeline de dados.
Requisitos:
- Licenciatura em Ciências Informáticas, Engenharia ou numa área relacionada.
- Experiência comprovada como engenheiro de dados ou numa função semelhante.
- Sólidos conhecimentos de SQL e experiência com bases de dados relacionais (por exemplo, MySQL, PostgreSQL).
- Experiência com ferramentas e estruturas de grandes volumes de dados (por exemplo, Hadoop, Spark, Kafka).
- Proficiência em linguagens de programação como Python, Java ou Scala.
- Vasta experiência com os serviços de nuvem do Azure, incluindo o Azure Data Factory, o Azure Databricks e o Azure Synapse Analytics.
- Familiaridade com soluções de armazenamento de dados, nomeadamente Microsoft Fabric.
- Forte capacidade de resolução de problemas e atenção aos pormenores.
- Excelentes capacidades de comunicação e colaboração.
- Experiência em análise de dados e IA, incluindo visualização de dados, análise estatística, modelação preditiva e aprendizagem automática.