Desenvolvedor Java/Spark Pleno
Curtiu? Confira esta vaga e inscreva-se para ser #EISAPlayer: Responsabilidades e atribuições Desenvolver e otimizar pipelines de dados em Azure Databricks com PySpark e Spark.
Implementar soluções de streaming para leitura e escrita em Delta Lake.
Processar e estruturar dados provenientes de arquivos XML, utilizando schemas XML.
Garantir a governança e segurança dos dados utilizando Unity Catalog.
Identificar e resolver gargalos de performance em fluxos de dados e tarefas do Spark.
Colaborar com equipes multidisciplinares para integração de dados em ambiente de nuvem.
Automatizar deploys e monitorar pipelines de dados.
Aplicar conhecimentos de Java para desenvolver ou complementar soluções necessárias no pipeline de dados.
Requisitos e qualificações Formação superior em Tecnologia: Engenharia da Computação, Análise de Sistemas, Ciência da Computação ou áreas afins.
Experiência sólida com Spark, incluindo desenvolvimento e otimização de pipelines.Conhecimento em processamento de dados em filas com Delta Lake.
Habilidades em Git e integração com pipelines de CI/CD.
Conhecimento intermediário ou avançado em Java, aplicado a soluções de dados.
Desejável: Experiência com Azure Databricks.
Conhecimento de Unity Catalog para gestão e governança de dados.Experiência com outros formatos de dados, como Parquet e JSON.
Familiaridade com integrações em filas (Event Hubs, Kafka).
Conhecimento em otimização de pipelines Spark baseados em filas, incluindo: Uso de watermarks para controle de estado e latência em operações stateful.
Estratégias de batching e auto-scaling para otimizar o processamento de dados em filas.
Monitoramento e ajuste de performance em pipelines Spark de longa execução.
Habilidades em SQL avançado.
Conhecimento em governança de dados e implementação de políticas de acesso baseadas em colunas.
Informações adicionais Como EISAPlayer você terá benefícios incríveis! Dá só uma espiadinha: Vale Refeição Vale Alimentação Auxílio Home Office Assistência Médica Assistência Odontológica Seguro de Vida Bônus de Férias PLR Previdência Privada Cooperativa de Crédito Licença Maternidade e Paternidade estendida Auxílio Creche Programa de incentivo a saúde Auxílio Academia Programa de incentivos educacional Horário Flexível Dica: Para ter maior chance de sucesso, é importante que você preencha todas as etapas.
E ai, curtiu? Então se inscreva! #vempraEISA Se não for o seu perfil, compartilhe com seus amigos.