Vaga de Administrador
Descrição Geral:Resumo:
Brasília-Df
First decision
Link da vaga: (informação confidencial) rutei....- Código: 98741
1 vaga - 3761 views
#azure
#administrador
#dados
#dba
Quero me candidatar
Descrição:
Descrição:
Buscamos um administrador de dados para integrar nossa equipe, com experiência em criação e manutenção de pipelines utilizando microsoft fabric, incluindo a utilização de componentes como data factory, workflows e lakehouses. O candidato ideal terá conhecimento tanto em microsoft fabric quanto em outras ferramentas como databricks ou similares, sendo o ambiente principal microsoft fabric.Experiência com plataformas de dados como power bi e palantir será um diferencial.
As responsabilidades incluem a criação de pipelines para extração de dados de múltiplas fontes (como apis, oracle, sql server, entre outras) e integração em um sistema de dados organizado em camadas bronze, prata e ouro no onelake e datalake.Além disso, o uso de ferramentas como apache airflow, rabbitmq e rancher para o controle de nós de serviços também será parte do dia a dia.
Responsabilidades:
Apoiar na criação e manutenção de pipelines de etl para a extração, transformação e carga de dados.Participar da gestão da arquitetura de dados e evolução dos projetos de datalake e onelake.
Propor melhorias contínuas na arquitetura de dados e na qualidade da informação.
Apoiar na criação, análise e validação de artefatos relacionados a bases de dados.
Eliminar redundâncias e garantir a integridade e qualidade dos dados.
Participar ativamente na migração de dados (mesmo entre sgbds diferentes).
Validar manuais de implantação e scripts sql.
Auxiliar na criação de modelos de dados utilizando modelos estrela e práticas de criação de dimensões e fatos.
Requisitos:
Experiência com ferramentas: microsoft fabric ou databricks e apache airflow.
Conhecimento em python para etl (pandas, sparkdataframe).Experiência com formatos de armazenamento como delta e parquet, além de conceitos de particionamento e compactação.
Microsoft fabric (workspaces, pipelines, lakehouses, notebooks, sparkjobs) ou ferramentas similares como databricks.
Conhecimento em power bi ou fabric será considerado um diferencial.
Estrutura de dados: experiência no tratamento de dados estruturados, semiestruturados e não estruturados.Governança de dados: familiaridade com catálogos de dados, ciclo de vida e testes de qualidade.
Graduação em tecnologia da informação ou áreas correlatas, com especialização, mestrado ou doutorado sendo um diferencial.
Desejável:
Experiência com apache airflow e rabbitmq para controle de fluxos e mensageria.Conhecimentos avançados em sql/nsql
Conhecimentos
Em etl: nifi, ssis, pentaho,Requisitos:
Nível (senioridade): senior.
Vaga urgente.