Pessoa Engenheira de Dados Pleno
Código da Vaga: 2391580
Cidade: Florianópolis, SC (Trabalho remoto)
Descrição
Na Aquarela temos o propósito de aumentar a inteligência do mundo. Para isso, traduzimos problemas complexos de maneira inovadora e assertiva para soluções e produtos estratégicos para nossos clientes. O desafio que te espera aqui é o de trabalhar com a extração, transformação e carga de grandes volumes de dados e de nos auxiliar a projetar, implementar e suportar datalakes robustos e totalmente baseados em tecnologias open-source.
Atividades:
Arquitetar as soluções existentes para garantir um código legível e de fácil manutenção;
Trabalhar com grandes volumes de dados que serão utilizados para alimentação de um DataLake;
Manipular e integrar dados de diferentes fontes;
Criar e aperfeiçoar os processos e rotina de ETL;
Trabalhar na construção de APIs;
Planejar e conduzir processo de migração de data warehouses e data lakes;
Implementar ferramentas e automatizar tarefas para atender a área;
Projetar e criar pipelines de dados confiáveis, trabalhar com fluxos completos de manipulação de dados desde a extração até a documentação;
Alinhar as expectativas do time de desenvolvimento com o de ciência de dados;
Interagir com o time de infraestrutura no desenvolvimento de soluções;
Contribuir com os processos da área, mediante a execução de todos os atos inerentes e demais tarefas correlatas às funções, solicitadas pelo responsável da área.
Requisitos:
Programação Python;
Conhecimentos consolidados em Bancos de Dados;
Experiência em ferramentas de ETL e integração de dados;
Conhecimento em SQL;
Conhecimento das dinâmicas de sistemas open-source;
Boas práticas de desenvolvimento (Git, CI/CD);
API RestFull;
Docker;
Experiência com soluções paralelismo e sistemas distribuídos (Spark, Hadoop);
Airflow;
Experiência com sistema de arquivos distribuídos (HDFS).
Apache Hive
Desejáveis:
Bancos de Dados NoSQL;
Elastic Search;
Apache Kafka;
Apache Solr;
Orquestradores de Pipeline (Kafka, NIFI, outros).
#LI-Remote
Características
Tipo de Contratação
Tempo integral
Remuneração
Negociável
Outras Características
Trabalho remoto
Vaga Encerrada
Infelizmente esta vaga não está mais disponível.
Que tal conhecer nossas outras oportunidades?