Pessoa Engenheira de Dados Pleno

Na Aquarela temos o propósito de aumentar a inteligência do mundo. Para isso, traduzimos problemas complexos de maneira inovadora e assertiva para soluções e produtos estratégicos para nossos clientes. O desafio que te espera aqui é o de trabalhar com a extração, transformação e carga de grandes volumes de dados e de nos auxiliar a projetar, implementar e suportar datalakes robustos e totalmente baseados em tecnologias open-source.

Atividades:

• Arquitetar as soluções existentes para garantir um código legível e de fácil manutenção;

• Trabalhar com grandes volumes de dados que serão utilizados para alimentação de um DataLake;

• Manipular e integrar dados de diferentes fontes;

• Criar e aperfeiçoar os processos e rotina de ETL;

• Trabalhar na construção de APIs;

• Planejar e conduzir processo de migração de data warehouses e data lakes;

• Implementar ferramentas e automatizar tarefas para atender a área;

• Projetar e criar pipelines de dados confiáveis, trabalhar com fluxos completos de manipulação de dados desde a extração até a documentação;

• Alinhar as expectativas do time de desenvolvimento com o de ciência de dados;

• Interagir com o time de infraestrutura no desenvolvimento de soluções;

• Contribuir com os processos da área, mediante a execução de todos os atos inerentes e demais tarefas correlatas às funções, solicitadas pelo responsável da área.

Requisitos:

• Programação Python;

• Conhecimentos consolidados em Bancos de Dados;

• Experiência em ferramentas de ETL e integração de dados;

• Conhecimento em SQL;

• Conhecimento das dinâmicas de sistemas open-source;

• Boas práticas de desenvolvimento (Git, CI/CD);

• API RestFull;

• Docker;

• Experiência com soluções paralelismo e sistemas distribuídos (Spark, Hadoop);

• Airflow;

• Experiência com sistema de arquivos distribuídos (HDFS).

• Apache Hive

Desejáveis:

• Bancos de Dados NoSQL;

• Elastic Search;

• Apache Kafka;

• Apache Solr;

• Orquestradores de Pipeline (Kafka, NIFI, outros).

#LI-Remote