Aquarela Analytics | Pessoa Engenheira de Dados Pleno
Aquarela Analytics Pessoa Engenheira de Dados Pleno

Pessoa Engenheira de Dados Pleno

Código da Vaga: 2391580

Cidade: Florianópolis, SC (Trabalho remoto)

Descrição

Na Aquarela temos o propósito de aumentar a inteligência do mundo. Para isso, traduzimos problemas complexos de maneira inovadora e assertiva para soluções e produtos estratégicos para nossos clientes. O desafio que te espera aqui é o de trabalhar com a extração, transformação e carga de grandes volumes de dados e de nos auxiliar a projetar, implementar e suportar datalakes robustos e totalmente baseados em tecnologias open-source.

Atividades:

  • Arquitetar as soluções existentes para garantir um código legível e de fácil manutenção;

  • Trabalhar com grandes volumes de dados que serão utilizados para alimentação de um DataLake;

  • Manipular e integrar dados de diferentes fontes;

  • Criar e aperfeiçoar os processos e rotina de ETL;

  • Trabalhar na construção de APIs;

  • Planejar e conduzir processo de migração de data warehouses e data lakes;

  • Implementar ferramentas e automatizar tarefas para atender a área;

  • Projetar e criar pipelines de dados confiáveis, trabalhar com fluxos completos de manipulação de dados desde a extração até a documentação;

  • Alinhar as expectativas do time de desenvolvimento com o de ciência de dados;

  • Interagir com o time de infraestrutura no desenvolvimento de soluções;

  • Contribuir com os processos da área, mediante a execução de todos os atos inerentes e demais tarefas correlatas às funções, solicitadas pelo responsável da área.

Requisitos:

  • Programação Python;

  • Conhecimentos consolidados em Bancos de Dados;

  • Experiência em ferramentas de ETL e integração de dados;

  • Conhecimento em SQL;

  • Conhecimento das dinâmicas de sistemas open-source;

  • Boas práticas de desenvolvimento (Git, CI/CD);

  • API RestFull;

  • Docker;

  • Experiência com soluções paralelismo e sistemas distribuídos (Spark, Hadoop);

  • Airflow;

  • Experiência com sistema de arquivos distribuídos (HDFS).

  • Apache Hive

Desejáveis:

  • Bancos de Dados NoSQL;

  • Elastic Search;

  • Apache Kafka;

  • Apache Solr;

  • Orquestradores de Pipeline (Kafka, NIFI, outros).

#LI-Remote


Características

Tipo de Contratação

Tempo integral

Remuneração

Negociável

Outras Características

Trabalho remoto


Esta vaga não está recebendo novos candidatos no momento

Temporariamente não estamos permitindo novas candidaturas.

Se houver alguma alteração, “Pessoa Engenheira de Dados Pleno” aparecerá na nossa lista de vagas abertas: