Pessoa Engenheira de Dados (Plataforma) Sênior

Atividades:

• Arquitetar as soluções existentes para garantir um código legível e de fácil manutenção;

• Trabalhar com grande volume de dados que serão utilizados para alimentação de Data Lakehouse e Data Warehouse;

• Manipular e integrar dados de diferentes fontes, com diferentes sistemas;

• Criar e aperfeiçoar os processos e rotina de ETL, ELT e EtLT;

• Planejar e conduzir o processo de migração de Data Warehouses e Data Lakehouses;

• Implementar ferramentas e automatizar tarefas para atender as áreas de dados;

• Projetar e criar pipelines de dados confiáveis, trabalhar com fluxos completos de manipulação de dados, desde a extração até a documentação;

• Alinhar as expectativas do time de desenvolvimento com o de ciência de dados e analistas de dados;

• Interagir com o time de infraestrutura no desenvolvimento de soluções;

• Contribuir com os processos da área, mediante a execução de todos os atos inerentes e demais tarefas correlatas às funções, solicitadas pelo responsável da área.

Requisitos:

• Experiência em engenharia de software;

• Boas práticas em programação e facilidade de uso com OOP e Design Patterns;

• Conhecimento em Bancos de Dados;

• Conhecimento em modelagem de dados;

• Conhecimento em arquitetura de dados multi-zonas (Medallion Architecture);

• Experiência em ferramentas de ETL, ELT, EtLT e integração de dados;

• Experiência com Streaming de Dados;

• Conhecimento em SQL;

• Conhecimento em GitOps;

• Manipulação e criação de imagens Docker;

• Conhecimento em orquestração de containers com Kubernetes;

• Experiência com soluções de computação distribuídas como Spark,YARN e Trino;

• Conhecimento da ferramenta de orquestração e agendamento Apache Airflow;

• Experiência com sistema de arquivos distribuídos (HDFS, MinIO…);

• Conhecimento de formatos de tabelas Iceberg, Delta Lake;

• Conhecimento em alguma Cloud Computing (AWS, GCP ou Azure);

• Modelagem e transformação de dados com dbt (Data Build Tools);

• Conhecimento de sistemas operacionais baseados em Linux.

Será um diferencial:

• Vivência em Python;

• Bancos de Dados NoSQL;

• Apache Kafka e Flink;

• Monitoramento com Prometheus e Grafana;

• Domínio de alguma linguagem de programação fortemente tipada como Java ou C#;

• Conhecimento de contrato de dados (Data Contracts);

• Conhecimento do ecossistema Apache Hadoop;

• Conhecimento de frameworks de qualidade de dados como SODA ou Great Expectations.

#LI-Remote