Pessoa Engenheira de Dados Pleno

Na Aquarela temos o propósito de aumentar a inteligência do mundo. Somos uma consultoria especializada em Analytics, Inteligência Artificial, Machine Learning e GenAI, traduzindo problemas complexos de maneira inovadora e assertiva para soluções e produtos estratégicos para nossos clientes. Aqui, você irá trabalhar com extração, transformação e carga de grandes volumes de dados em diversos clientes e contextos tecnológicos, adaptando-se rapidamente a diferentes stacks e ambientes, contribuindo para a construção e manutenção de Data Lakes e Data Warehouses robustos, utilizando tecnologias modernas e dando suporte a projetos de AI/ML.

Atividades:

• Desenvolver e manter pipelines de dados confiáveis;

• Criar e otimizar processos de ETL/ELT;

• Manipular e integrar dados de diferentes fontes e sistemas;

• Contribuir para a modelagem de dados e arquitetura de soluções;

• Trabalhar com grandes volumes de dados em Data Lakes e Data Warehouses;

• Implementar boas práticas de qualidade e documentação de dados;

• Colaborar com times de Data Science, Analytics e GenAI;

• Automatizar tarefas e processos repetitivos;

• Participar de code reviews e contribuir com melhorias;

• Documentar soluções para facilitar handover e manutenção.

Requisitos:

• Conhecimento avançado em Linguagem SQL (PostgreSQL, MySQL, SQL Server, BigQuery, Trino, Presto, Apache Drill, Athena);

• Conhecimento intermediário/avançado em linguagens de programação como Python, Scala, Java e R;

• Conhecimento intermediário em ferramentas de versionamento e GitOps (Git, Github, GitLab, CI/CD);

• Conhecimento intermediário em Linux;

• Experiência com bancos de dados relacionais e NoSQL (PostgreSQL, MongoDB, Redis, etc);

• Conhecimento intermediário em modelagem de dados Dimensional (Kimball, Star Squema, Snowflake Schema), Medallion (Bronze, Silver e Gold), Data Vault e Inmon;

• Conhecimento básico/intermediário em containerização com Docker;

• Conhecimento básico/intermediário em orquestração de pipelines com Airflow, Dagster e Prefect;

• Conhecimento básico em Cloud Computing (AWS, GCP ou Azure);

• Conhecimento básico em plataformas de dados como Databricks e Snowflake;

• Experiência com metodologias ágeis (Scrum ou Kanban).

Desejáveis:

• Conhecimento em processamento distribuído (Spark, PySpark, Trino, AWS EMR, Azure Synapse, Google Dataflow);

• Conhecimento em formatos de arquivos otimizados (Parquet, Avro, Delta, Iceberg)

• Conhecimento em transformação de dados (dbt, AWS Glue, Azure Data Factory)

• Noções de Data Quality;

• Conhecimento em Object Storage (S3, GCS, Azure Blob Storage, Azure Data Lake);

• Conhecimento em sistemas de arquivos distribuídos (HDFS, MinIO);

• Conhecimento em serviços de dados gerenciados (AWS RDS, Azure SQL Database, Cloud SQL);

• Noções de Kubernetes (EKS, AKS, GKE);

• Conhecimento em ferramentas de analytics local (DuckDB, Polars);

• Conhecimento em ferramentas de codificação assistida por GenAI (GitHub Copilot, Cursor, Codeium, etc.).

#LI-Remote