logo

Data Engineer - Intellibrand

São Paulo - SP


DESCRIÇÃO DA VAGA

Trabalhar com o produto, tecnologia, analytics, através da criação,
versionamento e manutenção de workflows e pipelines para consumo,
carregamento e processamento de dados, utilizando diferentes fontes de
dados e aplicando as melhores práticas para DataOps e engenharia de
dados.

Principais Responsabilidades

- Suporte na criação e manutenção em um ambiente de big data utilizando
práticas de devops e dataops
- Utilização de boas práticas e conhecimento dos principais design patterns
de engenharia de dados
- Criação, controle de versão e manutenção de workflows para consumo,
carregamento e processamento de dados
- Criação de scripts de ETL de dados
- Criação e manutenção de banco de dados para análises e relatórios
- Coletar, limpar, combine e processar dados de diferentes fontes
- Expertise em técnicas de Data Quality e ferramentas

 

 

REQUISITOS DA VAGA

- Programação: SQL avançado, domínio em Python ou Scala
Spark, PySpark ou Spark SQL
- Conhecimento básico de ambientes de dados nas clouds AWS ou Azure
- Conhecimento em bancos de dados relacionais e não relacionais
- Experiência com processamento de dados em batch e streaming
- Experiência em ferramentas Big Datacomo Hadoop, Spark, Hive, Kafka,
Airflow, Databricks
- Noções de kubernetes e docker
- Bons conhecimentos em arquitetura de big data
- Conhecimento em Git
- Conhecimento em web scrap (JavaScript, HTML, JSON, YAML)
- Ferramentas de Data Quality como AWS Deequ ou equivalentes

BENEFÍCIOS DA VAGA

VR;
Auxílio Médico;
Auxílio Odontológico; 
Seguro de Vida.                                                                                                                                                 

Trabalho totalmente remoto.                                                                                                                           

Obs: Os benefícios não são descontados em folha.

INFORMAÇÕES ADICIONAIS

Contrato: CLT