Data Engineer - Intellibrand
São Paulo - SP
DESCRIÇÃO DA VAGA
Trabalhar com o produto, tecnologia, analytics, através da criação,
versionamento e manutenção de workflows e pipelines para consumo,
carregamento e processamento de dados, utilizando diferentes fontes de
dados e aplicando as melhores práticas para DataOps e engenharia de
dados.
Principais Responsabilidades
- Suporte na criação e manutenção em um ambiente de big data utilizando
práticas de devops e dataops
- Utilização de boas práticas e conhecimento dos principais design patterns
de engenharia de dados
- Criação, controle de versão e manutenção de workflows para consumo,
carregamento e processamento de dados
- Criação de scripts de ETL de dados
- Criação e manutenção de banco de dados para análises e relatórios
- Coletar, limpar, combine e processar dados de diferentes fontes
- Expertise em técnicas de Data Quality e ferramentas
REQUISITOS DA VAGA
- Programação: SQL avançado, domínio em Python ou Scala
Spark, PySpark ou Spark SQL
- Conhecimento básico de ambientes de dados nas clouds AWS ou Azure
- Conhecimento em bancos de dados relacionais e não relacionais
- Experiência com processamento de dados em batch e streaming
- Experiência em ferramentas Big Datacomo Hadoop, Spark, Hive, Kafka,
Airflow, Databricks
- Noções de kubernetes e docker
- Bons conhecimentos em arquitetura de big data
- Conhecimento em Git
- Conhecimento em web scrap (JavaScript, HTML, JSON, YAML)
- Ferramentas de Data Quality como AWS Deequ ou equivalentes
BENEFÍCIOS DA VAGA
VR;
Auxílio Médico;
Auxílio Odontológico;
Seguro de Vida.
Trabalho totalmente remoto.
Obs: Os benefícios não são descontados em folha.
INFORMAÇÕES ADICIONAIS
Contrato: CLT