Papel na empresa:
Construir pipeline de dados entregando modelo de dados nas camadas Bronze, Silver, Gold para o time de negócios ter capacidade de analisar dados e tomar decisoes.Responsabilidades:
Escrever consultas SQL complexas para realizar tarefas como selecionar, inserir, atualizar e excluir dados de várias tabelas.
Construir pipeline de Dados utilizando Azure Data Factory.
Construir nooteboks em Pyton e SQL utilizando Databricks.
Construir Modern Data Warehouse com Synpase Analytics (Serveless Dedicated).
Desenvolver Data Governance utilizando Unity Catalog ou Purview.
Trabalhar com ingestões de dados em Datalakehouse.
Definir e explicar conceitos Azure Data Factory, Synapse, Databricks e Fabric de forma crítica.
Escrever consultas SQL complexas para realizar tarefas como selecionar, inserir, atualizar e excluir dados de várias tabelas.
Criar e manipular dataframes e RDDs em PySpark de forma eficiente e escalável.
Usar junções de vários tipos, como junções internas, junções externas e junções naturais.
Usar subqueries de vários tipos, como subqueries de seleção, subqueries de atualização e subqueries de exclusão.
Usar funções agregadas de vários tipos, como funções de agregação de agregação.
Usar SQL com grandes conjuntos de dados.
Usar SQL para otimizar o desempenho e a escalabilidade de consultas e soluções de dados.
Usar SQL para resolver problemas complexos de dados.
Usar PySpark para realizar análise de dados exploratória (EDA) de forma eficiente e escalável.
Usar PySpark para gerar modelos de aprendizado de máquina de forma eficiente e escalável.
Usar PySpark para otimizar o desempenho de aplicações de processamento de dados.
Definir e explicar conceitos de DevOps de maneira abrangente e crítica.
Utilizar ferramentas de CI/CD para automação eficiente.
Gerenciar infraestrutura como código, comunicar conceitos eficazmente e liderar projetos de DevOps.Requisitos:
Inglês para conversacão nível B2-C1 (Pós intermediário e Avancado).
Identificar os principais requisitos de negócios para um modelo de dados complexo e desafiador.
Alto conhecimento em arquitetura de Big Data end-to-end.
Capacidade de projetar arquitetura de Big Data (Infraestrutura, Ingestão, Armazenamento, Processamento e Serving).
Implementar um modelo de dados complexo e desafiador em um banco de dados relacional ou não relacional.
Realizar testes de integridade de dados para garantir que o modelo de dados está funcionando corretamente.
Usar ferramentas de modelagem de dados para projetar e implementar modelos de dados.
Documentar modelos de dados para facilitar a comunicação com outras partes interessadas.
Projetar e implementar modelos de dados para lidar com grandes conjuntos de dados.
Projetar e implementar modelos de dados para lidar com dados em tempo real.
Projetar e implementar modelos de dados para lidar com dados de várias fontes.
Experiëncia em liderar engenheiros de dados JR e PL.Diferenciais:
Projetos de Big Data internacional
Liderar projetos de BI complexos e desafiadores.
Compreensão detalhada dos conceitos de Big Data e computação em nuvem, demonstrando pensamento crítico.
Experiência em projetos complexos de DB, DW, lake e lakehouse, incluindo segurança e soluções distribuídas.
Experiência em projetos complexos de ETL, liderando equipes de engenheiros de dados.
Habilidade comprovada em resolver problemas complexos de dados de forma independente e eficiente.
Adaptação rápida a mudanças e tomada de decisões informadas em ambientes dinâmicos.Nossos Incentivos:
1. Auxílio médico;
2. Gympass;
3. Auxílio terapia;
4. Teleatendimento em Nutrição;
5. Seguro de vida;
6. Day off no dia do aniversário;
7. Parceria com instituições de ensino com desconto em cursos (Anhanguera e FIAP);
8. Gameficação interna (troque ações por prêmios);
9. Acesso a nossa plataforma de cursos SideSchool;
10. English Club;
11. Reembolso + Bônus por certificação.Entre outros
Atuação híbrida 1x na semana em São Paulo – Região Vila Cordeiro. Valorizamos cada voz e cada pessoa, porque sabemos que a diversidade nos torna mais inovadores e fortes.

Empresa: DATASIDE SOLUCOES EM DADOS LTDA

Localização: São Paulo – SP

Candidate-se