Description

Infosys Brasil está em busca de profissionais com o perfil de Engenheiro de Dados Junior foco em Python para juntar-se ao nosso time.

Qualificações requeridas:

• Domínio avançado de Python, com experiência em manipulação de dados, chamadas de APIs e automações.
• Bons conhecimentos em Dot net
• Experiência sólida com Apache Spark e PySpark para processamento distribuído de dados.
• Conhecimento em Apache Atlas e PyApacheAtlas, incluindo modelagem de metadados e integração com ferramentas de governança.
• Vivência com Azure Data Lake, Azure Purview e Databricks.
• Experiência com autenticação via Service Principal, ClientSecretCredential e DefaultAzureCredential.
• Familiaridade com bibliotecas como requests, json, csv, adal, e azure.storage.
• Capacidade de lidar com exceções como HTTPError e Timeout.
• Desejável conhecimento em definição de entidades e processos via AtlasEntity, AtlasProcess, EntityTypeDef, RelationshipTypeDef.

Principais atividades e responsabilidades:

• Desenvolver e manter pipelines de dados escaláveis e eficientes utilizando Python e PySpark.Integrar e consumir APIs externas para enriquecimento de dados.
• Implementar e gerenciar processos de catalogação e governança de dados com Apache Atlas e Azure Purview.
• Automatizar processos de ingestão e transformação de dados em ambientes cloud (Azure).
• Criar e manter documentação técnica dos processos e estruturas de dados.
• Trabalhar em colaboração com times de arquitetura, engenharia e governança de dados.

Informações adicionais:
Tipo de trabalho: CLT, Horários flexíveis.
Pacote de benefícios: Vale Transporte, Vale Refeição, Auxílio Creche, Seguro de Vida, Auxílio Funerário, Convênio Médico e Odontológico.
Carreira: Atuação Global em clientes e/ou projetos nacionais e internacionais, possibilidade de movimentação de carreira internacional.