at Capgemini
ConsultanciesPosted 4 days ago
No clicks
**Consultor Soluções Digitais III** @Capgemini - Design, develop, and maintain scalable data pipelines using PySpark on Databricks. - Integrate and process data using Apache Kafka in real-time. - Collaborate with data scientists, analysts, and software engineers to ensure data quality and availability. - Implement best practices for version control, testing, and documentation. - Monitor and optimize data pipeline performance and jobs. - Ensure data governance and security, adhering to internal policies and regulations. **Requirements:** - Proven experience with Databricks and Apache Spark, preferably with PySpark. - Advanced Kafka knowledge (data production and consumption in real-time). - Proficiency in Python, SQL, and cloud environments (Azure, AWS, or GCP). - Experience with CI/CD, Git versioning, and DevOps practices applied to data. - Knowledge in data modeling, partitioning, and query optimization. - Flexible work models: home office, hybrid, or on-site, depending on project needs. - Diverse and inclusive environment; roles open to all.
- Compensation
- Not specified
- City
- Not specified
- Country
- Brazil
Currency: Not specified
Full Job Description
Você é apaixonado(a) por tecnologia, inovação e quer fazer parte de um ambiente inclusivo, colaborativo e em constante evolução? Então essa oportunidade é para você!
Na Capgemini, valorizamos o equilíbrio entre vida pessoal e profissional. Por isso, oferecemos modelos de trabalho flexíveis, que podem variar entre home office, híbrido ou presencial, de acordo com as necessidades do projeto. Nosso objetivo é proporcionar a melhor experiência para você, respeitando seu estilo de vida e promovendo bem-estar.
Responsabilidades:
- Projetar, desenvolver e manter pipelines de dados escaláveis e eficientes usando PySpark no Databricks.
- Integrar e processar dados utilizando Apache Kafka.
- Colaborar com cientistas de dados, analistas e engenheiros de software para garantir a qualidade e disponibilidade dos dados.
- Garantir boas práticas de versionamento, testes e documentação de código.
- Monitorar e otimizar o desempenho de pipelines e jobs de dados.
- Atuar na governança e segurança dos dados em conformidade com políticas internas e regulatórias.
Qualificações:
- Experiência sólida com Databricks e Apache Spark (preferencialmente com PySpark).
- Conhecimento avançado em Apache Kafka (produção e consumo de dados em tempo real).
- Experiência com linguagens de programação como Python e SQL.
- Familiaridade com ambientes de nuvem (Azure, AWS ou GCP).
- Conhecimento em CI/CD, versionamento com Git e práticas DevOps aplicadas a dados.
- Experiência com modelagem de dados, particionamento e otimização de queries.
Diversidade, Inclusão e Pertencimento
Na Capgemini, você pode ser quem você é. Valorizamos a diversidade em todas as suas formas e promovemos um ambiente inclusivo por meio de comitês como:
Women@Capgemini Empoderamento feminino e equidade de gênero.
Capgemini Black Representatividade e valorização da cultura negra.
LGBTQIA+@Capgemini, Capgemini Accessibility, entre outros.
Nosso compromisso é contínuo: somos reconhecidos pela GPTW, Bloomberg Gender Equality Index, EDGE e Ethisphere como uma das empresas mais éticas e inclusivas do mundo. Nossas vagas são para todas as pessoas, independentemente de cor, etnia, religião, idade, identidade de gênero, orientação sexual ou deficiência.
Desenvolvimento e Benefícios
Aqui, você é protagonista da sua carreira! Oferecemos:
Plano de carreira estruturado e trilhas personalizadas de aprendizado.
Universidade Corporativa, com acesso a Harvard, Pluralsight.
Certificações oficiais com parceiros como SAP, AWS, Microsoft, Salesforce.
Idiomas com EF Education First (Inglês, Espanhol, Francês e Alemão).
Bem-estar completo:
Assistência médica e odontológica.
Totalpass e Equilibrium (saúde física e mental).
Previdência privada e seguro de vida.
Programa Family Care: licenças maternidade e paternidade estendidas, apoio à fertilidade, orientação personalizada em saúde e bem-estar.
Vale-refeição, auxílio home office, clube de benefícios e muito mais!
Make it Real
Na Capgemini, liberamos a energia humana por meio da tecnologia para construir um futuro mais inclusivo, sustentável e inovador. Se você compartilha desses valores, venha transformar o mundo com a gente!
