About the role
.
* Atuação na construção, migração e evolução de soluções de Engenharia de Dados em ambientes Databricks; * Desenvolvimento e manutenção de pipelines de dados escaláveis, confiáveis e performáticos; * Implementação de processos de ingestão, transformação e disponibilização de dados utilizando Spark e PySpark; * Atuação em arquiteturas Data Lake e Data Lakehouse, com implementação do modelo Medallion (Bronze, Silver e Gold); * Interpretação de regras de negócio e tradução em processos e soluções de dados; * Participação em projetos de migração e modernização de plataformas de dados; * Garantia de qualidade, performance, monitoramento e confiabilidade dos pipelines.
* Domínio de PySpark, Apache Spark e SQL; * Experiência com Delta Lake, Delta Tables, Unity Catalog e Lakeflow Declarative Pipelines; * Conhecimento em Lakeflow Connect para ingestão de dados; * Experiência com Jobs, Workflows, orquestração e monitoramento de pipelines; * Vivência com arquitetura Lakehouse e modelo Medallion (Bronze, Silver e Gold); * Experiência com migração de plataformas ou desenvolvimento de projetos em Databricks; * Conhecimento de Git, CI/CD e boas práticas de desenvolvimento e deploy; * Conhecimento de ferramentas e tecnologias como Airflow, Kafka, dbt, AWS Glue e BigQuery; * Experiência com bancos SQL/NoSQL, como PostgreSQL, MongoDB ou Cassandra. * Diferencial: Experiência em projetos contábeis e financeiros, certificação Databricks Certified Data Engineer Associate.
Originally posted on Himalayas