Senior Data Engineer
Оценка ИИИнтересная позиция в глобальной компании с четким стеком технологий и сложными инженерными задачами. Однако отсутствие прозрачности по зарплате и гибридный формат могут быть минусом для некоторых кандидатов.
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
Улучшите резюме под эту вакансию
Возьмём требования и создадим новую версию резюме с акцентом на нужный опыт
Сложность вакансии
Оценка ИИРоль требует глубоких знаний стека Azure (Synapse, ADF) и специфического опыта работы с данными бурения. Высокая сложность обусловлена необходимостью реализации сложной логики трансформации данных в реальном времени и работы с форматами LAS/DLIS.
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
Анализ зарплаты
Оценка ИИЗарплата для Senior Data Engineer в Коста-Рике сильно варьируется в зависимости от того, работает ли компания на локальный или международный рынок (как Encora). Указанный диапазон отражает рыночные ставки для опытных специалистов в международных IT-хабах региона.
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
Сопроводительное письмо
Составьте сопроводительное письмо под эту вакансию с вашим резюме
Описание вакансии
Important Information
Location: Costa Rica
Work Mode: Hybrid
Job Summary
As a *Senior Data Engineer (20103)*, you will be responsible for designing, developing, and maintaining high-quality software solutions. You will collaborate with cross-functional teams to understand business requirements and translate them into scalable and efficient software applications. Your role will involve leading technical projects, mentoring junior engineers, and continuously improving software development practices to ensure the delivery of robust and reliable software systems.
Responsibilities and Duties
- Design and build scalable data pipelines to ingest, process and transform high volume drilling data using Azure Data Factory and Azure Synapse.
- Implement complex logic to convert time based drilling sensor data into depth based datasets for geological and operational alignment.
- Develop ingestion frameworks to process diverse drilling data formats such as LAS, DLIS and WITSML from multiple vendors.
- Ensure data quality, availability and consistency by implementing automated validation checks and optimizing data pipelines for performance.
Qualifications and Skills
- Strong experience designing and implementing data pipelines using Azure Data Factory and Azure Synapse Analytics.
- Advanced proficiency in SQL and experience working with large scale data processing.
- Strong programming skills in Python with experience using PySpark or Pandas for data processing.
- Experience working with big data technologies such as Spark for distributed data processing.
- Experience managing and organizing data in Azure Data Lake Storage Gen2.
- Knowledge of common data formats such as JSON, Parquet, Delta Lake and XML based formats.
- Understanding of ETL and ELT patterns and modern data engineering best practices.
- Experience processing time series or real time streaming data.
- Strong problem solving and analytical skills to handle complex data transformation logic.
- Experience optimizing data pipelines, Spark jobs or SQL queries for performance and scalability.
- Familiarity with data security practices such as access management and data governance in cloud environments.
- Microsoft Certified Azure Data Engineer Associate (DP 203) certification is a plus.
About Encora
Encora is a global company that offers Software and Digital Engineering solutions. Our practices include Cloud Services, Product Engineering & Application Modernization, Data & Analytics, Digital Experience & Design Services, DevSecOps, Cybersecurity, Quality Engineering, AI & LLM Engineering, among others.
At Encora, we hire professionals based solely on their skills and do not discriminate based on age, disability, religion, gender, sexual orientation, socioeconomic status, or nationality.
Больше похожих вакансий + автоотклики с ИИ
Умный подбор, сопроводительные письма, советы по отказам — больше приглашений.
Навыки
- Azure Data Factory
- Azure Synapse Analytics
- SQL
- Python
- PySpark
- Pandas
- Apache Spark
- Azure Data Lake Storage Gen2
- JSON
- Parquet
- Delta Lake
- XML
- ETL
- ELT
Возможные вопросы на собеседовании
Проверка опыта работы с ключевым инструментом вакансии для обработки больших данных.
Расскажите о вашем опыте оптимизации Spark-джобов в Azure Synapse. С какими узкими местами вы сталкивались?
Вакансия подразумевает работу со специфическими данными датчиков.
Как бы вы подошли к архитектуре пайплайна для преобразования временных рядов (time-based) в данные на основе глубины (depth-based)?
Проверка навыков обеспечения надежности данных.
Какие стратегии автоматизированной валидации данных вы внедряли для обеспечения качества в Azure Data Lake Gen2?
Оценка владения инструментами оркестрации.
В каких случаях вы предпочтете использовать Azure Data Factory вместо Synapse Pipelines, и наоборот?
Оценка лидерских качеств, указанных в описании.
Опишите случай, когда вам приходилось менторить младшего инженера при внедрении сложного технического решения. С какими трудностями вы столкнулись?
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
