- Зарплата
- 140 000 $ – 200 000 $
Откликайтесь
на вакансии с ИИ
Data Engineer
Оценка ИИПривлекательная вакансия с высокой заработной платой и современным технологическим стеком. Удаленный формат работы и использование передовых инструментов (Iceberg, AWS) делают это предложение отличным вариантом для профессионального роста.
Сложность вакансии
Оценка ИИРоль требует глубоких знаний экосистемы AWS (Glue, DMS, QuickSight) и современных форматов хранения данных (Iceberg). Высокий уровень ответственности за архитектуру ETL/ELT процессов и CDC делает позицию сложной для специалистов без опыта работы с облачной инфраструктурой.
Анализ зарплаты
Оценка ИИПредлагаемая зарплата ($140k - $200k) находится на уровне выше среднего для Middle/Senior Data Engineer на международном рынке. Верхняя граница в $200k соответствует топовым предложениям для опытных инженеров в США и Европе.
Сопроводительное письмо
I am writing to express my strong interest in the Data Engineer position at Hibachi. With over 2 years of hands-on experience in building robust data pipelines using PySpark and AWS Glue, I am confident in my ability to contribute to your team's success in architecting scalable batch and streaming solutions.
In my previous roles, I have successfully implemented CDC processes using AWS DMS and managed complex data modeling tasks within Iceberg-backed environments. My expertise in Apache Airflow for orchestration and SQL for performance tuning aligns perfectly with the technical requirements of this role. I am particularly excited about the opportunity to leverage QuickSight to deliver actionable insights to stakeholders.
I am a proactive problem-solver with a deep understanding of data governance and testing frameworks like Pytest. I look forward to the possibility of discussing how my technical skills and architectural mindset can help Hibachi optimize its data infrastructure.
Составьте идеальное письмо к вакансии с ИИ-агентом
Откликнитесь в Hibachi уже сейчас
Присоединяйтесь к Hibachi и стройте современные Data-решения на стеке AWS и Iceberg — откликайтесь прямо сейчас!
Описание вакансии
Data Engineer
#удаленка
Company:Hibachi
Salary:$140k - $200k
🔹You’ll Be Responsible for:
• Data Pipeline Development: Architect, build, and maintain batch and streaming data pipelines using PySpark, AWS Glue, and Airflow .Implement Change Data Capture (CDC) with AWS DMS (or comparable tools) to capture incremental updates from source systems.
• Data Modeling & Architecture: Design modular, reusable, and scalable data models adhering to best practices. Work with iceberg backed Data Warehouse solution for performant storage, queries, and transformations. Ensure consistent data definitions and governance using frameworks like the Glue Catalog.
• ETL/ELT: Manage ETL/ELT pipelines ensuring efficient data ingestion, cleansing, and aggregation. Monitor and debug performance bottlenecks, applying tuning techniques where necessary.
• Data Visualization & Analytics: Develop QuickSight dashboards (or similar BI tools) to surface actionable insights for stakeholders.
🔹You’ll Need to Have:
• Bachelor’s or Master’s Degree in Computer Science, Engineering, or a related field (or equivalent experience).
• 2+ years of hands-on experience with PySpark for batch and streaming pipelines. Familiarity with streaming ecosystems (Kafka, Kinesis, Spark Structured Streaming).
• Strong proficiency in AWS Glue, Apache Airflow, and Iceberg
• Experience with AWS DMS or other CDC tools to manage real-time or near-real-time data ingestion.
• Advanced SQL knowledge, including performance tuning and complex transformations.
• Proven background in data modeling and data architecture best practices (data warehouse/data lake).
• Experience with BI platforms (QuickSight, Tableau, Power BI, etc.) for dashboard development.
• Understanding of testing frameworks (e.g., Pytest) for data pipelines, unit testing, and QA processes
• Excellent communication skills, with an ability to bridge technical and business requirements
Contact: Откликнуться
🔥Подписаться на наши каналы / @best_itjob / @it_rab
Создайте идеальное резюме с помощью ИИ-агента
Навыки
- SQL
- PySpark
- Apache Iceberg
- ETL
- Apache Airflow
- Apache Kafka
- PyTest
- AWS Glue
- ELT
- Change Data Capture
- AWS DMS
- Amazon Kinesis
- Amazon QuickSight
Возможные вопросы на собеседовании
Проверка опыта работы с конкретным стеком, указанным в вакансии.
Расскажите о вашем опыте работы с Apache Iceberg: какие преимущества и сложности вы выделяете при работе с этим форматом в AWS Glue?
Важно понять, как кандидат обеспечивает надежность данных.
Как вы организуете мониторинг и обработку ошибок в пайплайнах Airflow, особенно при реализации CDC через AWS DMS?
Оценка навыков оптимизации производительности.
Какие методы тюнинга PySpark вы применяете для обработки больших объемов данных в стриминговом режиме?
Проверка архитектурного мышления.
Опишите процесс проектирования масштабируемой модели данных для Data Warehouse: как вы обеспечиваете консистентность определений данных?
Оценка навыков тестирования.
Как вы используете Pytest для обеспечения качества данных и тестирования логики трансформаций в ваших ETL-процессах?
Похожие вакансии
MLOps Engineer
Инженер Mlops (Senior)
Middle+ ML разработчик
Senior MLOps Engineer (Platform Development / LLMOps)
Data engineer
Senior Data Engineer
1000+ офферов получено
Устали искать работу? Мы найдём её за вас
Quick Offer улучшит ваше резюме, подберёт лучшие вакансии и откликнется за вас. Результат — в 3 раза больше приглашений на собеседования и никакой рутины!
- Зарплата
- 140 000 $ – 200 000 $