- Страна
- Польша
Откликайтесь
на вакансии с ИИ
Data Engineer (Middle/Senior)
Оценка ИИХорошая вакансия для опытных инженеров с четким стеком технологий. Ограничение по локации и отсутствие указанной зарплаты немного снижают балл, но интересные задачи по CDC и ClickHouse делают роль привлекательной.
Сложность вакансии
Оценка ИИПозиция требует глубоких знаний ClickHouse (включая специфические движки и оптимизацию) и опыта работы с CDC, что повышает порог входа. Также важна локация в конкретных странах.
Анализ зарплаты
Оценка ИИВ регионах Польши, Грузии и Армении зарплаты для Senior Data Engineer обычно выше среднего по рынку из-за дефицита узких специалистов по ClickHouse. Предложенный стек технологий соответствует высокооплачиваемым ролям в финтехе и iGaming.
Сопроводительное письмо
Составьте идеальное письмо к вакансии с ИИ-агентом
Откликнитесь уже сейчас
Если вы эксперт в ClickHouse и Python, готовый строить надежные ETL-процессы, отправляйте резюме Анне прямо сейчас!
Описание вакансии
*‼️* Только для кандидатов, которые проживают в Польше, Грузии, Армении!
Присылайте в тг ваше резюме файлом!
Чем предстоит заниматься
Развивать и поддерживать хранилище данных на ClickHouse.
Проектировать и оптимизировать витрины данных.
Разрабатывать и сопровождать ETL/ELT-процессы на Python и Apache Airflow.
Проектировать, внедрять и развивать CDC-процессы для потоковой загрузки данных из MySQL и MongoDB в ClickHouse.
Оптимизировать производительность запросов и архитектуру хранения данных.
Настраивать партиционирование, использовать семейство MergeTree, dictionaries и другие возможности ClickHouse.
Обеспечивать качество данных: проводить сверки источников, выявлять и устранять расхождения, анализировать причины ошибок.
Поддерживать инфраструктуру ETL-процессов и контролировать стабильность их работы.
Настраивать мониторинг, алертинг и участвовать в устранении инцидентов.
Работать с Git/GitLab, участвовать в code review.
Поддерживать техническую документацию в Confluence.
Мы ожидаем
Коммерческий опыт работы Data Engineer от 3 лет.
Отличное знание SQL и опыт написания сложных оптимизированных запросов.
Уверенный опыт работы с ClickHouse.
Практический опыт работы с MySQL.
Опыт работы с MongoDB и другими NoSQL-хранилищами.
Опыт разработки ETL/ELT-процессов.
Опыт работы с Apache Airflow или аналогичными системами оркестрации.
Понимание принципов CDC (Change Data Capture) и опыт построения соответствующих процессов.
Опыт проектирования и внедрения процессов Data Quality.
Навыки разработки на Python для построения ETL-пайплайнов.
Опыт работы с Git.
Будет преимуществом
Глубокая экспертиза в ClickHouse:семейство MergeTree (ReplacingMergeTree и др.);
dictionaries;
партиционирование;
исторические загрузки;
оптимизация тяжелых запросов.
Практический опыт работы с Apache Kafka.
Опыт настройки мониторинга в Grafana.
Опыт работы с Power BI или другими BI-инструментами.
Опыт работы с Google Analytics.
Опыт миграции данных из BigQuery в ClickHouse.
Опыт построения и проверки Data Quality между BigQuery и ClickHouse.
Опыт работы с данными в сфере iGaming или беттинга.
Если вас заинтересовала вакансия, пожалуйста, свяжитесь со мной!
тг Откликнуться
Создайте идеальное резюме с помощью ИИ-агента
Навыки
- ClickHouse
- Python
- Apache Airflow
- SQL
- MySQL
- MongoDB
- ETL
- ELT
- CDC
- Git
- GitLab
- Apache Kafka
- Grafana
- Power BI
- Google Analytics
- BigQuery
Возможные вопросы на собеседовании
Вакансия делает упор на глубокую экспертизу в ClickHouse.
Расскажите о вашем опыте работы с ReplacingMergeTree: в каких случаях вы его использовали и как решали проблему окончательной дедупликации данных?
CDC указан как одна из ключевых задач.
Как бы вы спроектировали процесс CDC из MongoDB в ClickHouse, учитывая специфику документов в NoSQL?
Data Quality — критически важный аспект для этой роли.
Какие конкретно проверки (checks) вы внедряли в Airflow для контроля качества данных между источником и приемником?
Оптимизация запросов — обязательное требование.
Какие инструменты и подходы вы используете для профилирования и оптимизации «тяжелых» запросов в ClickHouse?
Работа с Kafka указана как преимущество.
Был ли у вас опыт использования Kafka Engine в ClickHouse для стриминга данных и с какими сложностями вы сталкивались?
Похожие вакансии
DWH аналитик
Аналитик DWH (Senior)
Data аналитик Senior
Аналитик данных (Senior)
Senior / Lead Data Analyst
Старший аналитик данных в команду ML Autotasking
1000+ офферов получено
Устали искать работу? Мы найдём её за вас
Quick Offer улучшит ваше резюме, подберёт лучшие вакансии и откликнется за вас. Результат — в 3 раза больше приглашений на собеседования и никакой рутины!