- Зарплата
- 200 000 ₽ – 290 000 ₽
Data Engineer Middle+/Senior
Оценка ИИПривлекательная вакансия с прозрачным стеком технологий, возможностью удаленной работы из любой точки мира и бонусами за производительность. Компания работает над интересным продуктом (маркетплейс), что предполагает работу с большими объемами данных.
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
Улучшите резюме под эту вакансию
Возьмём требования и создадим новую версию резюме с акцентом на нужный опыт
Сложность вакансии
Оценка ИИРоль требует глубокой экспертизы в ClickHouse (от проектирования схем до администрирования) и уверенного владения современным стеком (Airflow, dbt, Python). Высокая планка ожиданий по оптимизации производительности и тюнингу БД.
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
Анализ зарплаты
Оценка ИИПредложенная зарплата (200-290 т.р.) находится в пределах рыночной нормы для Middle+/Senior Data Engineer в России, однако для топовых Senior-специалистов верхняя планка может быть выше. Наличие премий дважды в год делает предложение более конкурентоспособным.
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
Сопроводительное письмо
Составьте сопроводительное письмо под эту вакансию с вашим резюме
Описание вакансии
#вакансия #senior #DataEngineer #Python #etl #dwh #remote #удаленка #fulltime
Data Engineer Middle+/Senior
Формат работы: Удаленно
Локация: Любая
Занятость: Полная
З/п: 200-290 т.р. + премии
Компания: ggsel
Проект - маркетплейс цифровых товаров
Отклики сюда *➡️* Откликнуться
Основные задачи
Разработка и поддержка пайплайнов
· Проектирование ETL/ELT-процессов для переноса данных из PostgreSQL и других источников в ClickHouse.
· Написание надёжных и идемпотентных DAG в Airflow для регулярного обновления витрин данных.
· Построение слоёв данных с использованием dbt.
· Обеспечение качества данных: тесты, проверка свежести, мониторинг аномалий.
Оптимизация хранилища и производительности
· Тюнинг ClickHouse: настройка схем таблиц под конкретные бизнес-запросы, устранение узких мест.
· Оптимизация SQL-запросов для снижения нагрузки на БД.
· Управление ресурсами кластера ClickHouse: CPU, RAM, Disk I/O.
· Контроль стоимости хранения.
Администрирование и надёжность
· Обеспечение отказоустойчивости: настройка репликации и бэкапов.
· Мониторинг состояния пайплайнов и баз данных.
· Оперативное реагирование на инциденты.
Требования
Глубокое знание ClickHouse
· Проектирование схем: Знание семейства движков MergeTree, выбор ключей партиционирования и сортировки для оптимального сжатия и скорости чтения .
· Оптимизация запросов: Умение читать планы запросов, оптимизировать потребление памяти, настраивать материализованные представления (Materialized Views) и проекции.
· Администрирование: Настройка шардирования и репликации, управление TTL, мониторинг слияний.
Инструменты ETL/ELT и Оркестрация
· Оркестрация: Управление сбором данных через Apache Airflow.
· Трансформация: Опыт работы с dbt для построения слоев данных.
Языки и Инфраструктура
· Python: Разработка ETL-скриптов, работа с Pandas, интеграция с API.
· SQL: Владение на уровне эксперта (аналитические запросы, оптимизация).
· Инфраструктура: Docker (для развертывания ClickHouse), Git.
Условия
· Удаленная работа из любой точки мира.
· Конкурентная зарплата + performance премия 2 раза в год.
· Гибкий график и фокус на результат.
· Оплата обучения, курсов и конференций.
· Возможность реально влиять на продукт и команду.
Отклик можно оставить на нашем корпоративном портале *➡️* Откликнуться
Больше похожих вакансий + автоотклики с ИИ
Умный подбор, сопроводительные письма, советы по отказам — больше приглашений.
Навыки
- ClickHouse
- PostgreSQL
- Apache Airflow
- dbt
- Python
- Pandas
- SQL
- Docker
- Git
- ETL
- ELT
Возможные вопросы на собеседовании
Проверка понимания специфики ClickHouse и умения оптимизировать хранение.
Расскажите, по каким критериям вы выбираете ключи партиционирования и сортировки в семействе MergeTree?
Оценка опыта работы с инструментами трансформации данных.
Как вы организуете тестирование качества данных и проверку свежести при использовании dbt?
Проверка навыков обеспечения надежности пайплайнов.
Как вы обеспечиваете идемпотентность DAG в Airflow при загрузке данных из PostgreSQL в ClickHouse?
Оценка навыков траблшутинга и оптимизации.
С какими узкими местами в производительности ClickHouse вы сталкивались и как их устраняли?
Проверка навыков администрирования инфраструктуры.
Каков ваш опыт настройки репликации и шардирования в ClickHouse, и как вы мониторите процесс слияния (merges)?
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
