- Страна
- Россия
- Зарплата
- от 1 600 ₽
Откликайтесь
на вакансии с ИИ
Data Engineer Middle
Оценка ИИВакансия предлагает работу с современным и востребованным стеком технологий в крупной компании. Однако, оценка по ставке (1600/час) может быть ниже рыночной для Middle+ уровня, а жесткие требования по таймзоне и срочности выхода ограничивают гибкость.
Сложность вакансии
Оценка ИИРоль требует глубоких знаний специфического стека (Trino, Iceberg, Spark) и понимания архитектуры Lakehouse. Высокая сложность обусловлена необходимостью работы с большими объемами данных в федеральном масштабе и сжатыми сроками выхода на проект.
Анализ зарплаты
Оценка ИИПредложенная ставка 1600 руб./час (около 250-280 тыс. руб. в месяц при полной занятости) находится в нижнем или среднем диапазоне для Middle Data Engineer в РФ. На рынке опытные специалисты с таким широким стеком (Spark, Trino, Greenplum) могут претендовать на доход от 300-350 тыс. руб. и выше.
Сопроводительное письмо
Составьте идеальное письмо к вакансии с ИИ-агентом
Откликнитесь уже сейчас
Присоединяйтесь к масштабному логистическому проекту и реализуйте свой потенциал в работе с современным стеком Lakehouse!
Описание вакансии
Data Engineer Middle в федеральную логистическую компанию
Гражданство и локация - без ограничений (не более +\- 1 час от МСК). Срок проекта - долгосрокНужны кандидаты со стартом ASAP*❗️* Сразу присылайте все возможные слоты для собеседования (с 27.07 по 31.07 включительно)*❗️* **Ставка 1600, с НДС
Наш стек: Greenplum, Trino, Apache Airflow, ClickHouse, Python, Spark, SQL (dbt), S3,Hadoop Задачи:**
\* Сбор требований с бизнес-заказчиков и анализ источников данных
\* Разработка, реализация и поддержка интеграционных потоков, а также потоков сборки витрин-данных на стеке технологий, принятых в команде: Trino, Iceberg,S3, Spark, Apache Airflow, Kafka, Cosmos, Flink
\* Оперативное реагирование на информацию о проблемах в зоне ответственности, выполнение типовых задач в установленный срок
\* Поддержание в актуальном состоянии документации типовых интеграционных решений платформы больших данных. Предоставление отчетности о своей деятельности руководителю.
Требования:
- Общее представление о стеке технологий Lakehouse
- Понимание различия работы между BigData/Lakehouse и с данными обычного размера
- Знание SQL (индексы, функции, оптимизация, профилирование производительности
- Знание языков программирования (JAVA, Python)
- Опыт работы c реляционными БД (Oracle, Postgres, MySQL, MsSQL, т.п.)
- Умение работать с Git (знание команд git pull/commit/push)
- Опыт работы с DBT, Cosmos, Ni-Fi
- Опыт разработки на Spark
- Понимание особенностей Trino
- Понимание форматов данных Iceberg, Parquet, Avro
- Понимание работы с minio или любого другого хранилища на основе S3
- Опыт использования системами ведения проектов и документации
Откликнуться на запрос: Откликнуться По вопросам партнерского сотрудничества: Откликнуться
Создайте идеальное резюме с помощью ИИ-агента
Навыки
- Greenplum
- Trino
- Apache Airflow
- ClickHouse
- Python
- Spark
- SQL
- dbt
- S3
- Hadoop
- Iceberg
- Kafka
- Cosmos
- Flink
- Java
- PostgreSQL
- MySQL
- Git
- NiFi
- Parquet
- Avro
Возможные вопросы на собеседовании
Проверка понимания архитектурных особенностей, заявленных в стеке.
В чем заключаются ключевые различия и преимущества формата Iceberg по сравнению с обычным Parquet в контексте Lakehouse?
Оценка навыков оптимизации распределенных запросов.
Какие стратегии оптимизации запросов в Trino вы использовали для работы с большими таблицами в S3?
Проверка опыта работы с инструментами трансформации данных.
Расскажите о вашем опыте использования dbt и Cosmos для управления зависимостями в Airflow.
Оценка навыков работы с распределенными вычислениями.
С какими проблемами производительности Spark вы сталкивались и как решали вопросы с перекосом данных (data skew)?
Проверка владения SQL на продвинутом уровне.
Как бы вы реализовали инкрементальную загрузку данных в Greenplum, минимизируя нагрузку на систему?
Похожие вакансии
Data инженер (Middle+)
Data Scientist (Middle)
Data engineer
Data Scientist ( Middle )
Data engineer
Data инженер Middle
1000+ офферов получено
Устали искать работу? Мы найдём её за вас
Quick Offer улучшит ваше резюме, подберёт лучшие вакансии и откликнется за вас. Результат — в 3 раза больше приглашений на собеседования и никакой рутины!