- Страна
- Россия
Откликайтесь
на вакансии с ИИ
Data инженер (Middle)
Оценка ИИОтличное предложение для Middle-специалиста с очень современным и востребованным стеком технологий (Lakehouse, Iceberg, Trino). Гибкость в локации и полная занятость делают вакансию привлекательной на текущем рынке.
Сложность вакансии
Оценка ИИРоль требует уверенного владения широким спектром инструментов Big Data (Spark, Airflow, Trino, Iceberg) и понимания архитектуры Lakehouse. Необходимость знания Java в дополнение к Python и SQL повышает порог входа для кандидатов уровня Middle.
Анализ зарплаты
Оценка ИИУказанный стек технологий (Big Data) обычно оплачивается выше среднего по рынку РФ. Для уровня Middle в этой нише зарплаты часто начинаются от 250 000 рублей и могут достигать 400 000 рублей в зависимости от глубины знаний Spark и Java.
Сопроводительное письмо
Составьте идеальное письмо к вакансии с ИИ-агентом
Откликнитесь уже сейчас
Отправьте свое резюме @ivanGr прямо сейчас, чтобы присоединиться к команде и работать с современным стеком Lakehouse!
Описание вакансии
#9455
Data инженер (Middle)
Локация: Любая
Гражданство: РФ/РБ
Загрузка: Full-time
Требования:
- Стек: Greenplum, Trino, Apache Airflow, ClickHouse, Python, Spark, SQL (dbt), S3, Hadoop
- Сбор требований с бизнес-заказчиков и анализ источников данных
- Разработка, реализация и поддержка интеграционных потоков, а также потоков сборки витрин-данных на стеке: Trino, Iceberg, S3, Spark, Apache Airflow, Kafka, Cosmos, Flink
- Оперативное реагирование на проблемы, выполнение типовых задач в срок
- Поддержание документации типовых интеграционных решений платформы больших данных
- Общее представление о стеке Lakehouse
- Понимание различий между BigData/Lakehouse и обычными данными
- Знание SQL (индексы, функции, оптимизация, профилирование)
- Знание Java, Python
- Опыт работы с реляционными БД (Oracle, Postgres, MySQL, MsSQL и т.п.)
- Умение работать с Git (pull/commit/push)
- Опыт работы с DBT, Cosmos, Ni-Fi
- Опыт разработки на Spark
- Понимание особенностей Trino
- Понимание форматов данных Iceberg, Parquet, Avro
- Понимание работы с minio или S3-хранилищами
- Опыт использования системами ведения проектов и документации
Писать Откликнуться
Канал Аутстаф запросов Откликнуться
Создайте идеальное резюме с помощью ИИ-агента
Навыки
- Greenplum
- Trino
- Apache Airflow
- ClickHouse
- Python
- Spark
- SQL
- dbt
- S3
- Hadoop
- Iceberg
- Kafka
- Cosmos
- Apache Flink
- Java
- PostgreSQL
- Oracle
- MySQL
- Microsoft SQL Server
- Git
- Apache NiFi
- Parquet
- Avro
- MinIO
Возможные вопросы на собеседовании
Вакансия предполагает работу с Lakehouse, поэтому важно понимать преимущества Iceberg перед классическими форматами.
В чем заключаются основные преимущества использования формата таблиц Iceberg в архитектуре Lakehouse по сравнению с обычным Parquet?
Trino указан как один из ключевых инструментов для обработки данных.
Расскажите об особенностях оптимизации запросов в Trino. Как работает механизм динамической фильтрации (Dynamic Filtering)?
Spark является основным инструментом обработки, важно знать нюансы его работы.
Как вы боретесь с проблемой перекоса данных (Data Skew) при выполнении Join-операций в Spark?
dbt и Cosmos используются для трансформации данных.
Каким образом вы организуете тестирование качества данных (Data Quality) при использовании dbt в связке с Airflow?
Работа с Greenplum и ClickHouse требует понимания различий в хранении.
В каких сценариях вы выберете ClickHouse вместо Greenplum для хранения данных и почему?
Похожие вакансии
Middle+ Data Engineer
Backend / ML Infrastructure / MLOps инженер
Data Engineer Middle
Data Scientist (Модели оценки качества), Диалоговый ИИ и ML сервисы
Специалист по науке о данных прогнозирования
ML Engineer
1000+ офферов получено
Устали искать работу? Мы найдём её за вас
Quick Offer улучшит ваше резюме, подберёт лучшие вакансии и откликнется за вас. Результат — в 3 раза больше приглашений на собеседования и никакой рутины!