- Страна
- Россия
Откликайтесь
на вакансии с ИИ
Data Engineer в Корпоративное хранилище
Оценка ИИWildberries — это огромные масштабы данных и работа с современным стеком (Iceberg, Trino). Позиция предлагает удаленный формат работы и сложные инженерные вызовы, что делает её привлекательной для опытных специалистов.
Сложность вакансии
Оценка ИИРоль требует глубокой экспертизы в специфическом стеке (Trino, Iceberg, Ranger), что выше среднего уровня для обычного дата-инженера. Необходимо не только писать код, но и заниматься администрированием и тюнингом инфраструктуры.
Анализ зарплаты
Оценка ИИВ вакансии не указан уровень дохода, однако для Senior Data Engineer с таким стеком в РФ рынок предлагает от 350 000 до 500 000 рублей. Wildberries обычно предлагает конкурентные зарплаты, соответствующие рыночным ожиданиям для крупных тех-компаний.
Сопроводительное письмо
Меня заинтересовала вакансия Data Engineer в команду корпоративного хранилища Wildberries. Мой опыт работы с Apache Iceberg и Trino позволяет мне эффективно решать задачи по оптимизации производительности запросов и управлению метаданными. Я обладаю глубоким пониманием процессов compaction и snapshot management, что критично для стабильной работы высоконагруженных систем.
Кроме того, я имею практический опыт настройки политик доступа через Apache Ranger и автоматизации задач на Python и Bash. Уверен, что мои навыки администрирования Spark-кластеров и работы с S3 помогут вашей команде обеспечить безопасность и масштабируемость платформы данных. Буду рад обсудить, как мой опыт поможет в развитии вашего КХД.
Составьте идеальное письмо к вакансии с ИИ-агентом
Откликнитесь в Wildberries уже сейчас
Присоединяйтесь к команде Wildberries и развивайте одну из крупнейших Data Platform в стране!
Описание вакансии
Data Engineer в Корпоративное хранилище
#удаленка
Компания: Wildberries
🔹Что нужно делать
-Обеспечивать стабильную, производительную и безопасную работу Data Platfrorm на базе Trino, Spark, S3 и Apache Iceberg, включая администрирование и управление ролевой моделью доступа, документирование изменений в проекте;
-Настраивать, обновлять, мониторить и тюнить кластера Trino;
-Настраивать коннекторы (Iceberg, S3);
-Оптимизировать производительность запросов (resource groups, query analysis);
-Оптимизировать производительность Iceberg (partitioning, clustering, metadata management);
-Разрабатывать и внедрять централизованные ролевые модели для доступа к данным и ресурсам платформы;
🔹Какой опыт и знания нужны
-Обладаете пониманием взаимодействия Spark с Iceberg и S3;
-Имеете опыт эксплуатации Apache Iceberg (администрирование таблиц в формате Iceberg, настройка и использование Hive Metastore);
-Обладаете пониманием и применением: compaction, expiration snapshots, time travel, schema evolution;
-Имеете навыки Linux, Bash, Python для автоматизации;
-Обладаете опытом управления политиками доступа и правами доступа через Ranger в S3 и Iceberg:
-Имеете опыт разработки и внедрения централизованной ролевой модели для доступа к данным и ресурсам платформы.
Контакты: Откликнуться?
🔥 Подписаться на наши каналы / @best_itjob / @it_rab
Создайте идеальное резюме с помощью ИИ-агента
Навыки
- Trino
- Apache Spark
- Amazon S3
- Apache Iceberg
- Linux
- Bash
- Python
- Apache Ranger
- Hive Metastore
Возможные вопросы на собеседовании
Вакансия подразумевает глубокую работу с форматом Iceberg.
Расскажите о механизмах оптимизации таблиц в Apache Iceberg: в чем разница между bin-pack и sort стратегиями при compaction?
Работа с Trino требует понимания управления ресурсами.
Как вы настраиваете Resource Groups в Trino для предотвращения монополизации ресурсов тяжелыми запросами?
Безопасность — один из ключевых пунктов описания.
Опишите ваш опыт настройки ролевой модели в Apache Ranger для S3: как вы организуете иерархию прав?
Важно понимать взаимодействие компонентов.
С какими проблемами производительности вы сталкивались при интеграции Spark и Iceberg на больших объемах данных?
Проверка навыков траблшутинга.
Как вы будете проводить диагностику, если время выполнения запросов в Trino резко увеличилось при неизменном объеме данных?
Похожие вакансии
Data инженер Middle+
Data Scientist (Senior)
Data инженер (Senior)
Data Analyst / Data Scientist (Fintech / Payments)
ML разработчик (Senior)
Data Engineer Python (Middle)
1000+ офферов получено
Устали искать работу? Мы найдём её за вас
Quick Offer улучшит ваше резюме, подберёт лучшие вакансии и откликнется за вас. Результат — в 3 раза больше приглашений на собеседования и никакой рутины!
- Страна
- Россия