- Страна
- Россия
Откликайтесь
на вакансии с ИИ
Data Engineer в Корпоративное хранилище
Оценка ИИWildberries — это огромные масштабы данных и работа с современным стеком (Iceberg, Trino). Позиция предлагает удаленный формат работы и сложные инженерные вызовы, что делает её привлекательной для опытных специалистов.
Сложность вакансии
Оценка ИИРоль требует глубокой экспертизы в специфическом стеке (Trino, Iceberg, Ranger), что выше среднего уровня для обычного дата-инженера. Необходимо не только писать код, но и заниматься администрированием и тюнингом инфраструктуры.
Анализ зарплаты
Оценка ИИВ вакансии не указан уровень дохода, однако для Senior Data Engineer с таким стеком в РФ рынок предлагает от 350 000 до 500 000 рублей. Wildberries обычно предлагает конкурентные зарплаты, соответствующие рыночным ожиданиям для крупных тех-компаний.
Сопроводительное письмо
Составьте идеальное письмо к вакансии с ИИ-агентом
Откликнитесь в Wildberries уже сейчас
Присоединяйтесь к команде Wildberries и развивайте одну из крупнейших Data Platform в стране!
Описание вакансии
Data Engineer в Корпоративное хранилище
#удаленка
Компания: Wildberries
🔹Что нужно делать
-Обеспечивать стабильную, производительную и безопасную работу Data Platfrorm на базе Trino, Spark, S3 и Apache Iceberg, включая администрирование и управление ролевой моделью доступа, документирование изменений в проекте;
-Настраивать, обновлять, мониторить и тюнить кластера Trino;
-Настраивать коннекторы (Iceberg, S3);
-Оптимизировать производительность запросов (resource groups, query analysis);
-Оптимизировать производительность Iceberg (partitioning, clustering, metadata management);
-Разрабатывать и внедрять централизованные ролевые модели для доступа к данным и ресурсам платформы;
🔹Какой опыт и знания нужны
-Обладаете пониманием взаимодействия Spark с Iceberg и S3;
-Имеете опыт эксплуатации Apache Iceberg (администрирование таблиц в формате Iceberg, настройка и использование Hive Metastore);
-Обладаете пониманием и применением: compaction, expiration snapshots, time travel, schema evolution;
-Имеете навыки Linux, Bash, Python для автоматизации;
-Обладаете опытом управления политиками доступа и правами доступа через Ranger в S3 и Iceberg:
-Имеете опыт разработки и внедрения централизованной ролевой модели для доступа к данным и ресурсам платформы.
Контакты: Откликнуться?
🔥 Подписаться на наши каналы / @best_itjob / @it_rab
Создайте идеальное резюме с помощью ИИ-агента
Навыки
- Trino
- Apache Spark
- Amazon S3
- Apache Iceberg
- Linux
- Bash
- Python
- Apache Ranger
- Hive Metastore
Возможные вопросы на собеседовании
Вакансия подразумевает глубокую работу с форматом Iceberg.
Расскажите о механизмах оптимизации таблиц в Apache Iceberg: в чем разница между bin-pack и sort стратегиями при compaction?
Работа с Trino требует понимания управления ресурсами.
Как вы настраиваете Resource Groups в Trino для предотвращения монополизации ресурсов тяжелыми запросами?
Безопасность — один из ключевых пунктов описания.
Опишите ваш опыт настройки ролевой модели в Apache Ranger для S3: как вы организуете иерархию прав?
Важно понимать взаимодействие компонентов.
С какими проблемами производительности вы сталкивались при интеграции Spark и Iceberg на больших объемах данных?
Проверка навыков траблшутинга.
Как вы будете проводить диагностику, если время выполнения запросов в Trino резко увеличилось при неизменном объеме данных?
Похожие вакансии
Data engineer
ML Engineer, Senior
Senior Data Engineer
Data Scientist Senior
Специалист по подготовке данных для ИИ (удалённо)
Team Lead Data Science / ML
1000+ офферов получено
Устали искать работу? Мы найдём её за вас
Quick Offer улучшит ваше резюме, подберёт лучшие вакансии и откликнется за вас. Результат — в 3 раза больше приглашений на собеседования и никакой рутины!