- Страна
- Россия
Data Engineer в команду Spark
Оценка ИИАвито — топовый работодатель с сильным инженерным брендом и интересными задачами на больших данных. Удаленный формат работы и работа с современным стеком (Spark, Python) делают вакансию крайне привлекательной для опытных инженеров.
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
Улучшите резюме под эту вакансию
Возьмём требования и создадим новую версию резюме с акцентом на нужный опыт
Сложность вакансии
Оценка ИИРоль требует глубокой экспертизы в Spark и Hadoop, а также уверенного владения Python. Высокая планка инженерной культуры в Авито подразумевает умение работать с высоконагруженными системами и внедрять лучшие практики разработки.
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
Анализ зарплаты
Оценка ИИЗарплата в Авито для Data-инженеров обычно соответствует верхнему децилю рынка РФ. Указанный диапазон отражает текущие рыночные реалии для специалистов уровня Middle+/Senior в крупных технологических компаниях.
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
Сопроводительное письмо
Составьте сопроводительное письмо под эту вакансию с вашим резюме
Контакты для отклика
Откройте контакты, указанные в вакансии.
Описание вакансии
Data Engineer в команду Spark
Компания: Авито
*🔹*Какие задачи вас ждут:
-разрабатывать новые и поддерживать существующие продукты в составе кросс-функциональной команды;
-развивать существующую Big Data-платформу с учётом растущей нагрузки от новых задач и данных: 90% задач связаны со Spark;
-создавать новые сервисы на Python и улучшать существующие;
-внедрять инженерные практики и делиться с командой своим опытом;
-предлагать новые подходы и быстро проверять их в продакшене на реальных данных.
*🔹*Мы ждем, что вы:
-пишете на Python или Java/Scala и готовы перейти на Python;
-глубоко понимаете экосистему Hadoop/Spark/Hive и связанные продукты;
-работали с данными и решали аналитические задачи;
-умеете администрировать Linux-системы на базовом уровне;
-готовы искать нестандартные решения.
Создайте идеальное резюме с помощью ИИ-агента
Навыки
- Spark
- Python
- Hadoop
- Hive
- Java
- Scala
- Linux
- Big Data
- ETL
Возможные вопросы на собеседовании
Spark является основным инструментом в данной роли (90% задач). Важно понимать механизмы оптимизации.
Расскажите о методах борьбы с Data Skew в Spark-приложениях. Какие стратегии вы использовали на практике?
Вакансия предполагает работу с Big Data платформой под растущей нагрузкой.
Как вы подходите к тюнингу ресурсов Spark-джоба (память, ядра, количество исполнителей) для обработки терабайтных массивов данных?
Упоминается необходимость создания новых сервисов на Python.
Какие библиотеки и подходы вы используете для обеспечения качества кода и тестирования ETL-процессов на Python?
Работа в кросс-функциональной команде требует понимания смежных областей.
Опишите ваш опыт взаимодействия с аналитиками и Data Scientist-ами: как вы проектируете витрины данных для их нужд?
Требуется базовое администрирование Linux.
С какими инструментами мониторинга и отладки производительности в Linux вы работали при поиске узких мест в распределенных системах?
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
