- Страна
- Россия
Откликайтесь
на вакансии с ИИ
Data Engineer
Оценка ИИСильный бренд, работа с современным стеком (LLM, RAG, Big Data) и удаленный формат делают вакансию очень привлекательной для опытных инженеров. Отсутствие указанной вилки зарплаты — единственный существенный минус.
Сложность вакансии
Оценка ИИПозиция требует уверенного владения стеком Big Data (Hadoop, Spark, Airflow) и одновременно глубоких знаний в области LLM и RAG, что встречается нечасто. Обработка данных объемом более 10 ТБ добавляет сложности в части оптимизации производительности.
Анализ зарплаты
Оценка ИИЗарплата в объявлении не указана, однако для Data Engineer с опытом от 2 лет и навыками в области LLM на российском рынке медиана составляет около 250 000 - 300 000 рублей. Билайн обычно предлагает конкурентные условия, соответствующие рыночным ожиданиям для Middle/Senior специалистов.
Сопроводительное письмо
Составьте идеальное письмо к вакансии с ИИ-агентом
Откликнитесь в Билайн уже сейчас
Присоединяйтесь к команде Билайн и создавайте передовые решения на стыке Big Data и LLM!
Описание вакансии
Data Engineer
#удаленка
Компания: Билайн
🔹Итак, вам предстоит:
-Проектирование, разработка и поддержка ETL/ELT-пайплайнов.
-Интеграция с различными источниками данных (API, базы данных, файлы, очереди).
-Оптимизация процессов обработки больших данных (10ТБ+).
-Работа с распределёнными системами хранения и вычислений (Hadoop, Spark).
-Настройка оркестрации и мониторинга пайплайнов в Airflow.
-Поддержка и развитие хранилища (ClickHouse, HDFS, Postgresql)
-Подготовка витрин данных для аналитиков и ML-команды.
-Документация пайплайнов, best practices в команде.
-Разработка инструментов для интеграции LLM в продукты (API, библиотеки и пр.)
-Разработки агентов и агентных систем
-Разработка баз знаний для RAG
-Fine-tuning/адаптация LLM для специфичных задач/домен (PeFT, SFT).
🔹Мы будем рады рассмотреть вашу кандидатуру, если у вас есть:
-Опыт работы Data Engineer от 2 лет.
-Опыт коммерческой разработки на Python (3.6+).
-Опыт работы с PySpark и экосистемой Hadoop (HDFS, Yarn).
-Понимание принципов работы распределённых вычислений и оптимизации Spark-джоб.
-Практический опыт работы с Airflow (DAG’и, сенсоры, операторы, оптимизация).
-Знания основ Machine Learning / Deep Learning
-Глубокое понимание архитектуры Transformer.
-Умение работать с большими объёмами данных (10ТБ+).
-Знание SQL (в т.ч. оптимизации сложных запросов)
-Опыт работы с системами контроля версий (у нас Git + Gitlab).
Контакты: Откликнуться
🔥 Подписаться на наши каналы / @best_itjob / @it_rab
Создайте идеальное резюме с помощью ИИ-агента
Навыки
- Python
- PySpark
- Hadoop
- HDFS
- Airflow
- SQL
- ClickHouse
- PostgreSQL
- ETL
- ELT
- LLM
- RAG
- Machine Learning
- Deep Learning
- Git
- GitLab
Возможные вопросы на собеседовании
Вакансия включает задачи по оптимизации Spark-джоб для объемов 10ТБ+.
Расскажите о вашем опыте оптимизации PySpark приложений: как вы боретесь с проблемой data skew и какие стратегии джойнов используете?
Работа предполагает использование Airflow для оркестрации сложных пайплайнов.
Как вы организуете мониторинг и обработку ошибок в Airflow DAG, если один из этапов интеграции с внешним API завершается неудачно?
В обязанности входит разработка баз знаний для RAG.
Какие векторные базы данных вы использовали и как вы подходите к выбору стратегии чанкинга (chunking) для построения эффективной RAG-системы?
Упоминается fine-tuning LLM с использованием PeFT и SFT.
В чем преимущество методов PeFT (например, LoRA) перед полным дообучением модели в условиях ограниченных вычислительных ресурсов?
Работа с ClickHouse и Postgresql.
В каких случаях вы выберете ClickHouse вместо классической реляционной БД для хранения витрин данных?
Похожие вакансии
Team Lead MLOps / Tech Lead
Data Science / ML Engineer
Data инженер Middle+ Senior
Data инженер Middle
AI/ML Engineer
Senior Data Engineer
1000+ офферов получено
Устали искать работу? Мы найдём её за вас
Quick Offer улучшит ваше резюме, подберёт лучшие вакансии и откликнется за вас. Результат — в 3 раза больше приглашений на собеседования и никакой рутины!
- Страна
- Россия