- Страна
- Россия
- Зарплата
- 150 000 ₽ – 170 000 ₽
Откликайтесь
на вакансии с ИИ
Data Engineer
Оценка ИИАккредитованная IT-компания, официальное оформление и возможность работать удаленно. Проект на начальной стадии — это отличный шанс проявить себя, хотя уровень зарплаты находится в среднем диапазоне для данной роли.
Сложность вакансии
Оценка ИИПозиция требует уверенного владения Python и специфического опыта в скрейпинге и обработке слабоструктурированных документов. Стек технологий стандартный, а отсутствие легаси упрощает вход в проект.
Анализ зарплаты
Оценка ИИПредлагаемая зарплата (150-170 т.р.) соответствует уровню Middle Data Engineer в российских компаниях, однако на широком рынке Москвы для опытных специалистов вилка может быть выше. Тем не менее, для старта проекта и указанного стека это адекватное предложение.
Сопроводительное письмо
Составьте идеальное письмо к вакансии с ИИ-агентом
Откликнитесь в ОДСС уже сейчас
Присоединяйтесь к команде ОДСС и создавайте инфраструктуру данных для масштабного проекта с нуля!
Описание вакансии
*🚀 Вакансия: Data Engineer (удаленно/гибрид)*
Компания: ООО "ОДСС" https://odsscompany.ru (аккредитованная IT-компания)
Локация Москва
Зарплата от 150 до 170 т.р.
Оформление по ТК РФ
Мы ищем в свою команду инициативного Data Engineer для разработки и поддержания инфраструктуры данных для большого проекта озера данных, включающего себя сложные сценарии приема и обработки данных из разных источников.
Что предстоит:
• разработка и поддержание парсеров
• автоматизация обработки и преобразования данных
• отладка и мониторинг конвейеров данных
Технологический стек: Python, PostgreSQL, Dagster, Selenium
Что мы ждем от тебя:
- знание основных библиотек Python для работы с данными
- опыт обработки и скрейпинга/парсинга сложных и слабоструктурированных документов в форматах pdf, doc, docx, xls, xlsx
- опыт работы автоматизации конвейеров данных и знание соответствующих программных инструментов
- представление об управлении качеством данных
- представление о возможностях отладки мониторинга
- понимание специфики форматов данных (JSON lines, Parquet, XML, CSV и тд.)
- понимание методов получения и поставки данных (как, например, S3, REST API, SOAP, RPC)
- знание английского языка на уровне, достаточном для чтения технической документации
- знание Git
- готовность осваивать новые технологии и разрабатывать индивидуальные технические решения под поставленные задачи.
Плюсами будут:- опыт работы с данными из открытых источников и понимание их специфики
- опыт долгосрочного поддержания работы парсеров
- опыт работы с библиотеками Python для computer vision
Преимущества проекта*✅* Проект только стартовал — мало легаси, много свободы для экспериментов
*✅* Можно влиять на выбор технологий и архитектурных решений
Для быстрой связи Откликнуться
Создайте идеальное резюме с помощью ИИ-агента
Навыки
- Python
- PostgreSQL
- Dagster
- Selenium
- Git
- S3
- REST API
- SOAP
- RPC
- JSON
- Parquet
- XML
- CSV
- Computer Vision
Возможные вопросы на собеседовании
Проверка практического опыта работы со сложными форматами, указанными в вакансии.
Расскажите о самом сложном случае парсинга PDF или DOCX документов: с какими трудностями вы столкнулись и как их решили?
Вакансия предполагает использование Dagster для автоматизации.
Каков ваш опыт работы с оркестраторами данных (Dagster, Airflow)? Как вы организуете мониторинг и обработку ошибок в пайплайнах?
Важно понимать, как кандидат обеспечивает надежность данных.
Какие методы проверки качества данных (Data Quality) вы обычно внедряете в свои ETL-процессы?
В стеке указан Selenium, что подразумевает работу с веб-ресурсами.
Как вы обходите защиту от ботов при масштабном скрейпинге данных с использованием Selenium?
Проверка навыков проектирования схем данных.
В каких случаях вы предпочтете хранить данные в Parquet, а в каких — в PostgreSQL или JSON lines?
Похожие вакансии
ML-инженер
Python разработчик (DWH/Data Engineering)
Data Scientist Middle+, Senior
Data Scientist
Middle+ Data инженер
ML Engineer (Middle+/ Senior)
1000+ офферов получено
Устали искать работу? Мы найдём её за вас
Quick Offer улучшит ваше резюме, подберёт лучшие вакансии и откликнется за вас. Результат — в 3 раза больше приглашений на собеседования и никакой рутины!