Откликайтесь
на вакансии с ИИ
Data инженер (Middle+)
Оценка ИИИнтересный технологический стек и возможность удаленной работы по всему миру. Однако проект ограничен по времени (до конца года), и существуют жесткие требования к гражданству и наличию техники Apple.
Сложность вакансии
Оценка ИИПозиция требует глубоких знаний в области Data Engineering (3+ года), владения специфическим стеком (Databricks, Terraform) и накладывает строгие ограничения по гражданству и локации. Высокая планка ожидается в части проектирования архитектуры Lakehouse и IaC.
Анализ зарплаты
Оценка ИИЗарплата в объявлении не указана. Для роли Middle+ Data Engineer на международном рынке (вне РФ/РБ) медиана составляет около $5,500 - $7,000 в месяц в зависимости от региона проживания и конкретных навыков в облачных технологиях.
Сопроводительное письмо
Составьте идеальное письмо к вакансии с ИИ-агентом
Откликнитесь уже сейчас
Присоединяйтесь к международной команде и реализуйте сложные Data-решения на стеке Databricks и Terraform — откликайтесь прямо сейчас!
Описание вакансии
ID 3046
Middle+
*❗️**❗️Гражданство: НЕ РФ, РБ❗️**❗️*
*❗️**❗️**❗️*Локация : весь Мир кроме РБ и РФ
ИТ-компания
- Длительность: до конца года
- Занятость: полная
- Локация: Весь мир, РБ под ВПНом, ЕС
- Рабочий график: МСК ± 2
- Формат: Удаленно
- Плановый срок рассмотрения кандидата: 7±3 дн.
- Дополнительно: обязательное наличие Mac для работы
- Роль: Data инженер
- Уровень: Middle+
- Количество: 1
- Английский: -
- Опыт работы в сфере Data Engineering от 3 лет;
- Уверенное владение Python и его распространенными фреймворками для обработки данных (например, Spark/PySpark для потоковой, пакетной и асинхронной обработки данных);
- Глубокие фундаментальные знания в области моделирования данных, распределенной обработки данных, SQL и архитектуры хранилищ данных / lakehouse;
- Наличие практического опыта развертывания облачных платформ данных и инфраструктуры (Databricks, GCP или AWS) с использованием Terraform является обязательным требованием, а также готовность изучать новые технологии для целей интеграции;
- Способность проектировать решения для доступа к данным и управления ими с использованием общепринятых шаблонов проектирования и различных инструментов проектирования;
- Четкое понимание бизнес-ценности поставляемых продуктов данных и средств контроля управления;
- Сильные навыки решения проблем, с акцентом на использование технических фактов и логических рассуждений;
- Отличные коммуникативные навыки и навыки сотрудничества, включая активное слушание и умение достигать консенсуса.
- Желателен предшествующий опыт в разработке программного обеспечения.
- Разрабатывать, развертывать и сопровождать пайплайны данных и системы управления данными на платформе Databricks (Unity Catalog, Delta Lake, Workflows);
- Проводить углубленный анализ данных, профилирование и обработку для классификации данных по доменам и обнаружения персональных данных (PII);
- Участвовать в проектировании систем доступа к данным, с фокусом на контракты данных, управление доступом к каталогам и автоматизацию выдачи/отзыва прав, реализованную как инфраструктура как код (Infrastructure-as-Code) с использованием Terraform;
- Взаимодействовать с коллегами для рецензирования и обеспечения эффективности, гибкости и возможности повторного использования архитектур доступа и контрактов;
- Обеспечивать развертывание продуктов данных и средств контроля доступа в соответствии с контрактами и их работу без непредусмотренных побочных эффектов;
- Создавать и поддерживать исчерпывающую документацию по контрактам данных, моделям доступа и процессам управления данными;
- Мониторить и сопровождать развернутые пайплайны и проверки качества, чтобы гарантировать их соответствие ожиданиям по качеству и производительности данных;
- Активно искать информацию и внутренние решения для обеспечения повторного использования и внедрения общих технологий платформы данных.
#Важно, резюме должно отражать:
- Расписано, чем занимался на каждом проекте
- Указаны навыки и программы которые использовались
Теги: #Data Engineer
*⚡️**⚡️**⚡️*писать Откликнуться
Создайте идеальное резюме с помощью ИИ-агента
Навыки
- AWS
- Python
- Terraform
- GCP
- SQL
- Infrastructure as Code
- PySpark
- Delta Lake
- Spark
- Databricks
Возможные вопросы на собеседовании
Проверка практического опыта работы с ключевым инструментом вакансии.
Расскажите о вашем опыте работы с Databricks Unity Catalog: как вы организовывали управление доступом и метаданными?
Вакансия требует обязательного владения Terraform для инфраструктуры данных.
Опишите процесс развертывания Data Lakehouse с использованием Terraform. С какими сложностями вы сталкивались при автоматизации прав доступа?
Проверка навыков оптимизации обработки больших данных.
Как вы подходите к оптимизации производительности PySpark-джобов при работе с очень большими объемами данных (skewness, spill to disk)?
В задачах указано обнаружение PII и классификация данных.
Какие подходы и инструменты вы использовали для автоматического обнаружения персональных данных (PII) в пайплайнах?
Проверка понимания архитектурных паттернов.
