Data инженер (Middle+)

Описание вакансии

ID 3046

#Data #инженер

Middle+

*❗️**❗️Гражданство: НЕ РФ, РБ❗️**❗️*

*❗️**❗️**❗️*Локация : весь Мир кроме РБ и РФ

ИТ-компания

• Длительность: до конца года
• Занятость: полная
• Локация: Весь мир, РБ под ВПНом, ЕС
• Рабочий график: МСК ± 2
• Формат: Удаленно
• Плановый срок рассмотрения кандидата: 7±3 дн.
• Дополнительно: обязательное наличие Mac для работы

#Позиция:

• Роль: Data инженер
• Уровень: Middle+
• Количество: 1
• Английский: -

#Обязательно:

• Опыт работы в сфере Data Engineering от 3 лет;
• Уверенное владение Python и его распространенными фреймворками для обработки данных (например, Spark/PySpark для потоковой, пакетной и асинхронной обработки данных);
• Глубокие фундаментальные знания в области моделирования данных, распределенной обработки данных, SQL и архитектуры хранилищ данных / lakehouse;
• Наличие практического опыта развертывания облачных платформ данных и инфраструктуры (Databricks, GCP или AWS) с использованием Terraform является обязательным требованием, а также готовность изучать новые технологии для целей интеграции;
• Способность проектировать решения для доступа к данным и управления ими с использованием общепринятых шаблонов проектирования и различных инструментов проектирования;
• Четкое понимание бизнес-ценности поставляемых продуктов данных и средств контроля управления;
• Сильные навыки решения проблем, с акцентом на использование технических фактов и логических рассуждений;
• Отличные коммуникативные навыки и навыки сотрудничества, включая активное слушание и умение достигать консенсуса.

#Желательно:

• Желателен предшествующий опыт в разработке программного обеспечения.

#Задачи:

• Разрабатывать, развертывать и сопровождать пайплайны данных и системы управления данными на платформе Databricks (Unity Catalog, Delta Lake, Workflows);
• Проводить углубленный анализ данных, профилирование и обработку для классификации данных по доменам и обнаружения персональных данных (PII);
• Участвовать в проектировании систем доступа к данным, с фокусом на контракты данных, управление доступом к каталогам и автоматизацию выдачи/отзыва прав, реализованную как инфраструктура как код (Infrastructure-as-Code) с использованием Terraform;
• Взаимодействовать с коллегами для рецензирования и обеспечения эффективности, гибкости и возможности повторного использования архитектур доступа и контрактов;
• Обеспечивать развертывание продуктов данных и средств контроля доступа в соответствии с контрактами и их работу без непредусмотренных побочных эффектов;
• Создавать и поддерживать исчерпывающую документацию по контрактам данных, моделям доступа и процессам управления данными;
• Мониторить и сопровождать развернутые пайплайны и проверки качества, чтобы гарантировать их соответствие ожиданиям по качеству и производительности данных;
• Активно искать информацию и внутренние решения для обеспечения повторного использования и внедрения общих технологий платформы данных.

#Важно, резюме должно отражать:

• Расписано, чем занимался на каждом проекте
• Указаны навыки и программы которые использовались

Теги: #Data Engineer

*⚡️**⚡️**⚡️*писать Откликнуться