Data-аналитик (DWH)

Описание вакансии

ID 2437

Data-аналитик (DWH)

Senior

🌍 Локация: РФ (нет удаленки из др стран)

💼Сотрудничество : по ИП РФ

Eclipse Digital - наниматель

О проекте: Инвестиционная платформа

Обязательные требования:

• Опыт работы с данными не менее 6 лет (senior);
• Глубокое понимание реляционных БД: структура данных, методы загрузки и управления;
• Навыки разработки и оптимизации сложных SQL-запросов, включая использование оконных функций, CTE и маппингов между БД;
• Умение проектировать и создавать модели данных, ориентированные на аналитические задачи и эффективное функционирование DWH;
• Знание принципов нормализации и денормализации, типов схем (звезда, снежинка) и их правильное применение;
• Способность строить стабильные и масштабируемые модели данных с учётом особенностей источников и целевых систем;
• Владение методологиями Data Vault и другими современными подходами для обеспечения прозрачности, истории изменений и восстановления данных;
• Опыт в документировании моделей и обеспечении их совместимости с процессами ETL/ELT и бизнес-метриками;
• Способность управлять изменениями моделей при росте объёмов данных и корректировках аналитических требований;
• Навыки создания и поддержки ETL/ELT конвейеров;
• Опыт оркестрации процессов средствами Apache Airflow, настройка DAG, автоматизация и мониторинг ETL задач;
• Понимание методологии и практик DataOps для версионирования моделей, тестирования, мониторинга и безопасного разворачивания;
• Владение навыками документирования процессов и работы с технической документацией;

❗️ Практический опыт работы с технологиями:

• язык программирования: Python
• объектное хранилище: S3
• стриминг данных: Kafka
• реляционные СУБД: Postgres, MSSQL
• NoSQL: MongoDB
• аналитическая СУБД: Clickhouse;

Будет плюсом:

• Знание систем контроля версий (Git), контейнеризации (Docker);
• Опыт работы на проектах в компаниях финтех.
• Умение разрабатывать модели данных и трансформации с помощью dbt, знание SQL и шаблонизации в dbt

Soft-skills:

• Способность работать в кросс-функциональной команде
• Понимание бизнес-задач
• Внимательность к деталям и ответственность за результат
• Способность четко формулировать мысли
• Умение расставлять приоритеты
• Самоорганизация и проактивность в решении технических и организационных вопросов

Задачи:

• Анализ источников данных в легаси БД MSSQL: сбор информации о наполнении, выявление ключевых бизнес-сущностей и зависимостей, регламентных операций; (хорошо, если будут задачи у специалиста с работой по легаси)
• Проектирование и оптимизация потоков переноса данных из MSSQL в новое хранилище;
• Разработка и поддержка моделей данных;
• Организация и автоматизация процессов оркестрации с Airflow: запуск, мониторинг, алерты, управление зависимостями тасок и дагов; (хорошо, чтобы было расписано, что делал в airflow)
• Обеспечение качества, тестирование данных и их целостности при миграции и трансформации;
• Внедрение и сопровождение процессов инкрементальной загрузки и оптимизации производительности;
• Работа с потоками данных и интеграция с Kafka для обмена и передачи событий в реальном времени.

Откликнуться можно

1. в telegram Откликнуться
2. в Откликнуться

veroneko_93911