Senior Data Engineer

Описание вакансии

#senior #удаленка

Flowwow

Senior Data Engineer

Полная занятость

Формат работы: можно удалённо

*☑️* Чем предстоит заниматься

-Развивать ядро платформы: фреймворк Data Vault, обвязку Airflow, lineage-инструменты — проектировать API, которыми будут пользоваться другие инженеры, и нести за них ответственность

-Писать библиотеки и фреймворки на Python: клиенты к источникам, инструменты тестирования пайплайнов, обёртки над инфраструктурой. Чистый код, типизация, тесты, ревью — это у нас норма, а не аспирация

-Работать с lakehouse на глубине: Iceberg maintenance и оптимизация layout'а таблиц, тюнинг Trino, Spark-джобы для тяжёлых трансформаций

-Строить интеграции с источниками: OLTP-базы, REST/gRPC API, Kafka, файловые хранилища, SaaS-системы — и проектировать унифицированные интерфейсы, чтобы подключение нового источника занимало часы, а не недели

-Внедрять AI в инженерные процессы: агенты для расследования инцидентов и анализа качества данных, ассистенты для DAG'ов и code review. У нас уже есть работающая агентная инфраструктура (LangGraph, MCP) — её можно и нужно развивать

-Участвовать в архитектурных решениях: выбор технологий, дизайн интерфейсов между компонентами, вынесение best practices в команду

-Делать code review и менторить менее опытных коллег

*☑️* Наши пожелания к кандидатам

-Промышленный опыт от 5 лет в data engineering или backend-разработке с сильным дата-уклоном: production-системы под реальной нагрузкой, ответственность за их эксплуатацию, а не только за написание кода

-Python — главное требование. Уровень senior разработчика: ООП, проектирование API библиотек, типизация, тесты, опыт написания переиспользуемых компонентов, которыми пользовались другие люди

-Lakehouse-стек на практике. Apache Iceberg (или Delta/Hudi с готовностью быстро переключиться): устройство таблиц, snapshots, компакция, schema evolution. Понимание, чем lakehouse отличается от классического DWH не на уровне статьи на Medium

-Trino или другой MPP-движок: архитектура распределённого выполнения, чтение планов запросов, оптимизация, опыт работы с коннекторами

-Apache Airflow глубоко: не только разработка DAG'ов, но и внутреннее устройство (scheduler, executors, метаданные), опыт написания собственных операторов и хуков

-Apache Spark: PySpark, Spark SQL, понимание модели выполнения

-SQL продвинутого уровня: оконные функции, CTE, оптимизация, чтение планов исполнения, работа с большими объёмами

-Git, CI/CD — уверенно

-Будет сильным плюсом

-Опыт разработки внутренних платформенных инструментов или фреймворков, которыми пользуются другие команды

-AI-native подход к разработке: активное использование Claude Code / Codex и подобных инструментов, опыт построения harness-систем — агентов с инструментами, автоматизации через LLM, RAG

-Kubernetes: деплой и эксплуатация дата-сервисов, Helm, понимание ресурсной модели

-Опыт с CDC (Debezium, Kafka Connect) и стриминговыми пайплайнами

-Знание форматов хранения (Parquet: row groups, статистики, predicate pushdown)

-Опыт работы с системами контроля доступа к данным (OPA, row-level security, маскирование)

-Условия

-полная занятость

-оформление: трудовой договор

-график: 5/2

-удаленный формат работы

-уровень дохода обсуждается на этапах найма

Контакты: Откликнуться

*🔥* Подписаться на наши каналы / Откликнуться / Откликнуться