- Страна
- Россия
Откликайтесь
на вакансии с ИИ
Senior Data Platform Engineer / Big Data SRE
Оценка ИИИнтересный стек технологий (Arenadata, Kafka, ClickHouse) и четко прописанные задачи. Однако проектная занятость (7 месяцев) может быть менее привлекательной для тех, кто ищет долгосрочную стабильность в штате.
Сложность вакансии
Оценка ИИВысокая сложность обусловлена необходимостью глубоких знаний в администрировании специфических MPP-систем (Greenplum) и Kafka на уровне инфраструктуры, а не просто использования. Требуется опыт работы с высоконагруженными enterprise-системами и навыки автоматизации (IaC).
Анализ зарплаты
Оценка ИИДля роли Senior Data Platform Engineer на российском рынке медиана составляет около 350 000 - 450 000 рублей. Данная позиция требует редких компетенций в Greenplum, что может поднять планку выше среднего.
Сопроводительное письмо
Составьте идеальное письмо к вакансии с ИИ-агентом
Откликнитесь уже сейчас
Если вы готовы развивать крупную платформу данных и работать с Greenplum и Kafka на экспертном уровне, откликайтесь прямо сейчас!
Описание вакансии
#vacancy#вакансия#job#DataPlatformEngineer
Senior Data Platform Engineer / Big Data SRE
Грейд: Middle+/Senior
Локация: РФ
Формат работы: удаленный
Срок привлечения: 7 месяцев с возможной пролонгацией
Эксплуатация и развитие крупной корпоративной платформы данных в промышленной компании.
Обязанности:
- Эксплуатация и развитие платформы
- Администрирование и сопровождение Data Platform (Arenadata DB / Greenplum, Kafka, ClickHouse)
- Управление кластерами хранения и обработки данных
- Настройка и поддержка отказоустойчивости (HA), репликаций, балансировки
- Управление обновлениями, патчами и релизами
Kafka и потоковые данные
- Администрирование Kafka-кластеров (topology, partitioning, replication, retention)
- Тюнинг producer/consumer, работа с lag и производительностью
- Поддержка потоковых ETL и ingestion pipelines
Интеграции и работа с данными
- Интеграция платформы с DWH, BI и ML-системами (тоже обязательно явно)
- Поддержка и развитие контуров передачи и обработки данных между системами
- Участие в обеспечении стабильности data pipelines
Производительность и надежность
- Мониторинг платформы (Prometheus, Grafana, ELK/OpenSearch)
- Анализ производительности (SQL, storage, network)
- Оптимизация запросов и работы кластеров
- Реагирование на инциденты (L2/L3), проведение root cause analysis
Инфраструктура и автоматизация
- Автоматизация эксплуатации (Bash / Python / Ansible / Terraform)
- Развитие CI/CD для инфраструктуры данных
- Управление конфигурациями (Infrastructure as Code)
Интеграции и доступы
- Интеграция с DWH, BI и ML системами
- Настройка RBAC и контроль доступа
Доступы и безопасность
- Настройка RBAC и разграничения доступа
Командная работа
- Подготовка документации и инструкций
- Передача знаний и участие в менторстве
Требования:
- Опыт администрирования Data Platform / Big Data / DWH от 3 лет
- Уверенное знание Linux (RHEL/CentOS/Ubuntu) на уровне системного администрирования
- Практический опыт эксплуатации production-кластеров: Arenadata DB / Greenplum (или аналогичные MPP-системы), Apache Kafka (обязательно с опытом администрирования, не только использования), ClickHouse
- Понимание распределенных систем: репликация, партиционирование, отказоустойчивость, сетевые взаимодействия (TCP/IP), storage
- Опыт работы с: PostgreSQL / Greenplum архитектурой, оптимизацией SQL-запросов
- Практика работы с Kafka: настройка топиков и retention policy, работа с replication / partitioning, performance tuning producer/consumer
- Навыки автоматизации: Bash и/или Python, Ansible и/или Terraform
- Опыт мониторинга: Prometheus, Grafana, ELK / OpenSearch
- Опыт работы с инцидентами: L2/L3 support, root cause analysis
Будет преимуществом:
- Docker / Kubernetes
- Hadoop ecosystem
- Spark / Flink
- Airflow
- Опыт работы с высоконагруженными enterprise DWH
- Опыт в промышленности / телекоме / финтехе
телеграм для связи Откликнуться
Создайте идеальное резюме с помощью ИИ-агента
Навыки
- Python
- Linux
- Terraform
- Kubernetes
- Bash
- Prometheus
- Grafana
- PostgreSQL
- Docker
- Apache Spark
- Hadoop
- Apache Flink
- Apache Airflow
- Apache Kafka
- Ansible
- ELK
- ClickHouse
- OpenSearch
- Greenplum
Возможные вопросы на собеседовании
Проверка понимания архитектуры Greenplum и умения решать проблемы производительности.
Расскажите о вашем опыте устранения перекоса данных (data skew) в Greenplum. Какие инструменты и методы вы использовали?
Оценка навыков администрирования Kafka и понимания механизмов обеспечения надежности.
Как вы будете настраивать Kafka для обеспечения гарантии доставки 'exactly once' и как это повлияет на производительность?
Проверка навыков траблшутинга в распределенных системах.
Опишите ваш алгоритм действий при обнаружении значительного лага (lag) в потребителях Kafka в production-среде.
Оценка опыта работы с ClickHouse и понимания его специфики.
В каких случаях вы выберете движок ReplicatedMergeTree в ClickHouse и какие нюансы при работе с ZooKeeper/Keeper нужно учитывать?
Проверка навыков автоматизации и культуры IaC.
Как вы организуете процесс обновления конфигураций кластеров через Ansible/Terraform, чтобы минимизировать риски простоя (downtime)?
Похожие вакансии
MlOps / Python Backend Engineer (ML)
Senior/Middle Data Engineer
Senior Data Scientist
Middle+/Senior ML Engineer
Middle/Senior ML разработчик
Senior ML разработчик (Медицина)
1000+ офферов получено
Устали искать работу? Мы найдём её за вас
Quick Offer улучшит ваше резюме, подберёт лучшие вакансии и откликнется за вас. Результат — в 3 раза больше приглашений на собеседования и никакой рутины!
- Страна
- Россия