- Страна
- Россия
- Зарплата
- 250 000 ₽ – 270 000 ₽
Откликайтесь
на вакансии с ИИ
DevOps Engineer (Data Platform & OT Integration)
Оценка ИИИнтересный и сложный проект на стыке Big Data и промышленной автоматизации (Industry 4.0). Хорошая вилка для удаленного формата, однако требуется очень специфический набор навыков.
Сложность вакансии
Оценка ИИВысокая сложность обусловлена необходимостью работы в изолированных (Air-Gapped) средах и спецификой интеграции с промышленными OT-системами. Требуется глубокая экспертиза как в классическом DevOps/K8s, так и в Big Data стеке (Iceberg, Spark, Flink).
Анализ зарплаты
Оценка ИИПредложенная вилка (250-270к на руки для ИП/СЗ) находится на уровне среднерыночных значений для Senior DevOps в России, но может быть несколько занижена для специалиста с глубоким знанием Big Data стека и OT-интеграций, где рыночный медиан выше.
Сопроводительное письмо
Составьте идеальное письмо к вакансии с ИИ-агентом
Откликнитесь в ДИЭНЭЙ уже сейчас
Если вы готовы строить сложную Data-инфраструктуру в изолированных контурах, откликайтесь прямо сейчас!
Описание вакансии
Компания: ДИЭНЭЙ (проект табачной компании)
Формат: Удаленно (Оформление ИП/СЗ)
Вилка 250 000-270 000
DevOps Engineer (Data Platform & OT Integration)
Проект: Построение платформы Data Ocean (Lakehouse/Streamhouse) и интеграция с производственными OT-системами.
Проект предполагает развертывание инфраструктуры в изолированных контурах (без доступа в интернет) и интеграцию с промышленными системами (OPC UA, MQTT). Нам нужен инженер, который сможет не просто поддерживать инфраструктуру, а выстроить надежный, автоматизированный и безопасный фундамент для Data Engineering и OT-интеграции.
◾️Ключевые задачи:
Построение Data-платформы: Развертывание и администрирование компонентов Lakehouse/Streamhouse: Apache Iceberg, Apache Paimon, MinIO (S3), Apache Spark, Apache Flink, StarRocks/Trino.
Интеграция с OT-системами: Настройка шлюзов для сбора данных с промышленных датчиков и контроллеров (OPC UA, MQTT), обеспечение надежной доставки данных в Kafka.
CDC и ETL: Настройка процессов Change Data Capture (Debezium/Kafka Connect) для синхронизации данных из ERP/CRM систем.
Kubernetes & GitOps: Управление кластерами Kubernetes (в т.ч. Edge-решениями, если потребуется), разработка Helm-чартов, настройка GitOps-процессов.
CI/CD для Data-инфраструктуры: Построение пайплайнов для сборки и деплоя Data-сервисов, автоматизация тестирования конфигураций.
Работа в изолированных средах: Организация локальных репозиториев (Nexus), настройка прокси-серверов, автоматизация деплоя в контурах без интернета.
Безопасность и Мониторинг: Интеграция с HashiCorp Vault для управления секретами, настройка мониторинга (Prometheus/Grafana) для Big Data-компонентов (метрики Spark/Flink, Kafka Lag, состояние Iceberg).
‼️Требования:
Опыт работы: от 5 лет в роли DevOps SRE.
Kubernetes: Глубокое понимание архитектуры K8s (Pods, Deployments, StatefulSets, Probes, Network Policies). Опыт запуска Big Data-задач (Spark/Flink) в Kubernetes через Operators.
Data Stack: Практический опыт работы с Apache Spark, Apache Flink, Apache Kafka. Понимание принципов работы Apache Iceberg или Apache Paimon. Опыт работы с S3-совместимыми хранилищами (MinIO).
CI/CD & IaC: Опыт построения пайплайнов в Jenkins. Знание Terraform и Ansible.
Linux & Сети: Уверенное знание Linux (администрирование, диагностика, скриптинг на Bash/Python). Понимание сетевых протоколов (TCP/IP, HTTP, TLS).
Мониторинг: Опыт настройки мониторинга для распределенных систем (Prometheus, Grafana, Loki/ELK).
Знание Git, опыт работы с GitLab/Jira/Confluence.
Английский: Уровень чтения технической документации (B1+).
Будет большим плюсом:
Опыт работы с Apache StarRocks или Trino.
Опыт настройки CDC (Debezium) и работы с Kafka Connect.
Опыт работы в изолированных (Air-Gapped) средах.
Знание протоколов промышленной автоматизации (OPC UA, MQTT).
Опыт работы с Apache Airflow.
Создайте идеальное резюме с помощью ИИ-агента
Навыки
- Python
- Linux
- Terraform
- Kubernetes
- Helm
- Bash
- Prometheus
- Grafana
- GitOps
- Apache Spark
- Jenkins
- Apache Iceberg
- Apache Flink
- Apache Airflow
- Apache Kafka
- Kafka Connect
- MQTT
- Ansible
- HashiCorp Vault
- Trino
- OPC UA
- Debezium
- StarRocks
- MinIO
- Apache Paimon
Возможные вопросы на собеседовании
Проект предполагает работу без доступа в интернет. Важно понимать, как кандидат будет обеспечивать доставку зависимостей и обновлений.
Расскажите о вашем опыте организации инфраструктуры в Air-Gapped средах. Как вы настраиваете локальные репозитории и зеркала?
Вакансия требует запуска Spark и Flink внутри K8s. Это специфическая область, требующая знания операторов.
Какие особенности и сложности возникают при запуске Spark-задач в Kubernetes через Operators по сравнению с классическим деплоем?
Интеграция с промышленными датчиками — ключевая часть проекта. Проверяется знание специфических протоколов.
Работали ли вы с протоколами OPC UA или MQTT? Как обеспечить отказоустойчивость шлюзов при передаче данных в Kafka?
Lakehouse архитектура требует особого подхода к хранению. Проверяется знание современных форматов таблиц.
В чем разница между Apache Iceberg и Apache Paimon с точки зрения администрирования и хранения данных в S3?
Безопасность в изолированных контурах критична. Проверяется навык управления секретами.
Как вы интегрируете HashiCorp Vault с приложениями в Kubernetes для динамического получения секретов?
Похожие вакансии
Senior / Lead DevOps (Platform / SRE)
Devops-инженер
Senior DevOps
DevOps (Middle+)
DevOps Middle, Middle+, Senior
DevOps (Middle)
1000+ офферов получено
Устали искать работу? Мы найдём её за вас
Quick Offer улучшит ваше резюме, подберёт лучшие вакансии и откликнется за вас. Результат — в 3 раза больше приглашений на собеседования и никакой рутины!