Откликайтесь
на вакансии с ИИ
Senior DevOps Engineer (DWH/ML Platform)
Оценка ИИОтличная вакансия для опытного инженера с современным стеком (AWS, K8s, Terragrunt) и интересными задачами на стыке DevOps и Data Engineering. Высокий балл за технологическую сложность и актуальность домена.
Сложность вакансии
Оценка ИИРоль требует экспертных знаний Kubernetes и AWS, а также специфического опыта с Big Data стеком (Trino, Spark, Iceberg) и NoSQL базами. Высокий порог входа обусловлен необходимостью поддержки сложной инфраструктуры для ML и Data Lake.
Анализ зарплаты
Оценка ИИЗарплата в объявлении не указана, но для позиции Senior DevOps с таким глубоким стеком в области Big Data и ML, рыночные предложения обычно находятся в верхнем диапазоне. Учитывая требования к экспертности в AWS и K8s, кандидат может претендовать на компенсацию выше среднего по рынку DevOps.
Сопроводительное письмо
Составьте идеальное письмо к вакансии с ИИ-агентом
Откликнитесь уже сейчас
Если вы готовы строить масштабируемую Data-платформу на острие технологий, откликайтесь прямо сейчас!
Описание вакансии
Senior DevOps Engineer (DWH/ML Platform)
Ищем DevOps-инженера, который не просто «держит прод», а строит масштабируемую платформу для работы с данными. Вам предстоит развивать инфраструктуру, на которой крутятся Trino, Spark и ML-модели, используя лучшие практики IaC и Kubernetes.
Технологический стек
Core Infra: AWS (EKS, VPC, IAM), Kubernetes, Terragrunt
CI/CD: GitLab CI
Compute & Query: Trino, Apache Spark
Storage: S3 (Data Lake, Apache Iceberg), ClickHouse, ScyllaDB
Orchestration: Apache Airflow (Kubernetes Executor)
Observability: Prometheus, Grafana, ELK
Deployment: Helm
Чем предстоит заниматься
Развитие Kubernetes-платформы (EKS)
Написание и поддержка сложных Helm-чартов для stateful-приложений (Trino, ClickHouse, Solr, ScyllaDB).
Управление ресурсами, автомасштабированием (HPA/VPA, Cluster Autoscaler, Karpenter).
Настройка сетевых политик, Ingress, service mesh при необходимости.
Infrastructure as Code
Полное описание инфраструктуры через Terragrunt: EKS-кластеры, VPC, IAM, S3, RDS и др.
Поддержка принципа DRY, управление стейтами в AWS S3.
Структурирование кода для нескольких окружений (dev/stage/prod).
CI/CD пайплайны
Построение процессов доставки кода и данных через GitLab CI.
Настройка GitLab Runners (в т.ч. на Kubernetes), кэширование артефактов.
Автоматизация тестирования инфраструктуры, Helm-чартов и Terraform-модулей.
Observability
Настройка сбора метрик через Prometheus (ServiceMonitors, PodMonitors, Exporters).
Визуализация в Grafana: дашборды для Data-компонентов и инфраструктуры.
Настройка алертинга для критичных сценариев: лаг репликации, очередь задач Spark/Airflow, утилизация ресурсов.
Централизованный сбор логов.
Data Ops
Поддержка кластеров Trino и Spark, обеспечение их взаимодействия с S3 (Iceberg) и базами данных (Solr, ScyllaDB).
Настройка Airflow на Kubernetes Executor, помощь DE-команде с инфраструктурными вопросами.
Участие в работе с инцидентами.
ML Support
Обеспечение стабильной работы сервисов ML (Solr, ScyllaDB, Redis) в продакшене.
Поддержка инфраструктуры для MLflow, Feast, inference-сервисов.
Что хотим видеть:
Если вы не работали с инструментами ниже, нам, к сожалению, будет сложно:
Kubernetes (Expert level): Вы не просто используете готовые манифесты, а понимаете внутренности EKS, умеете писать собственные Helm-чарты с нуля и дебажить сложные проблемы (OOMKilled, Pending pods, PVC issues, networking).
IaC: Умение структурировать код для нескольких окружений (dev/stage/prod).
GitLab CI: Глубокое понимание .gitlab-ci.yml, опыт настройки пайплайнов со сложной логикой.
AWS: Понимание сетевого взаимодействия и управления правами (IAM Policies/Roles, IRSA).
Опыт эксплуатации Big Data стека: например Trino (Presto), Spark, Airflow.
Опыт работы с колоночными NoSQL (ScyllaDB/Cassandra).
Опыт работы с поисковыми движками (Solr или Elasticsearch).
Понимание процессов MLOps и опыт с ML-инфраструктурой (MLflow, Feast, KServe).
Опыт с GitOps (ArgoCD, Flux).
Опыт работы с Apache Iceberg и Data Lake архитектурой.
Создайте идеальное резюме с помощью ИИ-агента
Навыки
- Kubernetes
- AWS
- EKS
- Terragrunt
- Terraform
- GitLab CI
- Helm
- Trino
- Apache Spark
- Apache Airflow
- ClickHouse
- ScyllaDB
- Prometheus
- Grafana
- ELK
- MLflow
- ArgoCD
- GitOps
- Apache Iceberg
- Redis
- Solr
Возможные вопросы на собеседовании
Проверка глубокого понимания работы stateful-приложений в K8s, что критично для Trino и ScyllaDB.
Расскажите о вашем опыте деплоя stateful-приложений в Kubernetes. С какими проблемами при работе с PVC и сетевыми политиками вы сталкивались?
Вакансия требует использования Terragrunt для управления сложной инфраструктурой.
Как вы организуете структуру Terragrunt для обеспечения принципа DRY при наличии множества окружений (dev/stage/prod) и регионов?
Важно понимать, как кандидат обеспечивает стабильность специфических для данных инструментов.
Какие ключевые метрики вы бы вынесли на дашборд Grafana для мониторинга кластера Trino и Apache Airflow?
Проверка навыков траблшутинга в AWS EKS.
Как вы будете диагностировать и устранять причины частого возникновения OOMKilled в Spark-джобах, запущенных в Kubernetes?
Оценка опыта в MLOps, заявленного в требованиях.
Опишите ваш опыт работы с MLflow или Feast. Как вы обеспечиваете интеграцию этих инструментов с основной инфраструктурой?
Похожие вакансии
DevOps инженер (Middle+/Senior)
Senior DevOps
DevOps Engineer (Senior)
Senior DevOps Engineer (Part-time)
Инженер-программист DevOps [Senior]
DevOps (senior)
1000+ офферов получено
Устали искать работу? Мы найдём её за вас
Quick Offer улучшит ваше резюме, подберёт лучшие вакансии и откликнется за вас. Результат — в 3 раза больше приглашений на собеседования и никакой рутины!