- Страна
- Россия
DevOps (Big Data focus)
Оценка ИИИнтересная вакансия для специалистов, желающих работать на стыке DevOps и Data Engineering. Ограничение по локации (только РФ) и сжатые сроки найма могут быть критичными, но стек технологий очень актуален и востребован.
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
Улучшите резюме под эту вакансию
Возьмём требования и создадим новую версию резюме с акцентом на нужный опыт
Сложность вакансии
Оценка ИИВысокая сложность обусловлена необходимостью глубоких знаний не только в классическом DevOps (K8s, Terraform), но и в специфическом Big Data стеке (Greenplum, Spark, Airflow). Требуется умение работать с форматами данных и специфическими инструментами интеграции, такими как gpfdist и PXF.
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
Анализ зарплаты
Оценка ИИЗарплата в объявлении не указана, но для DevOps-инженера с глубокой экспертизой в Big Data (Spark, Greenplum) рыночные предложения в РФ обычно выше среднего по рынку DevOps. Специалисты такого профиля крайне востребованы в финтехе и ритейле.
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
Сопроводительное письмо
Составьте сопроводительное письмо под эту вакансию с вашим резюме
Описание вакансии
DеvOps
локация ТОЛЬКО РФ
Cloud amp; Infra: Опыт развертывания и настройки managed-кластеров Spark (Yandex Data Proc, Google Dataproc, AWS EMR).Владение Terraform или Ansible, настройка VPC, VPN, Security Groups между Greenplum и Spark. Docker/Kubernetes. Big Data стек: Архитектура Greenplum и способы интеграции/выгрузки (gpfdist, PXF, JDBC). Архитектура Spark (Driver, Executor, History Server), управление ресурсами, оркестрация в Apache Airflow. Форматы Parquet, ORC, Avro. CI/CD amp; Monitoring: Prometheus, Grafana, ELK для Spark-джобов. Настройка GitLab CI / Jenkins. Скриптинг: Python (PySpark) или Scala для инфраструктуры/отладки, Bash.
Spark, Greenplum, gpfdist, PXF, JDBC, Parquet, ORC, Avro, PySpark, Scala, Airflow.-обязательно
Пишем сразу с резюме в ТГ!)
нужно СЕГОДНЯ)
Больше похожих вакансий + автоотклики с ИИ
Умный подбор, сопроводительные письма, советы по отказам — больше приглашений.
Навыки
- Apache Spark
- Greenplum
- Terraform
- Ansible
- Docker
- Kubernetes
- Apache Airflow
- Prometheus
- Grafana
- ELK stack
- GitLab CI
- Jenkins
- Python
- PySpark
- Scala
- Bash
- Parquet
- Avro
Возможные вопросы на собеседовании
Проверка понимания специфики интеграции Spark с Greenplum.
Расскажите о вашем опыте настройки gpfdist и PXF для обмена данными между Greenplum и Spark. С какими проблемами производительности вы сталкивались?
Оценка навыков управления ресурсами в Spark.
Как вы подходите к настройке ресурсов (memory, cores) для Spark Driver и Executor в динамической среде Kubernetes или Yandex Data Proc?
Проверка навыков Infrastructure as Code.
Опишите структуру вашего Terraform модуля для развертывания VPC и настройки Security Groups для обеспечения безопасности взаимодействия между компонентами Big Data.
Оценка опыта в мониторинге специфических нагрузок.
Какие ключевые метрики Spark-джобов вы выводите в Grafana и как настраиваете алертинг в Prometheus для предотвращения падения пайплайнов?
Проверка навыков автоматизации.
Как вы организуете CI/CD процесс для Spark-приложений с использованием GitLab CI, включая этапы тестирования и деплоя в разные окружения?
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
