QA Specialist (Data Engineering)
Оценка ИИИнтересная вакансия для специалистов, желающих развиваться на стыке QA и Big Data. Удаленный формат работы и работа с современным стеком (StarRocks, Trino, Spark) делают предложение привлекательным, хотя отсутствие указанной зарплаты является минусом.
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
Сложность вакансии
Оценка ИИРоль требует глубоких знаний не только в QA, но и в Data Engineering: продвинутый SQL, понимание архитектуры Data Lake и опыт работы с Big Data инструментами (Spark, Flink). Высокий порог входа из-за необходимости совмещать навыки автоматизатора на Python и аналитика данных.
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
Анализ зарплаты
Оценка ИИВ объявлении не указан уровень вознаграждения, однако для позиции QA в области Data Engineering с таким стеком рыночные предложения обычно выше среднего по рынку QA Automation. Специалисты с навыками Big Data и продвинутым SQL высоко ценятся в финтехе и крупных ИТ-компаниях.
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
Сопроводительное письмо
Составьте сопроводительное письмо под эту вакансию с вашим резюме
Описание вакансии
*💚*Вакансия: QA Specialist (Data Engineering)
*💚*ID: 2691
*💚*Формат: Удаленный
*💚*Куда: ИТ-компания
*💚*Задачи:
– Тестирование backend-систем в среде Big Data;
– Разработка автоматизированных тестов и скриптов для анализа данных на Python;
– Написание и поддержка тестов с использованием pytest и unittest;
– Проверка корректности обработки и хранения данных, анализ результатов выполнения запросов SQL;
– Настройка и поддержка CI/CD-пайплайнов для автоматического запуска тестов;
– Мониторинг и анализ метрик выполнения пайплайнов с использованием Grafana и Prometheus;
– Работа с распределёнными хранилищами данных и инструментами обработки больших объёмов информации.
*💚*Требования:
– Опыт тестирования backend-систем в Big Data;
– Уверенное владение Python для автоматизации тестирования и анализа данных;
– Продвинутый уровень SQL: оконные функции, CTE, оптимизация запросов;
– Понимание различий между диалектами SQL, включая Trino, StarRocks и PostgreSQL;
– Опыт работы с Git и GitLab CI/CD, включая настройку пайплайнов тестирования;
– Знание архитектуры Data Lake/Data Lakehouse, опыт работы с S3 и форматами Parquet/ORC;
– Базовое понимание принципов работы Apache Spark или Flink;
– Опыт работы с PostgreSQL;
– Навыки использования Grafana и Prometheus для мониторинга и анализа метрик.
*💚*Откликнуться: Откликнуться
#QA #специалист #ekleft #вакансия
Мы в Откликнуться *💬 | [ВК](https://vk.com/EkleftJob) 💙 | [Max](https://max.ru/join/ukA1_SC3JlZ5b7n9oQzxgXdsexI66XUPb9W9VUlUTSc) 💬 | {{apply_contact}} 💚 | [Как зарегистрироваться](https://career.ekleft.ru/faq/kak-zaregistrirovatsya-i-nachat-polzovatsya-ekleft-bot) 🌐*
Больше похожих вакансий + автоотклики с ИИ
Умный подбор, сопроводительные письма, советы по отказам — больше приглашений.
Навыки
- Python
- PyTest
- unittest
- SQL
- Trino
- StarRocks
- PostgreSQL
- Git
- GitLab CI/CD
- S3
- Parquet
- ORC
- Apache Spark
- Apache Flink
- Grafana
- Prometheus
- Big Data
- Data Lake
Возможные вопросы на собеседовании
Проверка понимания специфики тестирования больших данных и форматов хранения.
В чем заключаются основные сложности тестирования данных в форматах Parquet и ORC по сравнению с классическими реляционными БД?
Оценка навыков написания сложных SQL-запросов для валидации данных.
Приведите пример использования оконных функций для поиска дубликатов или пропусков в данных в рамках одного ETL-процесса.
Проверка опыта работы с распределенными системами обработки.
Как бы вы организовали процесс тестирования Spark-задания, которое обрабатывает терабайты данных? На что обратили бы внимание в первую очередь?
Оценка навыков интеграции тестов в процесс разработки.
Опишите ваш опыт настройки GitLab CI/CD пайплайна для автоматического запуска тестов качества данных (Data Quality tests).
Проверка умения работать с инструментами мониторинга.
Какие метрики в Grafana/Prometheus наиболее критичны для отслеживания здоровья пайплайнов обработки данных с точки зрения QA?
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
