Data инженер

Описание вакансии

#9408

Data инженер

Локация: не важно

Формат работы: удалено

Требования:

• От 3 лет коммерческой разработки;
• От 2 лет - разработка систем, которые вышли в промышленную эксплуатацию;
• От 2 лет - BigData;
• Глубокие теоретические знания стека технологий и практический опыт;
• Умение давать и принимать обратную связь;
• Опыт работы с бизнес требованиями (сбор, формирование требований, анализ), опыт работы в условиях постоянно меняющихся требований;
• Опыт написания программ распределенных вычислений (Spark) и ETL процессов;
• Опыт проведения Code Review;
• Опыт/понимание разработки и проектирования архитектуры БД, создание и манипуляции с БД;
• Опыт оптимизации запросов;
• Понимание процессов CI/CD;
• Опыт написания unit тестов;
• Знание стека: Python 3.5+, Spark 2.2+, Hadoop, Hive, Airflow, Kubernetes (K8S), SQLAlchemy, PostgresQL, Greenplum, PyTest / Unittest, Flake8 / PyLint, Black, Docker, Git, GitLab, CI / CD, разрешение конфликтов, Shell, Linux.

Задачи:

• Разработка низкоуровневой архитектуры систем больших данных, на основании информации полученной от аналитиков и архитекторов;
• Разработка документа, описывающего низкоуровневую архитектуру разрабатываемых систем больших данных;
• Разработка программного кода систем больших данных;
• Подготовка документации, описывающей алгоритмы разработанных систем больших данных;
• Разработка Unit тестов для программного кода систем больших данных;
• Подготовка и сборка установочных пакетов, для установки разработанных решений на промышленную среду;
• Проведение плановых работ по оптимизации программного кода разработанных систем больших данных;
• Исправление дефектов в разработанных приложениях;
• Подготовка и выпуск пакетов обновлений, включающих в себя исправление дефектов и оптимизацию программного кода систем больших данных.

Писать Откликнуться

Канал Аутстаф запросов @outstaff_requests_phpdev