- Страна
- Беларусь
Откликайтесь
на вакансии с ИИ
Middle+ Data Engineer
Оценка ИИИнтересный стек технологий (Databricks, Terraform, PySpark) и четко прописанные обязанности. Возможность удаленной работы из ЕС или РБ является плюсом, хотя требование собственного MacBook может быть ограничением для некоторых кандидатов.
Сложность вакансии
Оценка ИИРоль требует глубоких знаний экосистемы Databricks и обязательного владения Terraform. Дополнительную сложность создает требование к разговорному английскому и специфические условия по оборудованию (наличие MacBook).
Анализ зарплаты
Оценка ИИЗарплата в объявлении не указана, но для уровня Middle+ Data Engineer с навыками Terraform и Databricks на европейском рынке или в аутстаффе ориентиры составляют от 4000 до 6000 USD. Данная позиция требует высокой квалификации, что обычно коррелирует с верхней границей рыночных предложений.
Сопроводительное письмо
Составьте идеальное письмо к вакансии с ИИ-агентом
Откликнитесь уже сейчас
Отправьте свое резюме Ивану, чтобы присоединиться к команде и работать с передовыми технологиями Databricks и Terraform!
Описание вакансии
#9338
Middle+ Data Engineer id 101
Грейд: Middle+
Языки: разговорный английский
Старт: asap, до конца года
Локация: РБ под ВПНом, ЕС + обязательное наличие мака для работы
Responsibilities:
• Develop, deploy, and maintain data pipelines and data governance systems on Databricks (Unity Catalog, Delta Lake, Workflows)
• Conduct in-depth data analysis, profiling, and processing to classify data by domain and detect personal data (PII)
• Contribute to the design of data access systems, focusing on data contracts, catalog access, and grant/rollback automation managed as Infrastructure-as-Code with Terraform
• Collaborate with peers to review and ensure access architectures and contracts are effective, flexible, and reusable
• Ensure that data products and access controls are deployed according to contracts and operate without unintended side effects
• Create and maintain comprehensive documentation for data contracts, access models, and governance processes
• Monitor and support deployed pipelines and quality checks to ensure they meet data quality and performance expectations
• Actively seek out information and internal solutions to ensure reusability and adoption of common data platform technologies
Requirements:
• 3+ years of experience in data engineering. Previous software engineering experience is preferable
• Strong proficiency in Python and its common data processing frameworks (e.g., Spark/PySpark for streaming, batch, and asynchronous data)
• Strong foundational knowledge in data modeling, distributed data processing, SQL, and data warehouse/lakehouse architecture
• Hands-on experience provisioning cloud data platforms and infrastructure (Databricks or GCP or AWS) with Terraform is a must, along with a willingness to learn new technologies for integration purposes
• The ability to design data access and governance solutions using common design patterns and various design tools
• A solid understanding of the business value of delivered data products and governance controls
• Strong problem-solving skills, with an emphasis on using technical facts and reasoning
• Excellent communication and collaboration skills, including active listening and the ability to build consensus
Писать Откликнуться
Канал Аутстаф запросов Откликнуться
Создайте идеальное резюме с помощью ИИ-агента
Навыки
- Databricks
- Unity Catalog
- Delta Lake
- Terraform
- Python
- Spark
- PySpark
- SQL
- Infrastructure as Code
- AWS
- GCP
Возможные вопросы на собеседовании
Вакансия предполагает активное использование Unity Catalog для управления данными.
Расскажите о вашем опыте работы с Databricks Unity Catalog: как вы организовывали управление доступом и аудит данных?
Terraform указан как обязательный навык (must-have) для инфраструктурных задач.
Как вы структурируете Terraform-код для управления ресурсами облачной платформы данных, чтобы обеспечить переиспользование и безопасность?
Одной из задач является обнаружение PII (персональных данных).
Какие подходы и инструменты вы использовали для автоматического обнаружения и классификации PII в больших объемах данных?
В требованиях указан PySpark для стриминга и батчевой обработки.
С какими основными проблемами производительности в PySpark вы сталкивались и как их оптимизировали (например, борьба со skewness или оптимизация join)?
Упоминаются Data Contracts как часть дизайна систем.
Как вы внедряли контракты данных (Data Contracts) в пайплайны и как это помогало взаимодействию между поставщиками и потребителями данных?
Похожие вакансии
Backend / ML Infrastructure / MLOps инженер
Data Scientist (Модели оценки качества), Диалоговый ИИ и ML сервисы
Специалист по науке о данных прогнозирования
ML Engineer
Backend / ML Infrastructure / MLOps инженер (ИИ-ассистент)
Data Scientist
1000+ офферов получено
Устали искать работу? Мы найдём её за вас
Quick Offer улучшит ваше резюме, подберёт лучшие вакансии и откликнется за вас. Результат — в 3 раза больше приглашений на собеседования и никакой рутины!