Senior Data Engineer
Оценка ИИОтличная вакансия в известном крипто-проекте с мировым именем. Полная удаленка (Global), современный стек (Databricks, dbt, AWS) и работа с передовыми технологиями Web3 делают это предложение крайне привлекательным для опытных инженеров.
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
Улучшите резюме под эту вакансию
Возьмём требования и создадим новую версию резюме с акцентом на нужный опыт
Сложность вакансии
Оценка ИИВысокая сложность обусловлена требованиями к глубокому знанию экосистемы Databricks, Spark и dbt, а также необходимостью понимания специфики блокчейн-данных. Роль Senior предполагает полную ответственность за архитектуру Lakehouse и оптимизацию затрат в облаке AWS.
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
Анализ зарплаты
Оценка ИИЗарплата в объявлении не указана, однако для позиции Senior Data Engineer в международной крипто-компании с удаленным форматом работы рыночные ожидания составляют от $6,000 до $9,000+. Trust Wallet обычно предлагает конкурентоспособные условия, соответствующие верхним границам рынка.
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
Сопроводительное письмо
Составьте сопроводительное письмо под эту вакансию с вашим резюме
Описание вакансии
Trust Wallet
Senior Data Engineer
Полная занятость
Формат работы: удалённо (Remote - Global)
*☑️* Чем предстоит заниматься
-Data Platform Engineering: Architect and maintain robust, scalable and secure data infrastructure on Databricks, covering both streaming and batch workloads.
-Data Pipeline Development: Design, develop and maintain data pipelines, primarily in Python and Spark, to automate ingestion and transformation across internal systems, external providers and on-chain sources.
-Data Modelling: Design and maintain dimensional data models and transformation layers in dbt, with tests and documented contracts, so metrics are consistent and reusable across the company.
-Data Lake Management: Oversee the data lake and lakehouse layers, ensuring efficient storage, effective partitioning, high data quality, and monitoring and alerting that surfaces issues early.
-Integration and Customisation: Integrate Databricks with a wide range of data sources, including change data capture from operational databases, third-party APIs and blockchain data, and adapt data flows to specific business needs.
-Performance, Scalability and Cost: Optimise pipelines and storage for performance, reliability and cost efficiency at scale.
-Data Governance and Security: Apply best practices for governance, security and compliance in cloud and Databricks environments, including access control, encryption and monitoring.
-Collaboration and Documentation: Work closely with platform engineers, data analysts and other stakeholders to understand data requirements, and document infrastructure, models and best practices.
*☑️* Наши пожелания к кандидатам
-Experience in Data Engineering: 3+ years as a Data Engineer, with hands-on ownership of production pipelines and lakehouse or data warehouse architecture.
-Databricks and Spark: Strong practical experience with Databricks, Delta Lake and Spark, including both streaming and batch processing, and the judgement to choose between them.
-Data Modelling: Solid understanding of dimensional modelling, slowly changing dimensions and data warehouse design, with the ability to define and defend the grain of the models you build.
-Transformation Frameworks: Experience with dbt or an equivalent framework for managing transformations, testing and lineage.
-Cloud Proficiency: Strong cloud fundamentals, including identity and access management, object storage, networking and infrastructure as code. We run on AWS; deep experience with Azure or GCP transfers well.
-Proficiency in Python and SQL: Comfortable writing production transformations as well as services and connectors.
-Data Quality and Governance: Experience implementing testing, monitoring and governance practices in cloud data environments.
-Nice to have:
-Experience with change data capture and replication from operational databases
-Familiarity with blockchain or on-chain data
-Infrastructure as code, ideally Terraform, and CI/CD for data workloads
-Experience with BI and semantic layers such as Holistics, Looker or similar
-Containerisation and orchestration (Docker, Kubernetes)
Больше похожих вакансий + автоотклики с ИИ
Умный подбор, сопроводительные письма, советы по отказам — больше приглашений.
Навыки
- Databricks
- Apache Spark
- Python
- SQL
- dbt
- Delta Lake
- AWS
- Terraform
- Docker
- Kubernetes
- CI/CD
- Data Modeling
Возможные вопросы на собеседовании
Проверка навыков оптимизации производительности и стоимости в облачной среде.
Расскажите о вашем опыте оптимизации производительности Spark-задач в Databricks. Какие стратегии вы использовали для снижения затрат на вычисления?
Оценка архитектурного мышления и владения инструментами моделирования.
Как вы подходите к проектированию слоев в Delta Lake и какие преимущества дает использование dbt в связке с Databricks для обеспечения качества данных?
Проверка понимания специфики работы с потоковыми данными.
В каких случаях вы предпочтете Structured Streaming вместо пакетной обработки (batch), и с какими сложностями вы сталкивались при работе с Delta Live Tables?
Оценка навыков работы с инфраструктурой.
Опишите ваш опыт использования Terraform для управления ресурсами данных в AWS. Как вы организуете CI/CD для пайплайнов данных?
Проверка интереса к домену компании.
Работали ли вы ранее с блокчейн-данными (on-chain data)? Какие специфические проблемы возникают при инжесте данных из узлов блокчейна по сравнению с традиционными БД?
Сформировано ИИ автоматически. Не является проверкой вакансии или работодателя.
