yandex
haydenai
Страна
США
+500% приглашений

Откликайтесь
на вакансии с ИИ

Ускорим процесс поиска работы
SeniorГибридПолная занятость

Senior Software Engineer, Data Platform

Оценка ИИ

Отличная вакансия в быстрорастущем стартапе, работающем на стыке AI и Smart City. Использование современного стека технологий (AWS, Iceberg, Terraform) и гибридный формат работы в Сан-Франциско делают предложение очень привлекательным для опытных инженеров.


Вакансия из Quick Offer Global, списка международных компаний
Пожаловаться

Сложность вакансии

ЛегкоСложно
Оценка ИИ

Роль требует глубоких знаний экосистемы AWS (Kinesis, Glue, Redshift) и опыта работы с высоконагруженными системами обработки данных (Spark/Flink). Высокий порог входа обусловлен необходимостью совмещать навыки инженерии данных, DevOps (Terraform) и обеспечения безопасности.

Анализ зарплаты

Медиана195 000 $
Рынок170 000 $ – 230 000 $
Оценка ИИ

Компания не указала вилку, но для позиции Senior Data Platform Engineer в Сан-Франциско рыночные показатели значительно выше средних по стране. Предлагаемый диапазон соответствует уровню Tier-2 и Tier-1 технологических компаний в данном регионе.

Сопроводительное письмо

I am writing to express my strong interest in the Senior Software Engineer, Data Platform position at Hayden AI. With over 6 years of experience in building large-scale big-data systems and a deep expertise in the AWS ecosystem, I am confident in my ability to help evolve your data infrastructure. My background in designing robust ETL/ELT pipelines and optimizing distributed data processing using Spark and Kinesis aligns perfectly with your mission to harness computer vision for urban transformation.

In my previous roles, I have successfully implemented data quality frameworks and optimized S3 storage strategies, which resulted in significant cost savings and improved system reliability. I am particularly drawn to Hayden AI's innovative approach to transit enforcement and street safety. I am eager to bring my technical skills in Python, Terraform, and cloud security to your dynamic team to deliver high-impact data solutions and mentor fellow engineers.

+250% к просмотрам

Составьте идеальное письмо к вакансии с ИИ-агентом

Составьте идеальное письмо к вакансии с ИИ-агентом

Откликнитесь в haydenai уже сейчас

Присоединяйтесь к Hayden AI, чтобы создавать инновационные системы обработки данных для умных городов будущего!

Описание вакансии

About Us

At Hayden AI, we are on a mission to harness the power of computer vision to transform the way transit systems and other government agencies address real-world challenges.

From bus lane and bus stop enforcement to transportation optimization technologies and beyond, our innovative mobile perception system empowers our clients to accelerate transit, enhance street safety, and drive toward a sustainable future.

What the job involves

Our Engineering teams work at the cutting edge of technology, leveraging AWS and GCP cloud services and developing our own Linux-based edge devices. As a dynamic startup, we understand the critical importance of cybersecurity in protecting our innovative solutions and ensuring the safety of our digital environment and customer data.

We're looking for a passionate Senior Software Engineer to grow our data platform: enabling reliable, scalable, and high-performance data systems across the organization. You will design and build core data infrastructure, optimize data pipelines, ensure data quality and reliability, and collaborate with product and data-science teams to deliver impactful data solutions that power our product and deliver business insights.

Responsibilities

  • Evolve the data platform leveraging AWS services such as Kinesis/Kafka, Glue, EMR, Lambda, and Redshift to support streaming, batch, and analytical workloads at scale.
  • Design and implement robust data ingestion and transformation pipelines, ensuring reliability, performance, and schema consistency across diverse data sources.
  • Establish and enforce data quality, validation, and observability standards, building automated checks and alerts using CloudWatch, Datadog and custom frameworks.
  • Optimize data storage and lifecycle management through intelligent S3 partitioning, versioning, and lifecycle policies to balance performance, cost, and retention.
  • Conduct regular performance, scalability, and cost-efficiency audits of data pipelines and warehouses, proactively identifying and resolving bottlenecks or inefficiencies.
  • Ensure data reliability and resilience, implementing redundancy, checkpointing, and replay strategies for real-time and near-real-time data systems.
  • Define and maintain data governance and security best practices, including IAM-based access control, encryption policies, and compliance with internal data standards.
  • Collaborate with Data Science, ML, business and product teams to model multi-modal data effectively, enabling self-service analytics and high-impact insights across the organization.
  • Instrument and monitor data infrastructure using CloudWatch, CloudTrail, and AWS Config, ensuring transparency, traceability, and operational health of data workflows.
  • Lead root-cause analysis and incident response for data platform issues, driving long-term reliability improvements and knowledge sharing across teams.
  • Stay current with AWS and data engineering advancements, evaluating new tools and services to continuously improve scalability, developer velocity, and data accessibility.
  • Mentor other engineers and promote best practices in data architecture, pipeline design, and development across the engineering organization.

Qualifications

  • Bachelor’s degree in Computer Science, Engineering, or a related field.
  • 6+ years of experience in software or data engineering, focused on large-scale big-data systems and low latency systems.
  • Strong proficiency in Python, Scala or Java for data processing and automation.
  • Hands-on experience with AWS data services such as Kinesis/Kafka, Glue, EMR, Iceberg, Redshift, S3, and Lambda.
  • Solid understanding of data modeling, ETL/ELT design, and distributed data processing (Spark or Flink).
  • Experience with infrastructure-as-code (Terraform or CloudFormation) and CI/CD automation.
  • Familiarity with data governance, lineage, and observability best practices.
  • Working knowledge of cloud security, IAM, and cost optimization in AWS.
  • Excellent collaboration and communication skills, with experience working cross-functionally with analytics and platform teams.
  • AWS or data engineering certifications are a strong plus.
+400% к собеседованиям

Создайте идеальное резюме с помощью ИИ-агента

Создайте идеальное резюме с помощью ИИ-агента

Навыки

  • AWS
  • Python
  • Terraform
  • CI/CD
  • Apache Spark
  • Java
  • Apache Iceberg
  • Apache Flink
  • Amazon EMR
  • AWS Lambda
  • Apache Kafka
  • Amazon S3
  • AWS Glue
  • Amazon Redshift
  • Scala
  • AWS CloudFormation
  • Amazon CloudWatch
  • Datadog
  • Amazon Kinesis

Возможные вопросы на собеседовании

Проверка опыта работы с потоковой передачей данных, указанной в требованиях (Kinesis/Kafka).

Как бы вы спроектировали систему для обеспечения семантики 'exactly-once' при обработке потоковых данных из Kinesis в Redshift?

Вакансия включает оптимизацию затрат и производительности S3.

Какие стратегии партиционирования и жизненного цикла S3 вы бы применили для набора данных объемом в несколько петабайт, чтобы сбалансировать стоимость хранения и скорость запросов?

В описании упоминается использование Spark или Flink для распределенной обработки.

Опишите случай, когда вы столкнулись с проблемой перекоса данных (data skew) в Spark. Как вы ее диагностировали и устранили?

Роль подразумевает внедрение стандартов качества и наблюдаемости данных.

Как вы организуете автоматизированную проверку качества данных (Data Quality) в конвейере, чтобы предотвратить попадание некорректных данных в аналитическое хранилище?

Позиция Senior предполагает участие в проектировании архитектуры и безопасности.

Как вы реализуете принцип наименьших привилегий (Least Privilege) в IAM для сложного ETL-процесса, взаимодействующего с несколькими сервисами AWS?

Похожие вакансии

Top Selection
280 000 ₽ – 300 000 ₽

Go - разработчик (Senior)

SeniorУдалённоРоссия
Go · SQL · gRPC · REST · Protobuf · JSON · Kafka · Redis · PostgreSQL · ClickHouse · Docker · Kubernetes · Prometheus · Grafana · OpenTelemetry · CI/CD · Data Lake
+17 навыков
DataDev
250 000 ₽ – 300 000 ₽

Senior Java Developer

SeniorУдалённоРоссия
Java · Spring Framework · Spring Boot · Spring Cloud · Hibernate · SOLID · OOP · Redis · MongoDB · Docker · Kubernetes · CI/CD · JUnit · Mockito · Microservices · Web3
+16 навыков
DstLab
200 000 ₽ – 280 000 ₽

.NET разработчик Middle+ , Senior

SeniorУдалённоРоссия
.NET Core · C++ · PostgreSQL · Entity Framework Core · REST · Git · CI/CD · Apache Kafka · RabbitMQ · React · MobX · TypeScript · HTML · CSS · JavaScript · Unit Testing
+16 навыков
NDA
200 000 ₽ – 250 000 ₽

Senior C++ Developer (ATM / Payment Systems)

SeniorУдалённоРоссия
C++ · CEN/XFS · NDC · EMV · StateMachine · API
+6 навыков
HuntTech
250 000 ₽ – 310 000 ₽

Разработчик C++ ( Senior )

SeniorУдалённоРоссия
C++ · Linux · TCP/IP · Docker · Git · BGP · VLAN · Wireshark · TCPDump · Cisco TRex · GNS3 · EVE-NG · LACP · VXLAN
+14 навыков
JETLYN
310 000 ₽ – 420 000 ₽

Rust Developer

SeniorУдалённоРоссия
Rust · WebSocket · REST · WASM · Asynchronous Programming · CAD · System Design · AI-assisted Development · Claude Code · Codex
+10 навыков
более 1000 офферов получено
4.9

1000+ офферов получено

Устали искать работу? Мы найдём её за вас

Quick Offer улучшит ваше резюме, подберёт лучшие вакансии и откликнется за вас. Результат — в 3 раза больше приглашений на собеседования и никакой рутины!

haydenai
Страна
США