- Страна
- Великобритания
Откликайтесь
на вакансии с ИИ
Data Scientist (Evals)
Оценка ИИЭто одна из самых престижных вакансий на рынке AI на данный момент. Статус 'единорога' с оценкой $9B+, выдающийся состав фаундеров и возможность работать над продуктом, который реально конкурирует с Google, делают это предложение исключительным для карьеры.
Сложность вакансии
Оценка ИИВысокая сложность обусловлена экстремально высокими требованиями к кандидатам в одном из самых быстрорастущих AI-стартапов мира. Ожидается не только техническое совершенство в Python и SQL, но и глубокая экспертиза в оценке LLM (Evals), а также способность работать в темпе топовых инженеров из OpenAI и Meta.
Анализ зарплаты
Оценка ИИВ объявлении зарплата не указана, однако для Data Scientist уровня Senior в компаниях такого масштаба (Tier-1 AI startups) в Сан-Франциско или Лондоне рыночные вилки значительно превышают средние показатели по индустрии, особенно с учетом опционов. Предлагаемый диапазон соответствует топовым значениям для специалистов с опытом от 4 лет.
Сопроводительное письмо
Составьте идеальное письмо к вакансии с ИИ-агентом
Откликнитесь в Perplexity AI уже сейчас
Присоединяйтесь к команде, которая меняет будущее поиска вместе с выходцами из OpenAI и Meta!
Описание вакансии
Data Scientist (Evals) в Perplexity
📍Лондон/Белград/Берлин/Сан-Франциско
💎4 года опыта, Python, SQL
🚀Фаундеры — Aravind Srinivas, ex Research Scientist в OpenAI, Andy Konwinski, ко-фаундер Databricks, и Денис Ярац, ex Facebook AI Research. В компании работает много русскоговорящих ребят, особенно из Яндекс.Поиска 💙
Perplexity AI — дизраптят рынок поиска за счет удобной AI-chat-based выдачи вместо десятка ссылок.
Размер команды — 1000+ | Инвестиции — $500M при оценки компании в $9B+🔥
Узнать подробнее и откликнуться: Откликнуться
Создайте идеальное резюме с помощью ИИ-агента
Навыки
- Python
- SQL
- Data Science
- Machine Learning
- LLM Evaluation
- RAG
Возможные вопросы на собеседовании
Для роли Evals критически важно понимать, как измерять качество ответов модели.
Как бы вы спроектировали систему автоматической оценки (LLM-as-a-judge) для проверки фактической точности ответов Perplexity?
Perplexity работает с поисковой выдачей в реальном времени.
Какие метрики вы бы использовали для оценки качества RAG-системы (Retrieval-Augmented Generation) и как бы вы разделяли ошибки поиска и ошибки генерации?
В вакансии указан SQL как ключевой навык.
Опишите ваш опыт работы с большими данными: как вы оптимизируете сложные SQL-запросы для анализа логов пользовательского взаимодействия с AI-чатом?
Работа в стартапе требует умения приоритизировать.
Как вы определяете, когда метрика оценки (Eval) достаточно надежна, чтобы использовать её для принятия решения о деплое новой версии модели?
Проверка продуктового мышления.
Если пользователи начинают жаловаться на 'галлюцинации' в ответах, какие шаги вы предпримете для диагностики и количественной оценки этой проблемы?
Похожие вакансии
Data engineer
ML Engineer, Senior
Senior Data Scientist
Senior Data Engineer
Специалист по подготовке данных для ИИ (удалённо)
Data Scientist Senior
1000+ офферов получено
Устали искать работу? Мы найдём её за вас
Quick Offer улучшит ваше резюме, подберёт лучшие вакансии и откликнется за вас. Результат — в 3 раза больше приглашений на собеседования и никакой рутины!