Reinforcement learning engineer (Hound project, Sber robotics center)

Обязанности

Мы в Центре робототехники Сбера создаем универсальный воплощенный ИИ для роботов, который будет управлять разнообразными физическими воплощениями. Например, манипуляторами, мобильными колесными роботами, роботами собаками, мобильными манипуляторами и т.д. На сегодняшний день одним из ключевых направлений нашей работы является разработка антропоморфного робота общего назначения. В основу нашего ИИ ляжет большая мультимодальная нейронная сеть. Ей будут подчиняться фундаментальные модели навигации, манипуляции и планирования движений. Основной упор будет делаться на обучение без учителя, ИИ будет обучаться новому самостоятельно или по минимальному числу демонстраций. Обязанности Обучать роботов новым навыкам: ходить, бегать, манипулировать объектами, делать сальто и т.д. Важно делать это устойчиво и для широкой области применения Разрабатывать на PyTorch модели агентов, тренировать их с помощью Reinforcement Learning и/или Imitation Learning, в симуляторе и на реальном железе Читать научные статьи в поисках путей улучшения текущих алгоритмов применительно к роботам Интеграция моделей в общий программный стек Писать документацию, проводить код-ревью, участвовать в планировании исполнения проекта Требования Мы ищем единомышленников, которые разделяют нашу страсть к робототехнике и обладают навыками обучения и исследования нейросетевых моделей и алгоритмов Знание различных алгоритмов Reinforcement Learning: PPO, TRPO, A3C и др. Опыт обучения агентов с помощью хотя бы одного из методов: Reinforcement Learning, Imitation Learning, Behaviour Cloning, Inverse Reinforcement Learning Опыт работы с физическими симуляторами: NVIDIA Isaac Sim, MuJoCo Уверенная разработка на Python: PyTorch, Docker, MLOps, написание тестов, CI/CD Хорошая подготовка по линейной алгебре Хотя мы ожидаем, что потенциальные кандидаты будут обладать некоторыми из перечисленных качеств, мы также открыты для тех, кто может дополнить нашу команду другими ценными навыками и качествами. Также плюсом будет: Успешный опыт участия в соревнованиях Опыт доведения исследований до продакшена Опыт в робототехнике; в сборе и курировании разметки данных; в решении задач Computer Vision Open-source проекты Опыт работы с ROS2 Условия Комфортный современный офис рядом с м. Кутузовская Возможность выбрать удобный график офис/гибрид Ежегодный пересмотр зарплаты, годовая премия Корпоративный спортзал и зоны отдыха Более 400 образовательных программ СберУниверситета для профессионального и карьерного развития Программа адаптации и помощь руководителя на старте Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа Ипотека для сотрудников выгоднее до 4% Бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров.