Dobb·E — это открытый фреймворк для обучения домашних роботов манипуляциям с предметами с помощью имитационного обучения всего за 20 минут. Проект ориентирован на реальные квартиры и бытовые сценарии, а не на лабораторные условия, и показывает высокий средний процент успешных выполнений задач.
Как это работает
Система использует простой физический инструмент Stick для сбора демонстраций действий человека. На основе этих данных формируется датасет Homes of New York (HoNY), отражающий разнообразие реальных домашних пространств. Далее обучается модель представлений Home Pretrained Representations (HPR), которая помогает роботам лучше понимать окружающую среду.
Быстрое обучение новым задачам
После предварительного обучения Dobb·E достаточно около пяти минут новых данных в незнакомом доме для новой задачи. Спустя ещё примерно пятнадцать минут фреймворк выдаёт политику управления роботом, которая достигает в среднем 81% успешности выполнения задачи.
Для кого этот проект
Dobb·E будет особенно интересен исследователям робототехники, разработчикам, работающим с имитационным обучением и обучением с подкреплением, а также всем, кто изучает применение ИИ в бытовой робототехнике. На сайте доступны научная статья и GitHub-репозиторий с кодом и материалами.
