Роботизированные платформы
Робот ALOHA: что это такое, как он работает и с чего начать
ALOHA — это платформа двуручного телеуправления от Стэнфордского университета, которая впервые продемонстрировала, что робот может научиться выполнять ловкие манипуляции двумя руками — например, открывать пакет с чипсами, связывать кабель или готовить — на основе небольшого количества человеческих демонстраций. Сейчас это самая популярная платформа для бимануальных исследований в мире. В этом руководстве объясняется, что такое ALOHA, как он работает и как начать его использовать.
Стэнфордская история происхождения
ALOHA — недорогая аппаратная система с открытым исходным кодом для бимануальной телеоперации — была разработана в Стэнфордской лаборатории мобильных манипуляций и опубликована в статье Тони З. Чжао и др. «Изучение мелкозернистой бимануальной манипуляции с помощью недорогого оборудования». в 2023 году. Центральный тезис был провокационным: вам не нужно дорогостоящее фирменное роботизированное оборудование, чтобы выполнять впечатляющие и ловкие манипуляции. ALOHA использовала четыре робота-манипулятора ViperX 300 и WidowX 250 (по два с каждой стороны, один в качестве ведущего для дистанционного управления и один в качестве ведомого) общей стоимостью менее 20 000 долларов США в сочетании с алгоритмом ACT для выполнения задач, которые ранее требовали специально разработанных систем, стоивших во много раз дороже.
В документе было продемонстрировано 10 двуручных задач, включая разворачивание конфеты, вставку батарейки в слот и продевание веревки в отверстие — все с вероятностью успеха более 80% при использовании 50 демонстраций. Эти результаты шокировали сообщество робототехники не потому, что задачи были новыми, а из-за стоимости и эффективности данных. ALOHA и ACT вместе установили новый стандарт для доступных исследований ловких манипуляций и спровоцировали волну последующих работ, которая продолжается и сегодня.
Аппаратная конструкция ALOHA и все программное обеспечение полностью открыты. Спецификация, инструкции по сборке и учебный код ACT общедоступны на GitHub. Эта открытость сделала ALOHA де-факто стандартной бимануальной исследовательской платформой, где десятки исследовательских групп по всему миру используют варианты оригинальной разработки. ROBO.RU поддерживает платформы класса ALOHA посредством наших услуг передачи данных и программы аренды оборудования.
Полная спецификация оборудования
Понимание точной конфигурации оборудования имеет большое значение, поскольку небольшие отклонения — другая модель манипулятора, смещенная камера, сервопривод с меньшим крутящим моментом — могут привести к созданию наборов данных, несовместимых с эталонной реализацией ACT.
Вооружение: ViperX 300 6DOF (ведомый) и WidowX 250 6DOF (ведущий)
Технические характеристики ViperX 300 (ведомый) WidowX 250 (лидер)
ГРИП 6 + захват 6 + захват
Досягаемость 750 мм 625 мм
Полезная нагрузка 750 г (при полном выдвижении) 250 г (при полном выдвижении)
Повторяемость ~1мм ~2мм
Сервоприводы DYNAMIXEL XM540 + XM430 DYNAMIXEL XM430 + XL430
Связь USB через адаптер U2D2, 1 Мбит/с USB через адаптер U2D2, 1 Мбит/с
Частота управления 50 Гц (цикл 20 мс) 50 Гц (только чтение)
Вес 3,6 кг 2,1 кг
Цена (за руку) ~5500$ ~3200$
Система камер
В оригинальной статье использовались 3 веб-камеры Logitech C922 (2 наручные + 1 накладная) с разрешением 480x640 и частотой 50 кадров в секунду. ALOHA 2 обновлена до камер Intel RealSense D405 для улучшения качества изображения и дополнительной глубины. Станции ALOHA компании ROBO.RU используют камеры RealSense D435i с аппаратной синхронизацией для обеспечения единообразной синхронизации нескольких камер — обоснование этого обновления см. в нашем руководстве по настройке камеры.
Полная разбивка затрат на сборку
Компонент Кол-во Стоимость единицы продукции Промежуточный итог
Рукоятки ViperX 300 6DOF (ведомый) 2 5 500 долларов США 11 000 долларов США
Рукоятки WidowX 250 6DOF (лидер) 2 3200 долларов США 6400 долларов США
Камеры (RealSense D435i или D405) 3–4 300 долларов США 900–1200 долларов США
USB-адаптеры U2D2 4 $30 $120
Блоки питания (12 В) 4 $35 $140
Алюминиевая рама + кронштейны 1 комплект $500 $500
Крепления для камеры, прокладка кабелей, прочее 1 комплект $200 $200
Рабочая станция ПК (RTX 4090, 32 ГБ ОЗУ) 1 2500 долларов США 2500 долларов США
Итого (сборка своими руками) ~ 21 800–22 100 долларов США.
Итого (с базой Купить Mobile ALOHA) + AgileX Tracer (10 000 долларов США) ~ 32 000 долларов США
Время сборки у опытного строителя примерно 20-30 часов. Для первой сборки запланируйте 40–60 часов, включая отладку проблем со связью Dynamixel, калибровку камеры и настройку программного обеспечения. Наиболее распространенными точками неисправности сборки являются: шлейфовая проводка Dynamixel (неправильное назначение идентификатора шины приводит к неправильной реакции сегментов руки), прокладка кабеля камеры через запястье (слишком туго натянутые кабели ограничивают вращение запястья) и жесткость рамы (недозатянутые экструзионные болты создают вибрацию, которая влияет на качество изображения камеры).
Настройка программного обеспечения: от клона до первой демо-версии
Программный стек ALOHA состоит из двух компонентов: контур управления телеоперацией (ведущий считыватель, управляющий ведомый, запись данных) и конвейер обучения ACT.
Клонируем и устанавливаем репозиторий ACT
git-клон
компакт-диск акт
conda create -n алоха python=3.8.16 -y
активировать конду, алоха
pip install -r требования.txt
Установите Interbotix SDK для управления рукояткой.
Следуйте:
sudo apt install ros-humble-interbotix-xsarm-control
Настройка USB-устройств на руке
Каждому рычагу требуется уникальное сопоставление USB-портов в /etc/udev/rules.d/
Лидер слева: /dev/ttyDXL_leader_left
Лидер справа: /dev/ttyDXL_leader_right
Оставшийся подписчик: /dev/ttyDXL_follower_left
Право ведомого: /dev/ttyDXL_follower_right
Связь с испытательным рычагом
python scripted_test.py # перемещает каждую руку через безопасные тестовые позиции
Запишите свой первый эпизод
python Record_episodes.py
–task_name cup_transfer
–episode_idx 0
–num_episodes 50
Сценарий записи создает файлы HDF5 со следующей структурой для каждого эпизода: /observations/images/cam_high (overhead), /observations/images/cam_left_wrist , /observations/images/cam_right_wrist , /observations/qpos (14-ти димовые положения суставов: 7 на каждую руку), /action (14-ти димовые целевые положения суставов) и /timestamps . Каждый эпизод представляет собой отдельный файл HDF5, обычно размером 20–50 МБ в зависимости от разрешения камеры и продолжительности эпизода.
Интеграция ROS2
Хотя исходный код ALOHA напрямую использует Interbotix Python SDK (а не ROS), многие команды интегрируются с ROS2 для совместимости с MoveIt2, драйверами камеры и визуализацией. Пакет interbotix_ros_manipulators предоставляет узлы ROS2 для рук ViperX и WidowX. Ключевые соображения по настройке ROS2 ALOHA:
Установите скорость передачи данных Dynamixel на 1 Мбит/с для ведущего и ведомого плеч, чтобы поддерживать скорость управления 50 Гц.
Используйте выделенный USB-концентратор (а не концентратор с последовательным подключением), чтобы избежать конфликтов на шине между четырьмя одновременными последовательными USB-подключениями.
Настройте драйверы камеры для публикации сжатых изображений, чтобы уменьшить пропускную способность — необработанное RGB-изображение 640x480 со скоростью 30 кадров в секунду на камеру составляет 27,6 МБ/с на камеру, 110 МБ/с для 4 камер.
Используйте фильтры сообщений ROS2 для синхронизации времени по темам камеры.
Аппаратная архитектура: двуручная настройка лидера-последователя
Система ALOHA состоит из двух кинематических пар, по одной на каждое плечо. У каждой пары есть «ведущая» рука — легкая рука с обратным приводом, которую оператор держит и перемещает руками, — и «ведомая» рука, которая отражает положение суставов ведущего в реальном времени. Следящая рука несет в себе настоящий манипулятор (захват, инструмент или рабочий орган) и взаимодействует с физическим миром. У ведущего рычага нет требований к полезной нагрузке рабочего органа, поскольку он должен иметь только обратный ход и обеспечивать обратную связь по крутящему моменту оператору.
Бимануальная конфигурация — две полные пары «лидер-ведомый» — это то, что делает ALOHA уникальной способностью решать сложные задачи. Человеческие руки по своей природе двуручны: одна рука держит объект, а другая манипулирует им, или обе руки взаимодействуют для выполнения задачи, требующей двух одновременных точек контакта. Однорукие роботы могут выполнять эти задачи только с помощью сложных приспособлений или последовательности действий; бимануальные роботы могут обрабатывать их напрямую. Форм-фактор ALOHA, в котором оба кронштейна установлены на общем креплении стола, оптимизирован для настольных манипуляций, когда оператор сидит перед системой.
В оригинальной статье ALOHA использовались три камеры: одна верхняя (вид всего рабочего пространства с высоты птичьего полета), одна на левом запястье и одна на правом запястье. Все три камеры используются для визуального наблюдения в рамках политики ACT. Такая установка с несколькими изображениями имеет решающее значение: камеры на запястьях обеспечивают крупный план захвата и контакта, а верхняя камера обеспечивает глобальный контекст для координации двух рук. Варианты ALOHA с одной камерой демонстрируют заметно более низкую производительность при выполнении задач, требующих координации.
Альтернативные бимануальные настройки: комплект ROBO.RU DK1
ALOHA — не единственный вариант бимануального телеоперационного исследования. Бимануальный комплект ROBO.RU DK1 предлагает несколько преимуществ для команд, которые отдают приоритет скорости сбора данных над точной совместимостью с ALOHA:
Комплект ALOHA (сборка своими руками) ROBO.RU DK1
Arms ViperX 300 + WidowX 250 OpenArm 1 пары лидер-последователь
Общая стоимость ~ 22 000 долларов США + сборка 9 000 долларов США в предварительно собранном виде.
Время сборки 20-60 часов 2 часа (распаковка+калибровка)
Полезная нагрузка (на руку) 750 г 500 г
Формат данных HDF5 (пользовательская схема) HDF5 + экспорт LeRobot
Совместимость с ACT Собственный формат Через преобразование формата
Размер сообщества Крупнейшие (более 100 лабораторий) Растущие (экосистема ROBO.RU)
DK1 — лучший выбор для команд, которым необходимо немедленно начать сбор данных и планировать обучение с использованием политики распространения или VLA (которые не зависят от архитектуры конкретного робота). ALOHA — лучший выбор для команд, которым необходима точная совместимость с опубликованными результатами ACT или которые хотят внести свой вклад в экосистему с открытым исходным кодом ALOHA. Подробную информацию о DK1 см. в нашем каталоге оборудования.
Варианты использования ALOHA: что работает, а что нет
Задачи, в которых ALOHA превосходит других
Бимануальное манипулирование столешницей: открытие контейнеров, складывание ткани, перенос между руками, сборка двумя руками. Интерфейс «лидер-последователь» дает операторам естественное двуручное управление.
Исследование приготовления пищи: перемешивание, черпание, разливка, резка мягких материалов. Полезная нагрузка 750 г позволяет справиться с большинством кухонных предметов.
Манипуляции с кабелями и деформируемыми объектами: продевание нити, наматывание, связывание. Наручные камеры обеспечивают изображение крупным планом, необходимое для выполнения деформируемых контактных задач.
Масштабный сбор данных: дизайн с открытым исходным кодом означает, что вы можете построить несколько одинаковых станций. ROBO.RU одновременно управляет 4 станциями класса ALOHA для проведения крупномасштабных кампаний.
Задачи, с которыми ALOHA сталкивается с трудностями
Манипулирование тяжелыми объектами: ограничение полезной нагрузки в 750 г (при полном выдвижении) исключает многие промышленные объекты. Бутылка с водой, книга или электроинструмент выходят за пределы безопасного обращения.
Точность введения менее 1 мм: повторяемость сервоприводов ViperX ~1 мм ограничивает точность. Для субмиллиметровых задач вам понадобится либо силовая обратная связь (не входит в базовую комплектацию ALOHA), либо платформа для рук более высокой точности.
Задачи с большим рабочим пространством: вылет 750 мм ограничивает рабочее пространство площадью столешницы примерно 1 х 0,5 м. Для задач, требующих перемещения по кухонной стойке или между полками, требуется Mobile ALOHA или другая платформа.
Высокоскоростное манипулирование: контур управления 50 Гц ограничивает реактивную скорость. Задачи, требующие быстрой рефлекторной реакции на неожиданные возмущения (поймание брошенного предмета, динамическая передача управления), выходят за рамки текущих возможностей ALOHA.
ДЕЙСТВИЕ: Алгоритм ALOHA
ACT (Action Chunking with Transformers) был разработан вместе с ALOHA и является основным алгоритмом обучения для платформы. ACT — это политика имитационного обучения на основе трансформатора, которая прогнозирует часть будущих положений суставов — обычно 100 временных шагов с частотой 50 Гц, охватывающих 2 секунды движения, — а не одно следующее действие. Эта архитектура фрагментирования действий существенно уменьшает проблему сложных ошибок, возникающую при наивном поведенческом клонировании, когда небольшие ошибки прогнозирования на каждом временном шаге накапливаются в большие отклонения траектории в ходе выполнения задачи.
Архитектура политики ACT использует кодировщик CVAE (условно-вариационный автоэнкодер) во время обучения, чтобы фиксировать скрытый стиль каждой демонстрации — по сути, сжатое представление того, «как» человек выполнил задачу, отличное от того, «каким» был результат задачи. Это позволяет политике моделировать естественные вариации человеческих демонстраций без артефактов усреднения мод. Во время вывода запускается только декодер CVAE, зависящий от текущего наблюдения и выбранного скрытого вектора, для генерации фрагмента действия.
Обучение ACT на наборе данных ALOHA с 50 демонстрациями на задачу занимает 2–4 часа на одном графическом процессоре RTX 3090. Обучающий код, выпущенный вместе с оригинальной статьей, легко запускать с документированными гиперпараметрами для стандартных задач ALOHA. Для пользовательских задач наиболее важным гиперпараметром для настройки является размер фрагмента (kl_weight в конфигурации) — более крупные фрагменты улучшают временную согласованность за счет реакции на неожиданные возмущения. Платформа ROBO.RU включает предварительно настроенные конвейеры обучения ACT для наборов данных формата ALOHA.
Мобильная ALOHA: снимаем ALOHA со стола
Купить Mobile ALOHA, опубликованная той же Стэнфордской группой в 2024 году, расширила концепцию ALOHA до мобильной базы. Установка бимануального манипулятора была установлена на мобильной базе AgileX Tracer, что позволяло системе перемещаться в разные места в пространстве — приближаясь к кухонной стойке, перемещаясь к обеденному столу, перемещаясь по коридору, — сохраняя при этом манипуляторы ALOHA для манипуляций. Мобильная ALOHA продемонстрировала такие задачи, как приготовление креветок на плите, загрузка посудомоечной машины и доставка посылки — задачи, требующие как передвижения, так и ловких манипуляций.
Mobile ALOHA представила концепцию телеоперации всего тела: оператор управляет мобильной базой и двумя руками одновременно либо через отдельные интерфейсы управления, либо через единый интерфейс, который сопоставляет движения тела оператора с конфигурацией всего тела робота. Сбор данных для мобильного ALOHA значительно сложнее, чем для настольного ALOHA, поскольку политика должна научиться координировать навигацию и манипулирование, требуя демонстраций, охватывающих пространственные изменения в среде, а также изменения объектов.
Mobile ALOHA также ввела совместное обучение: совместное обучение политике Mobile ALOHA на демонстрациях мобильных манипуляций и статических демонстрациях манипуляций ALOHA. Совместное обучение улучшило эффективность манипуляций на мобильной платформе, предполагая, что знания о бимануальных манипуляциях из настольных данных можно с пользой перенести в мобильный контекст. ROBO.RU предлагает наборы данных, совместимые с Mobile ALOHA, и может собирать демонстрации мобильных манипуляций на нашем предприятии в Сан-Франциско. Свяжитесь с нами, чтобы обсудить ваши требования к данным Mobile ALOHA.
Различия между ALOHA, ALOHA 2 и коммерческими производными
ALOHA 2, опубликованная в конце 2024 года, улучшила оригинал по нескольким направлениям: более качественные дужки с лучшей повторяемостью, улучшенная система крепления камеры и обновленная конструкция запястья, которая упрощает прокладку кабелей. Электрическая система также была обновлена и теперь использует специальный распределительный щит вместо шлейфовых силовых кабелей, что повышает надежность во время длительных сеансов сбора данных. ALOHA 2 поддерживает полную совместимость программного обеспечения с оригиналом — наборы данных, собранные на одном из них, могут обучать политикам, оцениваемым на другом, с учетом обычных предостережений относительно аппаратных изменений.
Несколько коммерческих поставщиков теперь продают ALOHA-совместимые платформы — предварительно собранные, протестированные системы, которые соответствуют механическим и программным спецификациям ALOHA, не требуя от производителя поиска компонентов и самостоятельной сборки оружия. Эти коммерческие системы ALOHA стоят дороже, чем стоимость материалов, сделанных своими руками, но существенно сокращают время установки и риск ошибок при сборке. Каталог оборудования ROBO.RU включает конфигурации, совместимые с ALOHA; посетите магазин, чтобы узнать текущие варианты и цены.
Начало работы с ALOHA через ROBO.RU
ROBO.RU поддерживает исследования на основе ALOHA на каждом этапе. Для команд, которые только начинают работу, мы предлагаем аренду платформы ALOHA в рамках нашей программы лизинга роботов — получите доступ к полной двуручной настройке за фиксированную ежемесячную плату без капитальных вложений в приобретение оборудования. Арендованные системы поставляются предварительно откалиброванными и готовыми к проведению демонстраций в первый же день.
Для сбора данных наша управляемая служба предоставляет обученных операторов ALOHA, которые могут собирать демонстрации на нашем предприятии в Сан-Франциско, используя наборы данных, доставляемые в формате RLDS/LeRobot, совместимом с конвейерами обучения ACT, Diffusion Policy и OpenVLA. Наши операторы имеют опыт выполнения задач двуручной координации и следуют структурированным протоколам качества, которые обеспечивают более чистые наборы данных, чем обычно достигают начинающие исследователи. Пилотные программы начинаются с 2500 долларов США за 200 демонстраций. Мы также можем посетить ваш сайт для проведения кампаний по сбору данных на месте, если этого требует ваша задача.
Для обучения и оценки политик платформа ROBO.RU предоставляет предварительно настроенные конвейеры обучения ACT, инструменты отслеживания экспериментов и оценки для политик ALOHA. Наши тесты включают в себя оценку задач ALOHA, позволяющую сравнить эффективность вашей политики с эталонными реализациями. Независимо от того, создаете ли вы программу исследования бимануальных манипуляций с нуля или пытаетесь повысить производительность существующей системы, команда ROBO.RU может помочь вам спланировать правильный подход.
Материал подготовлен редакцией ROBO.RU на основе открытых данных отрасли. Актуальные модели и условия поставки — в каталоге роботов и на форуме.