Форматы данных роботов: HDF5, RLDS и LeRobot — Центр робототехники Кремниевой долины
Руководство
Форматы данных робота: HDF5, RLDS и LeRobot
Какой формат эпизода следует использовать для имитационного обучения и обучения VLA? Практическое сравнение.
Почему формат имеет значение
Наборы данных обучения роботов содержат мультимодальные данные временных рядов: положения суставов, изображения, действия, языковые инструкции и метаданные. От того, как вы структурируете и сериализуете эти данные, зависит скорость обучения, переносимость и возможность повторного использования вашего набора данных более широким сообществом. Сегодня в экосистеме доминируют три формата.
Обзор формата
Особенность HDF5 RLDS (TFDS) LeRobot
Формат файла .hdf5 (двоичный, иерархический) Шарды TFRecord Паркет + видеофайлы
Структура эпизода Группы по эпизоду, наборы данных по модальности Вложенные словари по шагам, эпизоды как последовательности Плоская таблица со столбцом индекса эпизода
Хранение изображений Встроено в виде байтовых массивов или сжатых наборов данных Встроено в TFRecord в виде закодированных байтов Отдельные видеофайлы MP4 (по одному на камеру)
Произвольный доступ Отлично (собственное разделение HDF5) Плохо (последовательное чтение TFRecord) Хорошо (поиск группы строк паркета)
Потоковая передача Требуется полная загрузка. Поддерживает потоковую передачу через TFDS. Поддерживает потоковую передачу через Hugging Face Hub.
Framework Не зависит от платформы (h5py, PyTables) Собственный TensorFlow; можно использовать в JAX PyTorch-native; Экосистема «Обнимающее лицо»
Робомимик, принятый сообществом, MimicGen, RoboCasa Open X-Embodiment, RT-X, Bridge V2 LeRobot, наборы данных Hugging Face Hub
HDF5
HDF5 — это устаревший стандарт в исследованиях в области робототехники. Каждый эпизод представляет собой группу, содержащую наборы данных для наблюдений, действий и вознаграждений. Формат поддерживает сжатие (gzip, lzf) и фрагментированный ввод-вывод, что делает его эффективным для циклов обучения с произвольным доступом. Он не зависит от платформы и поддерживается практически всеми языками программирования.
Лучше всего подходит для: проектов с одной лабораторией, конвейеров, совместимых с робототехникой, а также когда вам нужен быстрый произвольный доступ к отдельным временным шагам.
РЛДС (ТФДС)
RLDS (наборы данных обучения с подкреплением) — это спецификация, созданная на основе наборов данных TensorFlow. Он представляет эпизоды как последовательности шагов, каждый из которых представляет собой вложенный словарь. The Open X-Embodiment dataset—the largest multi-robot dataset to date—uses RLDS, making it the de facto format for large-scale cross-embodiment training.
Best for: Contributing to or training on Open X-Embodiment, using JAX/TensorFlow pipelines, and datasets that need to be streamed from cloud storage.
ЛеРобот Формат
LeRobot сохраняет эпизоды в виде таблиц Parquet (одна строка на временной шаг), а изображения сохраняются в виде отдельных видеофайлов MP4. Этот дизайн оптимизирован для Hugging Face Hub: наборы данных можно передавать в потоковом режиме, создавать версии и просматривать в браузере. Библиотека LeRobot Python обеспечивает запись, воспроизведение и обучение в едином рабочем процессе.
Идеально подходит для: обучения на основе PyTorch, обмена наборами данных в Hugging Face Hub, проектов, использующих оборудование SO-100/SO-101/OpenArm, а также групп, которым нужен сквозной рабочий процесс «запись-обучение-развертывание».
Преобразование между форматами
Скрипты преобразования существуют для всех трех пар:
HDF5 в RLDS: инструмент rlds_dataset_builder от Google преобразует эпизоды HDF5 в TFDS-совместимые фрагменты RLDS.
RLDS в LeRobot: интерфейс командной строки lerobot включает преобразование lerobot для импорта наборов данных RLDS в формат Parquet + video.
HDF5 в LeRobot: используйте lerobot Convert --from-hdf5 для прямого пути или пройдите через RLDS в качестве промежуточного шага.
Рекомендации ROBO.RU
Для новых проектов, начинающихся с нуля, мы рекомендуем формат LeRobot из-за его простоты использования, интеграции с Hub и растущего сообщества. Если вам необходимо участвовать в экосистеме Open X-Embodiment, экспортируйте параллельную копию в RLDS. Для обеспечения совместимости с robomimic сохраните версию HDF5.
Службы сбора данных ROBO.RU могут доставлять наборы данных в любом из этих трех форматов. В нашем каталоге наборов данных перечислены общедоступные наборы данных с метаданными формата, а платформа ROBO.RU предоставляет инструменты для просмотра, преобразования и аннотирования данных роботов.
Дальнейшее чтение
Каталог наборов данных ROBO.RU →
Пути обучения (включая краткое руководство LeRobot) →
Услуги по индивидуальному сбору данных →
Центр робототехники
Западное побережье: 90 Welsh St, Сан-Франциско, Калифорния 94107 · Восточное побережье: 125 Western Ave, Allston, MA 02134 · contact@ROBO.RU
Материал подготовлен редакцией ROBO.RU на основе открытых данных отрасли. Актуальные модели и условия поставки — в каталоге роботов и на форуме.