LeRobot documentation
Praxis-1
Praxis-1
praxis — это адаптер LeRobot для Praxis-1, открытой модели World Action Model от Runway для роботов. Praxis-1 — это видео-акционная модель: чанк-каузальный видео-диффузионный бэкбон (трансформер mixture-of-experts на 27 млрд параметров, около 3 млрд активных на токен) снимает шум со следующего отрезка видео длительностью 1,6 с с двух камер установки, в то время как экспертная подсеть действий, читающая скрытые состояния бэкбона, снимает шум с соответствующих 24 декартовых команд на частоте 15 Гц. Видео-автоэнкодер Wan2.2 и текстовый энкодер Qwen3.5-2B заморожены и взяты из их публичных весов. Выпущенный чекпоинт praxis-1-droid управляет однорычажной установкой DROID: рукой Franka с внешней камерой и камерой на запястье. Более ранний, не выпущенный чекпоинт DROID имеет ту же архитектуру, но другие веса и другой кадр камеры; их различия указаны в config.json чекпоинта (см. «Чекпоинты»). praxis-1-yam, чекпоинт для двуручной установки с двумя руками YAM, поставляется с той же структурой (см. «Чекпоинт для двуручной установки YAM»). praxis-1-base, видео-бэкбон и ствол экспертной подсети действий без головок конкретной установки, служит отправной точкой для дообучения под новую однорычажную установку (см. «Дообучение базового чекпоинта»).
Ресурсы:
| Ресурс | Ссылка | Используется для |
|---|---|---|
| Объявление | runway.com/news/praxis-1-is-now-available | Обзор метода |
| Веса | Коллекция Praxis-1 | runwayml/praxis-1-droid-lerobot и другие сконвертированные контрольные точки |
| Код | runwayml/praxis-1-oss | Исходный инференс, симуляция и обучение |
| Симулятор | praxis-sim на PyPI | Риг MuJoCo и его наборы для оценки |
| Wan2.2 VAE | Wan-AI/Wan2.2-TI2V-5B | Wan2.2_VAE.pth (заморожен) |
| Кодировщик текста | Qwen/Qwen3.5-2B | Замороженный |
Код модели находится в дереве репозитория по пути lerobot/policies/praxis/praxis_core (взят из репозитория praxis на коммите 8dad1a4, дополнен правилом canvas из praxis-1-droid, пути импорта переписаны; в заголовках файлов указаны коммиты исходного репозитория). Симуляция MuJoCo — это пакет praxis-sim на PyPI (разрабатывается в packages/praxis-sim репозитория praxis, без torch); в LeRobot для него нет среды.
Установка
pip install -e ".[praxis,dataset]" # the policy; `lerobot-eval` and `lerobot-train` also need `dataset`Конвертированные контрольные точки доступны на Hub: --policy.path=runwayml/praxis-1-droid-lerobot загружает опубликованную контрольную точку для одной руки (54 ГБ, скачивается один раз). runwayml/praxis-1-yam-lerobot — это контрольная точка для двух рук. runwayml/praxis-1-base-lerobot — базовая модель, для которой сначала требуется init_heads.py.
Политика работает на версиях, которые фиксирует LeRobot 0.7 (на момент написания: torch 2.15.0 с CUDA 13.2, transformers 5.22.2, triton 3.9). Приведённые ниже результаты были измерены на этом стеке (с transformers 5.22.1 и 5.22.2, которые дают одинаковые команды) и на стеке LeRobot 0.6 (torch 2.11.0 с CUDA 12.8, transformers 5.5.4); команды побитово совпадают с командами из репозитория praxis в каждом случае.
Необязательные ядра для конфигурации валидации контрольной точки. flash-attn-4 обеспечивает бэкенд внимания flash в конфигурации контрольной точки (flex attention с ядром FlashAttention-4 CuTe); без него политика использует ядро Triton для flex attention. flash-linear-attention и causal-conv1d — это быстрые ядра для слоев линейного внимания в Qwen3.5; без них transformers выполняет свою реализацию на PyTorch. Все три изменяют последние биты выходов, а не модель:
pip install "flash-attn-4[cu13]==4.0.0b36" # the CUDA 13 build for torch 2.15; "flash-attn-4==4.0.0b36" on a CUDA 12 torch
pip install "flash-linear-attention==0.6.0" # 0.5.0 does not run on triton 3.9
CAUSAL_CONV1D_FORCE_BUILD=TRUE MAX_JOBS=16 pip install --no-build-isolation "causal-conv1d==1.6.1" # compiles against torch; the praxis repository's setupДля инференса требуется один GPU с 80 ГБ памяти (веса занимают 54 ГБ в формате bfloat16).
На GPU Blackwell для дата-центров (B200 и GB200 — это SM100, B300 и GB300 — SM103; Jetson Thor, SM110, имеет такой же прямой проход FlashAttention-4):
- Для B300 и GB300 требуется сборка torch для CUDA 12.9 или более поздней версии, например torch 2.15.0+cu132, которую фиксирует LeRobot 0.7. Эксперты MoE вызывают
torch._grouped_mm, а в сборке torch 2.11.0+cu128 (LeRobot 0.6) отсутствует ядро SM103 для этой функции: первый вызов политики завершается ошибкойRuntimeError: cutlass cannot run, error 7, как это происходит в пайплайне репозитория praxis. B200 работает на обоих стеках. - FlashAttention-4 принимает блочно-разреженные маски только блоками по 256 токенов (иначе возникает
ValueError: Block sparse tensorsforward have block size 128, which must be a multiple of 256). При использовании бэкендаflashполитика строит маски бэкбона блоками по 256 токенов на этих GPU, а не с размером блокаbackbone.attention.flex_block_sizeравным 128, как в чекпоинте. Размер блока лишь группирует пары токенов: функция маски по-прежнему определяет каждую пару. Репозиторий praxis выполняет то же самое с"flex_block_size": 256в файлеconfig.jsonчекпоинта. Бэкендtritonсохраняет размер блока 128 из чекпоинта.
На GPU RTX Blackwell (вычислительная способность 12.x; у RTX PRO 6000 Blackwell есть 96 ГБ, необходимых для весов) в FlashAttention-4 отсутствует блочно-разреженный прямой проход для любого размера блока (при блоках в 128 токенов из контрольной точки возникает Block sparsity requires sparse_block_size[1]=128 to match tile_n=64), поэтому бэкенд flash не может работать на них. attention_backend="auto" выбирает triton на этих GPU, даже если установлен flash-attn-4, а "flash" вызывает ValueError при построении политики. Репозиторий praxis падает при первом вызове с flash из контрольной точки, но работает аналогично с "backend": "triton" в config.json контрольной точки. Два бэкенда различаются в последних битах, поэтому сравнивайте пропуски на этих GPU с пропусками на triton в других местах. На RTX PRO 6000 ничего другого не меняется: сборки torch для обоих стеков ниже поставляются с ядрами SM120 (включая torch._grouped_mm для MoE), а инференс с настройками praxis-1-droid достигает пика примерно в 62 ГБ.
Эти правила основаны на собственных проверках FlashAttention-4. Результаты проверки на соответствие, приведённые ниже, были измерены на GB300, B200 и RTX PRO 6000 Blackwell.
transformers5.4.0 to 5.5.4 (LeRobot 0.6; исправлено в 5.6.0, а LeRobot 0.7 фиксирует 5.22) при загрузке контрольной точки HubQwen/Qwen3.5-2Bсообщают, что все 320 тензоров языковой модели отсутствуют (перед сопоставлением они переименовывают сохранённые именаmodel.language_model.*), и молча инициализируют их случайными значениями. Текстовый кодировщик политики обнаруживает это и загружает тензоры под их сохранёнными именами, выводя предупреждение в журнал. Если текстовый кодировщик остаётся с случайными весами, политика продолжает двигаться, но почти никогда не достигает цели (в нашем первом прогоне успех в 7 из 56 эпизодов-стражей).
Входы и выходы
| Возможность | Форма | Значение |
|---|---|---|
observation.images.exterior | RGB | Фиксированная камера. Любой размер; препроцессор формирует тайл чекпоинта (224 x 416 с правилом антиалиасинга для praxis-1-droid, 256 x 416 для более ранних чекпоинтов DROID). Ключ задается параметром exterior_image_key. |
observation.images.wrist | RGB | Камера на запястье. Ключ задаётся параметром wrist_image_key. |
observation.state | (7,) | [x, y, z, roll, pitch, yaw, gripper]: позиция фланца Franka в системе координат основания робота (метры, внешние углы Эйлера x-y-z в радианах, конвенция DROID) и значение захвата в диапазоне [0, 1]. |
task | str | Инструкция, переданная текстовому кодировщику дословно. |
action | (7,) | Те же семь значений: абсолютная целевая поза и захват для следующего тика с частотой 15 Гц. |
observation.scene_seed (необязательный) | (1,) | Сцена-сид эпизода. Сид сэмплера для чанка k равен seed + seed_stride * scene_seed + k. |
Политика хранит собственную историю: кольцевой буфер последних 25 наблюдений для каждой среды в батче (исполненный чанк плюс текущий кадр) передаётся в следующий вызов в качестве контекста, поэтому n_obs_steps остаётся равным 1, а select_action должен вызываться на каждом тике с частотой 15 Гц с наблюдением этого тика. Первый вызов в окне контекста возвращает 21 команду, каждый последующий — 24. Если n_action_steps меньше 24, каждый вызов становится холодным стартом без контекста, как в praxis. drop_queued_actions (например, новая инструкция в середине роллаута) также перезапускает временной контекст, поскольку модель опирается на предположение, что весь предыдущий чанк был исполнен. Вызывающий, который исполняет целые чанки (predict_action_chunk), передаёт кадры, исполненные с момента его предыдущего вызова, в виде стека: камеры (B, T, 3, H, W) и состояния (B, T, 7), начиная с самых старых; тогда следующий чанк совпадает с чанком роллаута с вызовом на каждый тик. Первый чанк в окне контекста содержит 21 реальную команду и дополняется до 24 последней командой; кадры, наблюдавшиеся во время строк дополнения, отбрасываются, поэтому контекст соответствует контексту вызывающего, который исполнил 21 реальную команду. Вызов чанка с одним кадром снова начинает контекст.
Процессоры
Предобработчик готовит входные данные так же, как это делают код праксис-данных и код serve, в виде сохранённых, просматриваемых шагов:
| Шаг | Does |
|---|---|
PraxisTileViewsProcessorStep | Каждый вид камеры становится своей плиткой холста согласно правилу чекпоинта (video.antialias). praxis-1-droid: центрированный кроп до нативного соотношения сторон 720 x 1280, одно сглаженное билинейное масштабирование до 234 x 416 (отсутствует для вида, переданного в этом размере), центрированная обрезка до 224 x 416. Более ранний чекпоинт DROID: центрированный кроп до соотношения сторон плитки, одно обычное билинейное масштабирование до 256 x 416. Уровни uint8; вид, уже имеющий размер плитки, проходит без изменений. |
PraxisPoseProcessorStep | Поза DROID [x, y, z, roll, pitch, yaw, gripper] становится позой praxis8 [x, y, z, qw, qx, qy, qz, gripper] (состояние и действия обучающей выборки). |
PraxisTokenizerProcessorStep | Инструкция преобразуется в идентификаторы токенов и маску внимания текстового энкодера Qwen3.5-2B (observation.language.tokens, .attention_mask), токенизуемую так же, как токенизирует текстовый энкодер praxis. Замороженный энкодер и его кэш эмбеддингов остаются в политике. |
PraxisCommandProcessorStep | (postprocessor) Команда политики, позу праксис-провода [x, y, z, rotation 3 x 3] и захват, на CPU, преобразуются в 7 значений DROID. |
Вместе они позволяют политике видеть тайлы и строки pose8 и выдавать позы в формате wire, что в точности соответствует тому, что потребляет и производит сессия Session праксиса. Нормализация действий q99, нормализация проприоцепции по среднему и стандартному отклонению, а также декодирование относительных действий остаются внутри сессии: они привязаны к позе на момент начала выполнения каждого чанка, за которым сессия следит на протяжении всего rollout, а их статистика задается в чекпоинте (PraxisConfig.model_config["normalization"]); стандартные шаги нормализатора являются тождественными. Политика также принимает сырую 7-значную позу, сырые кадры камеры и строку task, поэтому ее можно вызывать без пайплайна: кадры размером с тайл считаются тайлами, другие размеры обрабатываются по правилу canvas из чекпоинта (правило fit для praxis-1-droid не является идемпотентным, поэтому тайл никогда не проходит через него дважды), а задача без токенов токенизируется политикой. Тайлы остаются на том устройстве, на которое пайплайн их помещает, до тех пор, пока их не прочитает автоэнкодер, а команды возвращаются на CPU: ничего не пересекает границу устройства дважды.
Чекпоинты
| Чекпоинт | Плитки | Изменение размера | Рекомендуемый сэмплер (значения по умолчанию PraxisConfig для praxis-1-droid) |
|---|---|---|---|
praxis-1-droid (выпущен) | 224 x 416 | правило сглаживания (video.antialias: true) | 2 шага Эйлера, сдвиг потока 12.5, текстовое руководство 4.0 для видео и отсутствие для действий (1.0), 1 контекстный фрагмент |
YAM, praxis-1-yam (двухручная, выпущена) | 256 x 416, три тайла | Правило подгонки YAM (video.antialias: true) | 2 шага, сдвиг потока 1.0, без текстового управления, 1 фрагмент контекста (конвертер записывает их) |
База, praxis-1-base (без головок) | задается в init_heads.py | задается в init_heads.py | выбор для дообучения; стенд DROID использует praxis-1-droid |
| Ранее выпущенная контрольная точка DROID (не опубликована) | 256 x 416 | обычное билинейное масштабирование | 2 шага, сдвиг 8.0, без текстового управления, 3 контекстных фрагмента (praxis); для результатов ниже использовались сдвиг 1.0, управление действием 3.0 и 1 контекстный фрагмент |
Холст берётся из config.json контрольной точки (video.tile_height, video.antialias) через конвертер; настройки сэмплера являются полями PraxisConfig, поэтому при запуске с более ранней контрольной точкой DROID передаются собственные значения (--policy.t_shift=8.0 --policy.cfg_video_scale=1.0 --policy.max_context_chunks=3).
Конвертировать контрольную точку
Чекпоинт praxis представляет собой каталог, содержащий config.json, 17 фрагментов safetensors, model.safetensors.index.json и SHA256SUMS. Преобразуйте его в каталог политики LeRobot:
python examples/praxis/convert_checkpoint.py \
--checkpoint /path/to/praxis-1-droid --out outputs/praxis-1-droid --linkРиг определяется по значению embodiment в контрольной точке: бимануальная контрольная точка получает свои три ключа камер (их можно переименовать с помощью --camera-keys) и настройки serve из своей контрольной точки. Базовая контрольная точка получает каталог без процессоров, который дополняется скриптом init_heads.py. runwayml/praxis-1-droid-lerobot и другие преобразованные контрольные точки являются результатом работы этого скрипта.
--link создаёт для шардов символические ссылки вместо копирования 54 ГБ. В каталоге находятся config.json LeRobot,
шарды, индекс и собственный файл SHA256SUMS (проверка sha256sum -c в нём проходит успешно) (политики LeRobot читают и записывают шардированные safetensors в формате
transformers; PraxisPolicy.save_pretrained записывает шарды по 5 ГБ), а также два файла процессоров. Параметры --vae-id и --text-encoder-id задают источник замороженных компонентов (по умолчанию — идентификаторы из Hub).
Результаты
Значения замкнутого цикла, приведённые ниже, получены из установки MuJoCo в репозитории praxis (пакет praxis-sim: Franka + Robotiq 2F-85, камеры 512 x 288, 15 Гц) и его фиксированных наборов для оценки; seed эпизода в LeRobot является seed сцены. Окружение, в котором наборы для оценки запускаются через lerobot-eval, не входит в состав LeRobot.
Во время сэмплирования политика фиксирует числовые настройки, с которыми работает praxis (отключен режим бенчмаркинга cuDNN, матричные умножения в float32 для MoE-роутера, разрешен TF32 в cuDNN), и восстанавливает настройки хоста после завершения, поэтому --tf32, torch.backends.cudnn.benchmark и размер батча не влияют на его выходные данные.
Сводка droid_guard (7 задач DROID x 8 сцен, 56 эпизодов, seed сэмплера 0) с более ранним, не опубликованным чекпоинтом DROID (тайлы 256 x 416) при настройках сэмплера из репозитория praxis на тот момент (2 шага Эйлера, flow shift 1.0, action guidance 3.0, без video guidance, 1 контекстный чанк) и его бэкендом flash attention, на одном H100 80 ГБ (около 10 минут).
Те же эпизоды были пропущены пятью способами: собственный раннер репозитория praxis в его собственном окружении (torch 2.13, transformers 5.2.0, causal-conv1d), тот же раннер и lerobot-eval на стеке LeRobot 0.6 (torch 2.11, transformers 5.5.4), а также оба снова на стеке, который фиксирует LeRobot 0.7 (torch 2.15 с CUDA 13.2, triton 3.9, flash-linear-attention 0.6.0; transformers 5.16.1 на тот момент). Повторение прогонов с torch 2.15 с transformers 5.22.1 дает побитово одинаковые команды и те же результаты 46/56 эпизодов как для раннера praxis, так и для lerobot-eval, а 5.22.2 (версия, которую фиксирует LeRobot 0.7.1) дает те же команды для praxis-1-droid и чекпоинта YAM: версия transformers не влияет на числа.
| Задача | praxis runner, praxis env | praxis runner, torch 2.11 | lerobot-eval, torch 2.11 | praxis runner, torch 2.15 | lerobot-eval, torch 2.15 |
|---|---|---|---|---|---|
| lift_cube | 7/8 | 7/8 | 6/8 | 7/8 | 8/8 |
| cube_on_plate | 8/8 | 8/8 | 8/8 | 8/8 | 8/8 |
| block_in_bowl | 8/8 | 8/8 | 8/8 | 8/8 | 8/8 |
| block_out_of_bowl | 7/8 | 6/8 | 7/8 | 7/8 | 6/8 |
| move_block | 7/8 | 7/8 | 6/8 | 7/8 | 7/8 |
| stack_block | 7/8 | 8/8 | 7/8 | 8/8 | 6/8 |
| press_button | 1/8 | 0/8 | 3/8 | 1/8 | 3/8 |
| Всего | 45/56 80 % | 44/56 79 % | 45/56 80 % | 46/56 82 % | 46/56 82 % |
В 56 эпизодах (praxis_sim.compare), lerobot-eval минус эталонное значение:
| Сравнение | Разница | 95 % бутстреп-интервал | Победа / поражение | p-критерий МакНемара |
|---|---|---|---|---|
torch 2.11: lerobot-eval по сравнению с praxis runner, praxis env | +0.0 % | [-10.7 %, +10.7 %] | 5 / 5 | 1.00 |
torch 2.11: lerobot-eval и praxis runner, один и тот же стек | +1.8 % | [-8.9 %, +12.5 %] | 6 / 5 | 1.00 |
torch 2.15: lerobot-eval против praxis runner, praxis env | +1.8 % | [-10.7 %, +14.3 %] | 6 / 5 | 1.00 |
torch 2.15: lerobot-eval и praxis runner, тот же стек | +0.0 % | [-10.7 %, +10.7 %] | 4 / 4 | 1.00 |
Каждый интервал включает ноль: политика и среда LeRobot воспроизводят результаты репозитория praxis, а ни стек программного обеспечения (ядра, версия transformers), ни изменения в harness не влияют на них сверх шума от эпизода к эпизоду. Сам раннер praxis смещается на ту же величину между стеками (с 44 до 46 из 56). press_button является сложным для этой контрольной точки во всех конфигурациях.
При одинаковых входных данных политика побитово совпадает с конвейером praxis на обоих стеках (см. ниже); между двумя стеками команды для одинаковых входных данных различаются максимум на 0.04 (flash) и 0.02 (triton), что и влияет на отдельные эпизоды.
praxis-1-droid, опубликованная контрольная точка
Те же 56 эпизодов с praxis-1-droid (плитки 224 x 416 со сглаживанием) при рекомендуемых настройках (2 шага Euler, flow shift 12.5, video guidance 4.0, без action guidance, 1 контекстный чанк) и бэкендом flash, на одном H100 80 ГБ: раннер из репозитория praxis (его main с текущим сэмплером, в окружении praxis: torch 2.13, transformers 5.2.0), lerobot-eval на стеке LeRobot 0.6 (torch 2.11, transformers 5.5.4), а также и раннер, и lerobot-eval на стеке, который фиксирует LeRobot 0.7 (torch 2.15 с CUDA 13.2, transformers 5.22.1).
| Задача | praxis runner, praxis env | lerobot-eval, torch 2.11 | praxis runner, torch 2.15 | lerobot-eval, torch 2.15 |
|---|---|---|---|---|
| lift_cube | 7/8 | 8/8 | 8/8 | 8/8 |
| cube_on_plate | 8/8 | 7/8 | 8/8 | 8/8 |
| block_in_bowl | 8/8 | 8/8 | 8/8 | 8/8 |
| block_out_of_bowl | 8/8 | 8/8 | 7/8 | 8/8 |
| move_block | 7/8 | 8/8 | 8/8 | 8/8 |
| stack_block | 8/8 | 7/8 | 8/8 | 6/8 |
| press_button | 8/8 | 8/8 | 7/8 | 8/8 |
| Всего | 54/56 96 % | 54/56 96 % | 54/56 96 % | 54/56 96 % |
В паре по 56 эпизодам, lerobot-eval минус праксис-раннер составляет +0.0 очков на обоих стеках
(95 % бутстреп-интервал [-7.1 %, +7.1 %], 2 победы / 2 поражения, p McNemar 1.00 для каждого). Эпизоды,
которые меняют исход, не совпадают на двух стеках: ядра torch 2.15 сдвигают команды на величину до
0.02, и за этим следуют несколько пограничных эпизодов. praxis-1-droid со своими настройками решает press_button, что
предыдущая контрольная точка DROID со своими настройками в основном не удавалось.
Совпадение с репозиторием praxis
- При одинаковых наблюдениях в одном процессе политика LeRobot и сессия
Sessionpraxis дают побитово равные текстовые эмбеддинги, латенты VAE, проприо, сэмплированные действия и команды (при одинаковых загруженных весах).tests/policies/praxis/test_praxis.pyповторяет эту проверку на небольшой случайной модели на CPU. - В рамках процессов пайплайн praxis, запущенный через исходный пакет
praxisи политику LeRobot, выдаёт побитово одинаковые команды на реальном чекпоинте, как для бэкендаflash, так и для бэкендаtriton(различие между двумя бэкендами в командах составляет до 0.055), на стеке LeRobot 0.6 (torch 2.11.0+cu128, transformers 5.5.4, flash-attn-4 4.0.0b36) и на стеке, зафиксированном в LeRobot 0.7 (torch 2.15.0+cu132, transformers 5.22.1 и 5.22.2, triton 3.9, flash-attn-4 4.0.0b36). Сам эталонный результат меняется между двумя стеками (до 0.019 дляflashи 0.015 дляtriton); при этом политика воспроизводит его побитово на каждом стеке. praxis-1-droid: межпроцессная проверка по пайплайну praxis из веткиmainрепозитория praxis (с его текущим сэмплером) дает побитово равные результаты на обоих бэкендах и обоих стеках для восьми способов вызова политики: через сохраненные пайплайны процессора (как это делаетlerobot-eval), на сырых кадрах и 7-значной позе без пайплайнов, с двумя средами в одном батче (разные инструкции и сиды сцены), черезpredict_action_chunk(холодный старт, а затем следующий чанк с учетом выполненных кадров в качестве стека), сn_action_steps=12(чанк каждые 12 команд, с условием на выполненные кадры), с включенным направлением действий (cfg_scale=3), и на 70 командах с тремя контекстными чанками (глубина от 0 до 3). Проверка выполняется при значениях по умолчанию для флагов TF32 и cuDNN benchmark вlerobot-eval: политика фиксирует числовые параметры praxis во время сэмплирования и возвращает хосту его флаги. Шаг тайла вычисляет холст на CPU независимо от устройства кадров: CUDA-ресайз с сглаживанием округляет один уровень иначе примерно на трети пикселей, что сдвигало команды на величину до 0.02 до того, как этот шаг был реализован.- Обучение: на опубликованных весах
PraxisPolicy.forwardиpraxis.train.objectiveиз репозитория praxis дают одинаковую потерю (а также видео- и action-слагаемые) побитово для одного и того же окна и случайных выборок, а также одинаковые градиенты по всем 200 тензорам action-эксперта. Отчитываемая метрика баланса MoE варьируется на один-два float32 ulp между запусками на обеих сторонах (недетерминированное приведение в статистике баланса; она входит в потерю с весом 1e-4). - GB300 (SM103, хост aarch64): в стеке LeRobot 0.7 зафиксированы версии (torch 2.15.0+cu132, cuDNN 9.26, transformers 5.22.1, triton 3.9, flash-attn-4 4.0.0b36, flash-linear-attention 0.6.0), межпроцессная проверка по отношению к ветке
mainрепозитория praxis дает побитовое совпадение на обоих бэкендах (flashс блоками маски по 256 токенов с обеих сторон): дляpraxis-1-droidв семи способах вызова политики (сохраненные пайплайны с флагамиlerobot-eval, необработанные кадры 720 x 1280, два окружения в одном батче,predict_action_chunkсо стеками кадров,n_action_steps=12,cfg_scale=3и 94 команды с тремя контекстными чанками), дляpraxis-1-yamчерез пайплайны, на необработанных кадрах и с двумя окружениями, а также для DROID-рига, собранного изpraxis-1-base.forwardдает потерю целевой функции praxis и градиенты всех 200 тензоров action-expert побитово точно на выпущенных весах. - RTX PRO 6000 Blackwell (SM120, 96 GB, хост x86_64),
tritonна обеих сторонах: в стеке LeRobot 0.6 (torch 2.11.0+cu128, cuDNN 9.19, transformers 5.5.4, triton 3.6, flash-linear-attention 0.5.0) и в стеке, который фиксирует LeRobot 0.7 (torch 2.15.0+cu132, cuDNN 9.26, transformers 5.22.1, triton 3.9, flash-linear-attention 0.6.0 и causal-conv1d 1.6.1, так что Qwen3.5 запускает их ядра), в обоих случаях с установленнымflash-attn-44.0.0b36, межпроцессная проверка по отношению кmainрепозитория praxis побитово равна в тех же аспектах, что и на GB300:praxis-1-droidв семи (463 команды, глубины контекста от 0 до 3),praxis-1-yamв трех, а стенд DROID, пересобранный изpraxis-1-base(его шесть тензоров head и его конфигурация равны тем, что вinit_headsрепозитория praxis).forwardдает потерю целевой функции praxis и градиенты всех 200 тензоров action-expert побитово на обоих стеках, при этом backbone заморожен на обеих сторонах (его 54 ГБ градиентов не помещаются рядом с весами). В стеке LeRobot 0.6 стороне praxis также требуется исправление Qwen3.5 для предупреждения выше: praxis-1 фиксирует transformers 5.2.0, и при 5.5.4 его текстовый энкодер остается случайным. Закрытый контур наdroid_guardсpraxis-1-droidв стеке LeRobot 0.6:lerobot-eval53/56 (94,6 %), раннер praxis 54/56 (96,4 %, как на H100 и GB300); в парном сравнении -1,8 пункта, 95 % интервал [-8,9, +5,4], выиграно 2 / проиграно 3, p МакНемара 1,00. Дообучение LoRA черезlerobot-train(r 16, alpha 32, целевые слои по умолчанию, одно окно на шаг) выполняется на одном GPU: 5,5 млн обучаемых параметров, 1,1 с на шаг, 62 ГБ. - B200 (SM100, хост x86_64): на стеке LeRobot 0.6 (torch 2.11.0+cu128, cuDNN 9.19, transformers 5.5.4, triton 3.6) и на стеке, зафиксированном в LeRobot 0.7 (torch 2.15.0+cu132, cuDNN 9.26, transformers 5.22.1, triton 3.9, flash-linear-attention 0.6.0), в обоих случаях с
flash-attn-44.0.0b36, межпроцессная проверка по отношению к веткеmainрепозитория praxis дает побитовое совпадение на обоих бэкендах (flashс блоками маски из 256 токенов на обеих сторонах) по образцу GB300:praxis-1-droidв семи (463 команды на бэкенд и стек, глубины контекста от 0 до 3),praxis-1-yamв трех, а сборка DROID, пересобранная изpraxis-1-base(ее шесть тензоров head и ее конфигурация равны тем, что вinit_headsрепозитория praxis). Два бэкенда различаются друг от друга максимум на 0.19 в командах.forwardдает потерю целевой функции praxis, ее видео- и action-слагаемые, а также градиенты всех 200 тензоров action-expert побитово на обоих бэкендах и обоих стеках, обученный backbone. Дообучение LoRA черезlerobot-trainвыполняется на одном GPU (1.2 с на шаг, 62 ГБ), а адаптер и его объединенный чекпоинт загружаются вlerobot-eval. - Замкнутый цикл на B200 (
droid_guard,praxis-1-droid,flash): прарсер praxis набирает 54/56 на стеке torch 2.15 и 55/56 на torch 2.11,lerobot-eval— 53/56 и 51/56 соответственно (в парном сравнении: -1.8 балла, 95 % доверительный интервал [-8.9, +5.4]; и -7.1 балла, [-14.3, -1.8], побед 0 / поражений 4, p-критерий МакНемара 0.125). Каждый харнес повторяет себя эпизод за эпизодом, поэтому разрыв не является шумом между запусками, и дело не в политике:lerobot-evalпередает состояние и команды как 7 значений DROID в float32 (PraxisSimGymEnv, шаги процессора позы и команд), тогда как прарсер praxis передает позы и команды сессии в исходном виде. Обратный проход сдвигает позу примерно на 1e-7, и в течение эпизода разница нарастает, превращаясь в другую траекторию. Прарсер praxis, если его состояние и команды пропустить через то же преобразование в float32, дает результатlerobot-evalво всех 56 эпизодах на обоих стеках. - В среде самого репозитория praxis (torch 2.13.0+cu130, transformers 5.2.0, causal-conv1d) выходные данные не совпадают побитово: ядра различаются, эмбеддинг Qwen3.5 отличается в bfloat16 максимум на 0.125, а за этим следуют различия в последних битах действий. Поэтому проверкой между репозиториями служит описанная выше парная оценка в замкнутом контуре.
- Симуляция рендерится с 4x мультисемплингом, и небольшое количество пикселей в каждом кадре различается между рендерами одной и той же сцены, поэтому два замкнутых эпизода одной и той же политики расходятся после первого чанка даже при идентичных весах. Парные эпизоды сравниваются статистически, а не посимвольно.
Двухручная контрольная точка YAM
praxis-1-yam ("embodiment": "bimanual", runwayml/praxis-1-yam-lerobot) управляет двумя манипуляторами YAM с помощью верхней камеры и двух камер на запястьях (виды ZED 16:10, 1920 x 1200). Для этого используется та же модель; чекпоинт отличается шириной экспертных головок (20 значений действий: [xyz, rot6d, gripper] на каждый манипулятор), холстом из трех тайлов и нормализацией. Адаптер LeRobot следует реализации praxis/bimanual.py из репозитория praxis (включен как praxis_core/bimanual.py):
| Ключ | Форма | Значение |
|---|---|---|
observation.images.top_left, observation.images.wrist_left, observation.images.wrist_right | RGB | Три вида в порядке холста (camera_keys). Любой размер 16:10; процессор формирует тайлы 256 x 416 по правилу подгонки YAM (виды вместе помещаются в рамку 416 px, затем выполняется обрезка 32 px). |
observation.state | (14,) | [x, y, z, roll, pitch, yaw, gripper] левой руки, затем правой руки, в мировой системе координат рига (pose_frame: rig, без поворота фланца); захватчики в том виде, в каком их сообщает риг (без обрезки). Также передаются 16 значений (pose8 на каждую руку). |
action | (14,) | Те же 14 значений: абсолютная цель для каждой руки на следующий такт 15 Гц. select_action выдает 26 значений (поза на проводе и захват каждой руки); шаг команды преобразует их. |
The checkpoint’s serve settings (the praxis repository’s configs/serve_yam.yaml: 2 Euler steps, flow shift 1.0, no
text guidance, 1 context chunk, the bimanual rig has no control mode) are what the converter writes
into the config, so --policy.path=runwayml/praxis-1-yam-lerobot runs them. Prompts go to the text
encoder verbatim; the checkpoint was trained on captions such as “Pick up the pen from the center of
the table, then place the pen in the bag”, without a closing period.
Совпадение: на реальном чекпоинте политика LeRobot и конвейер praxis BimanualServeSession дают побитово равные команды для одних и тех же трёх видов, поз и инструкции (22 тика: чанк холодного старта и первая команда чанка глубины 1) через сохранённые конвейеры, на сырых кадрах без них, а также с двумя средами с разными инструкциями в одном батче. Тест с малой моделью повторяет проверку на CPU против Session praxis.
Ограничения: симуляция манипулятора YAM отсутствует, поэтому замкнутый контур не поддерживается; forward (дообучение) выполняется только для одной руки, так как в репозитории praxis пока нет рецепта для двуручного обучения.
Обучение
lerobot-train выполняет дообучение политики с целью, соответствующей репозиторию praxis (praxis/train):
совместная функция потерь flow-matching для видео и действий, dropout для текста и проприоцепции, член
sequence-balance для MoE и обновление routing-bias после каждого шага оптимизатора. При одинаковом окне
и случайных выборках PraxisPolicy.forward побитово совпадает с целью тренера praxis на
опубликованном чекпоинте. Окно состоит из 93 последовательных кадров (группами по 21, 24, 24, 24) с обеих камер,
включая наблюдаемую и заданную позу фланца для каждого кадра, а также инструкцию; политика объявляет это через
observation_delta_indices / action_delta_indices (93 кадра) и удерживает окна внутри эпизодов с помощью
drop_n_last_frames (93, чтобы сэмплер выбирал начала окон согласно рецепту). Плитки камер следуют правилу холста
чекпоинта (video.antialias), как в модуле данных praxis. forward и обратное распространение его функции
потерь (включая пересчет при activation-checkpoint) выполняются с численной точностью praxis независимо от настроек
запуска, в том числе lerobot-train --tf32: без autocast (оценки роутера MoE остаются float32), без TF32 в
умножениях матриц float32. Количество просмотренных окон обучения — это буфер политики (train_counter): он
инициализирует выборки, сохраняется вместе с чекпоинтом и адаптером, а возобновленный запуск продолжает последовательность;
выделенная оценка не сдвигает его.
Данные
Рецепт обучается на DROID. lerobot/droid_1.0.1 хранит декартово положение в шести плюс одной колонках; 7-мерные колонки observation.state.cartesian и action.cartesian из PR #11 предварительно собирают их (используйте --dataset.revision=refs/pr/11, пока он не будет объединён). Собственные колонки observation.state и action датасета находятся в пространстве суставов; карта переименований помещает декартовы колонки на их место (переименованный ключ заменяет существующий), а две камеры — под ключами, которые читает политика:
RENAME='{"observation.state.cartesian":"observation.state","action.cartesian":"action",
"observation.images.exterior_1_left":"observation.images.exterior","observation.images.wrist_left":"observation.images.wrist"}'lerobot-train применяет map к исходному batch и ещё раз внутри конвейера процессора, поэтому он не должен менять ключи (маппинг observation.state на другое имя будет отменён).
Около половины эпизодов DROID не содержат инструкции, а некоторые короче окна; рецепт исключает их. examples/praxis/select_droid_episodes.py записывает список для --dataset.episodes:
python examples/praxis/select_droid_episodes.py --repo-id lerobot/droid_1.0.1 \
--revision refs/pr/11 --out droid_episodes.jsonКопия на Hub хранит видео 180x320; чекпоинт обучался на записях DROID 1280x720.
Плитки в копии на Hub — это апскейлы с меньшей детализацией, что приемлемо для smoke-теста. Для
верного fine-tune создайте локальную копию с исходными видео, как описано в praxis/train/README.md репозитория praxis, и укажите --dataset.root на неё.
Полная дообучение
Веса представлены в формате bfloat16; пресет оптимизатора praxis_adamw — это AdamW со стохастическим округлением (обычный AdamW округляет обновления 3e-6 до нуля), планировщик — линейный warmup и косинусное затухание до 3e-7, а каждый блок трансформера пересчитывает прямой проход в ходе обратного прохода (activation_checkpointing, включено по умолчанию). Веса, градиенты и моменты оптимизатора занимают 8 байт на параметр, что составляет 218 ГБ для модели 27.2B; FSDP распределяет их по GPU: для полного fine-tune требуется минимум 4 x 80 ГБ. Рецепт praxis предполагает 96 окон на шаг в течение 1200 шагов; на 8 GPU это --batch_size=1 --accelerator.gradient_accumulation.steps=12. lerobot-train считает микробатчи (один шаг цикла — это один батч на каждом GPU) и обновляет планировщик на каждый микробатч, поэтому 1200 обновлений соответствуют --steps=14400, при этом warmup и затухание задаются в микроступах.
torchrun --nproc-per-node=8 $(which lerobot-train) \
--dataset.repo_id=lerobot/droid_1.0.1 --dataset.revision=refs/pr/11 \
--dataset.episodes="$(cat droid_episodes.json)" --rename_map="$RENAME" \
--policy.path=runwayml/praxis-1-droid-lerobot --policy.device=cuda --policy.push_to_hub=false \
--parallelism.dp_shard=8 --accelerator.fsdp.mixed_precision_policy.reduce_dtype=float32 \
--batch_size=1 --accelerator.gradient_accumulation.steps=12 --steps=14400 \
--policy.scheduler_warmup_steps=600 --policy.scheduler_decay_steps=14400 \
--num_workers=8 --save_freq=100 --output_dir=outputs/train/praxis_droidОдин файл сохранения содержит модель с шунгами объёмом 54 ГБ (pretrained_model/, которую можно загрузить с помощью PraxisPolicy.from_pretrained и lerobot-eval) и около 108 ГБ состояния оптимизатора. PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True предотвращает фрагментацию аллокатора, как и в тренера praxis.
Замеры выполнены на 8 x H100 80 ГБ с praxis-1-droid, одним окном на GPU и --dataset.episodes в 256 эпизодов DROID (видео с Hub), 1000 шагов оптимизатора: 3,7 с на шаг после первого (который компилирует ядра), 48,5 ГБ памяти GPU на ранг, загрузчик данных справляется с 8 воркерами на ранг. Потери снижаются с 0,216 на первых ста шагах до 0,190 на последних ста (видео: с 0,191 до 0,171, действие: с 0,025 до 0,019). Чекпоинт сохраняет шардированную модель и состояние оптимизатора примерно за две минуты через FSDP. Дообученный чекпоинт набирает 50 из 56 на droid_guard против 54 у базовой модели: видео с Hub — это апскейлы 180x320, поэтому дообучение на них смещает политику от записей 1280x720, на которых она обучалась.
LoRA
Адаптеры через PEFT (pip install -e ".[peft]"). По умолчанию целевыми являются группа expert praxis, а также проекции внимания и MLP для action expert (PraxisPolicy.PEFT_TARGETS); проекции выходных значений внимания в backbone образуют вторую группу, передаваемую с помощью --peft.target_modules.
Веса экспертов MoE не являются линейными слоями и не принимают адаптеры. При замороженных базовых весах
запуск LoRA помещается на меньшее количество GPU:
torchrun --nproc-per-node=4 $(which lerobot-train) ... --parallelism.dp_shard=4 \
--peft.r=16 --peft.lora_alpha=32 --output_dir=outputs/train/praxis_loraОставьте --peft.full_training_modules без значения: значение по умолчанию modules_to_save для этой политики — это счётчик обучения, который адаптер обязан содержать (конфигурация отклоняет адаптер без него); единственные другие модули, которые она принимает, — это три модуля головы установки, для дообучения из базовой контрольной точки (см. ниже). Смещения маршрутизации MoE принадлежат базовой модели и остаются фиксированными при использовании PEFT. Замеры при r 16, alpha 32 и целевых модулях по умолчанию на 4 x H100 (--parallelism.dp_shard=4): 5,5 млн обучаемых параметров, 2,3 с на шаг с одним окном на GPU, 30 ГБ памяти GPU на ранг, адаптер размером 22 МБ; --parallelism.dp_replicate в сочетании с dp_shard (HSDP) также работает. Суммарная функция потерь остаётся около 0,22 в течение 500 шагов, поскольку замороженный ствол отвечает за видео-составляющую; составляющая действия снижается с 0,026 до 0,022. Адаптер из этого прогона набирает 52 из 56 на droid_guard, загруженный поверх базовой модели с помощью lerobot-eval.
Чекпоинт содержит адаптер (adapter_config.json, adapter_model.safetensors); lerobot-eval загружает его поверх базовой модели через --policy.path. Чтобы получить обычный чекпоинт для симуляции, сервера и from_pretrained, объедините адаптер с весами:
python examples/praxis/merge_praxis_adapter.py --base runwayml/praxis-1-droid-lerobot \
--adapter outputs/train/praxis_lora/checkpoints/last/pretrained_model --out outputs/praxis-1-droid-loraОтличия от тренера praxis
Целевая функция, рецептура окна, оптимизатор и расписание — это праксисные. Данные поступают из LeRobotDataset, а не из файлового считывателя праксиса, случайные выборки инициализируются с помощью семени LeRobot, счётчика вызовов, ранга и позиции в батче (чтобы потери были воспроизводимыми, но не совпадали с потерями праксис-запуска шаг за шагом), а контрольные точки — это контрольные точки LeRobot. Не перенесено: режим переобучения с фиксированными выборками и no_sync.
Доработка базовой контрольной точки
praxis-1-base ("embodiment": "base", runwayml/praxis-1-base-lerobot) — это видео-бэкбон и ствол action-expert на завершающей стадии предобучения, без шести тензоров head для конкретного манипулятора (action_encoder.w1, embed_proprio, head, веса и смещения) и без состояния оптимизатора. Он не загружается как политика; два скрипта превращают его в стартовую точку для дообучения под ваш однорукий манипулятор: LeRobot-версии скриптов compute_norm_stats.py и init_heads.py из репозитория praxis:
# the normalization statistics of your data: 1 % / 99 % quantiles of the relative actions and the
# mean and std of the proprio over random training windows (no video is read)
python examples/praxis/compute_norm_stats.py --repo-id lerobot/droid_1.0.1 --revision refs/pr/11 \
--state-key observation.state.cartesian --action-key action.cartesian \
--episodes droid_episodes.json --n-windows 2000 --out stats.json
# the base plus six new head tensors (`--seed`) and the rig fields: a policy directory that loads
python examples/praxis/init_heads.py --base runwayml/praxis-1-base-lerobot --out outputs/praxis-1-myrig \
--stats stats.json --tile-height 224 --tile-width 416 --antialias --link
# then the full fine-tune command above with --policy.path=outputs/praxis-1-myrig, or LoRA with the
# six new head tensors trained in full next to the adapters:
torchrun --nproc-per-node=4 $(which lerobot-train) ... --policy.path=outputs/praxis-1-myrig \
--parallelism.dp_shard=4 --peft.r=16 --peft.lora_alpha=32 \
--peft.full_training_modules='["train_counter","action_expert.action_encoder.w1","action_expert.embed_proprio","action_expert.head"]'Столбцы state и action содержат позу DROID и захват [x, y, z, roll, pitch, yaw, gripper] для каждого кадра (собственные столбцы набора данных или карта переименований). --stats-from <single-arm checkpoint> копирует существующий блок нормализации (конфигурация DROID). Конфигурация DROID, восстановленная из базовой модели и статистики опубликованного чекпоинта, точно соответствует конфигурации praxis-1-droid, а тензоры head — это те же тензоры из init_heads.py репозитория praxis для того же seed, побитово идентичные. На подмножестве DROID из описанных выше прогонов compute_norm_stats.py воспроизводит статистику чекпоинта с точностью до 0,01 м по квантилям xyz при закреплении значения gripper на 0 и 1. Собственный базовый fine-tune репозитория praxis (configs/finetune_base.yaml, один день на 8 GPU) достигает 62,5 % на droid_guard из этой базовой модели, тогда как praxis-1-droid, обученный примерно в 40 раз большим количеством окон, показывает 91 %: базовая модель служит стартовой точкой для нового рига, а не заменой опубликованного чекпоинта. Полный fine-tune обучает все веса с optimizer_lr; при использовании LoRA обучаются адаптеры и шесть тензоров head (PraxisPolicy.PEFT_HEAD_MODULES — единственные модули, кроме счетчика, которые принимает full_training_modules), а остальная часть trunk остается замороженной; шаги warm-up только для head и масштаб learning-rate для head из рецепта praxis не перенесены.
Известные ограничения
- Две установки: контрольная точка DROID с одной рукой (
embodiment: single_arm) и двуручная установка YAM (bimanual). Дообучение и симуляция выполняются с одной рукой. - Praxis формирует целевые позы в декартовых координатах для манипулятора с импедансным контроллером; классы роботов в LeRobot не включают Franka, поэтому работа с реальным роботом выполняется через клиент, который исполняет декартовые целевые значения.
- Пакет
select_actionвыполняет среды последовательно (один вызов модели на каждую среду). - Удалённое обслуживание не поддерживается. По умолчанию chunk runner (
lerobot/inference/policy_runner.py) отклоняет политику, которая зависит от прошлых наблюдений, а Praxis зависит от кадров выполненных чанков (current_observation_only=Falseвchunk_inference_spec); шаг tile также масштабирует кадры камеры до холста чекпоинта, поэтому они не будут соответствовать формам, которые проверяетvalidate_chunk_input_features. Запустите политику в процессе (lerobot-eval, клиент робота).