LeRobot documentation

Praxis-1

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.7.0).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Praxis-1

praxis — это адаптер LeRobot для Praxis-1, открытой модели World Action Model от Runway для роботов. Praxis-1 — это видео-акционная модель: чанк-каузальный видео-диффузионный бэкбон (трансформер mixture-of-experts на 27 млрд параметров, около 3 млрд активных на токен) снимает шум со следующего отрезка видео длительностью 1,6 с с двух камер установки, в то время как экспертная подсеть действий, читающая скрытые состояния бэкбона, снимает шум с соответствующих 24 декартовых команд на частоте 15 Гц. Видео-автоэнкодер Wan2.2 и текстовый энкодер Qwen3.5-2B заморожены и взяты из их публичных весов. Выпущенный чекпоинт praxis-1-droid управляет однорычажной установкой DROID: рукой Franka с внешней камерой и камерой на запястье. Более ранний, не выпущенный чекпоинт DROID имеет ту же архитектуру, но другие веса и другой кадр камеры; их различия указаны в config.json чекпоинта (см. «Чекпоинты»). praxis-1-yam, чекпоинт для двуручной установки с двумя руками YAM, поставляется с той же структурой (см. «Чекпоинт для двуручной установки YAM»). praxis-1-base, видео-бэкбон и ствол экспертной подсети действий без головок конкретной установки, служит отправной точкой для дообучения под новую однорычажную установку (см. «Дообучение базового чекпоинта»).

Ресурсы:

РесурсСсылкаИспользуется для
Объявлениеrunway.com/news/praxis-1-is-now-availableОбзор метода
ВесаКоллекция Praxis-1runwayml/praxis-1-droid-lerobot и другие сконвертированные контрольные точки
Кодrunwayml/praxis-1-ossИсходный инференс, симуляция и обучение
Симуляторpraxis-sim на PyPIРиг MuJoCo и его наборы для оценки
Wan2.2 VAEWan-AI/Wan2.2-TI2V-5BWan2.2_VAE.pth (заморожен)
Кодировщик текстаQwen/Qwen3.5-2BЗамороженный

Код модели находится в дереве репозитория по пути lerobot/policies/praxis/praxis_core (взят из репозитория praxis на коммите 8dad1a4, дополнен правилом canvas из praxis-1-droid, пути импорта переписаны; в заголовках файлов указаны коммиты исходного репозитория). Симуляция MuJoCo — это пакет praxis-sim на PyPI (разрабатывается в packages/praxis-sim репозитория praxis, без torch); в LeRobot для него нет среды.

Установка

pip install -e ".[praxis,dataset]"   # the policy; `lerobot-eval` and `lerobot-train` also need `dataset`

Конвертированные контрольные точки доступны на Hub: --policy.path=runwayml/praxis-1-droid-lerobot загружает опубликованную контрольную точку для одной руки (54 ГБ, скачивается один раз). runwayml/praxis-1-yam-lerobot — это контрольная точка для двух рук. runwayml/praxis-1-base-lerobot — базовая модель, для которой сначала требуется init_heads.py.

Политика работает на версиях, которые фиксирует LeRobot 0.7 (на момент написания: torch 2.15.0 с CUDA 13.2, transformers 5.22.2, triton 3.9). Приведённые ниже результаты были измерены на этом стеке (с transformers 5.22.1 и 5.22.2, которые дают одинаковые команды) и на стеке LeRobot 0.6 (torch 2.11.0 с CUDA 12.8, transformers 5.5.4); команды побитово совпадают с командами из репозитория praxis в каждом случае.

Необязательные ядра для конфигурации валидации контрольной точки. flash-attn-4 обеспечивает бэкенд внимания flash в конфигурации контрольной точки (flex attention с ядром FlashAttention-4 CuTe); без него политика использует ядро Triton для flex attention. flash-linear-attention и causal-conv1d — это быстрые ядра для слоев линейного внимания в Qwen3.5; без них transformers выполняет свою реализацию на PyTorch. Все три изменяют последние биты выходов, а не модель:

pip install "flash-attn-4[cu13]==4.0.0b36"        # the CUDA 13 build for torch 2.15; "flash-attn-4==4.0.0b36" on a CUDA 12 torch
pip install "flash-linear-attention==0.6.0"       # 0.5.0 does not run on triton 3.9
CAUSAL_CONV1D_FORCE_BUILD=TRUE MAX_JOBS=16 pip install --no-build-isolation "causal-conv1d==1.6.1"   # compiles against torch; the praxis repository's setup

Для инференса требуется один GPU с 80 ГБ памяти (веса занимают 54 ГБ в формате bfloat16).

На GPU Blackwell для дата-центров (B200 и GB200 — это SM100, B300 и GB300 — SM103; Jetson Thor, SM110, имеет такой же прямой проход FlashAttention-4):

  • Для B300 и GB300 требуется сборка torch для CUDA 12.9 или более поздней версии, например torch 2.15.0+cu132, которую фиксирует LeRobot 0.7. Эксперты MoE вызывают torch._grouped_mm, а в сборке torch 2.11.0+cu128 (LeRobot 0.6) отсутствует ядро SM103 для этой функции: первый вызов политики завершается ошибкой RuntimeError: cutlass cannot run, error 7, как это происходит в пайплайне репозитория praxis. B200 работает на обоих стеках.
  • FlashAttention-4 принимает блочно-разреженные маски только блоками по 256 токенов (иначе возникает ValueError: Block sparse tensorsforward have block size 128, which must be a multiple of 256). При использовании бэкенда flash политика строит маски бэкбона блоками по 256 токенов на этих GPU, а не с размером блока backbone.attention.flex_block_size равным 128, как в чекпоинте. Размер блока лишь группирует пары токенов: функция маски по-прежнему определяет каждую пару. Репозиторий praxis выполняет то же самое с "flex_block_size": 256 в файле config.json чекпоинта. Бэкенд triton сохраняет размер блока 128 из чекпоинта.

На GPU RTX Blackwell (вычислительная способность 12.x; у RTX PRO 6000 Blackwell есть 96 ГБ, необходимых для весов) в FlashAttention-4 отсутствует блочно-разреженный прямой проход для любого размера блока (при блоках в 128 токенов из контрольной точки возникает Block sparsity requires sparse_block_size[1]=128 to match tile_n=64), поэтому бэкенд flash не может работать на них. attention_backend="auto" выбирает triton на этих GPU, даже если установлен flash-attn-4, а "flash" вызывает ValueError при построении политики. Репозиторий praxis падает при первом вызове с flash из контрольной точки, но работает аналогично с "backend": "triton" в config.json контрольной точки. Два бэкенда различаются в последних битах, поэтому сравнивайте пропуски на этих GPU с пропусками на triton в других местах. На RTX PRO 6000 ничего другого не меняется: сборки torch для обоих стеков ниже поставляются с ядрами SM120 (включая torch._grouped_mm для MoE), а инференс с настройками praxis-1-droid достигает пика примерно в 62 ГБ.

Эти правила основаны на собственных проверках FlashAttention-4. Результаты проверки на соответствие, приведённые ниже, были измерены на GB300, B200 и RTX PRO 6000 Blackwell.

transformers 5.4.0 to 5.5.4 (LeRobot 0.6; исправлено в 5.6.0, а LeRobot 0.7 фиксирует 5.22) при загрузке контрольной точки Hub Qwen/Qwen3.5-2B сообщают, что все 320 тензоров языковой модели отсутствуют (перед сопоставлением они переименовывают сохранённые имена model.language_model.*), и молча инициализируют их случайными значениями. Текстовый кодировщик политики обнаруживает это и загружает тензоры под их сохранёнными именами, выводя предупреждение в журнал. Если текстовый кодировщик остаётся с случайными весами, политика продолжает двигаться, но почти никогда не достигает цели (в нашем первом прогоне успех в 7 из 56 эпизодов-стражей).

Входы и выходы

ВозможностьФормаЗначение
observation.images.exteriorRGBФиксированная камера. Любой размер; препроцессор формирует тайл чекпоинта (224 x 416 с правилом антиалиасинга для praxis-1-droid, 256 x 416 для более ранних чекпоинтов DROID). Ключ задается параметром exterior_image_key.
observation.images.wristRGBКамера на запястье. Ключ задаётся параметром wrist_image_key.
observation.state(7,)[x, y, z, roll, pitch, yaw, gripper]: позиция фланца Franka в системе координат основания робота (метры, внешние углы Эйлера x-y-z в радианах, конвенция DROID) и значение захвата в диапазоне [0, 1].
taskstrИнструкция, переданная текстовому кодировщику дословно.
action(7,)Те же семь значений: абсолютная целевая поза и захват для следующего тика с частотой 15 Гц.
observation.scene_seed (необязательный)(1,)Сцена-сид эпизода. Сид сэмплера для чанка k равен seed + seed_stride * scene_seed + k.

Политика хранит собственную историю: кольцевой буфер последних 25 наблюдений для каждой среды в батче (исполненный чанк плюс текущий кадр) передаётся в следующий вызов в качестве контекста, поэтому n_obs_steps остаётся равным 1, а select_action должен вызываться на каждом тике с частотой 15 Гц с наблюдением этого тика. Первый вызов в окне контекста возвращает 21 команду, каждый последующий — 24. Если n_action_steps меньше 24, каждый вызов становится холодным стартом без контекста, как в praxis. drop_queued_actions (например, новая инструкция в середине роллаута) также перезапускает временной контекст, поскольку модель опирается на предположение, что весь предыдущий чанк был исполнен. Вызывающий, который исполняет целые чанки (predict_action_chunk), передаёт кадры, исполненные с момента его предыдущего вызова, в виде стека: камеры (B, T, 3, H, W) и состояния (B, T, 7), начиная с самых старых; тогда следующий чанк совпадает с чанком роллаута с вызовом на каждый тик. Первый чанк в окне контекста содержит 21 реальную команду и дополняется до 24 последней командой; кадры, наблюдавшиеся во время строк дополнения, отбрасываются, поэтому контекст соответствует контексту вызывающего, который исполнил 21 реальную команду. Вызов чанка с одним кадром снова начинает контекст.

Процессоры

Предобработчик готовит входные данные так же, как это делают код праксис-данных и код serve, в виде сохранённых, просматриваемых шагов:

ШагDoes
PraxisTileViewsProcessorStepКаждый вид камеры становится своей плиткой холста согласно правилу чекпоинта (video.antialias). praxis-1-droid: центрированный кроп до нативного соотношения сторон 720 x 1280, одно сглаженное билинейное масштабирование до 234 x 416 (отсутствует для вида, переданного в этом размере), центрированная обрезка до 224 x 416. Более ранний чекпоинт DROID: центрированный кроп до соотношения сторон плитки, одно обычное билинейное масштабирование до 256 x 416. Уровни uint8; вид, уже имеющий размер плитки, проходит без изменений.
PraxisPoseProcessorStepПоза DROID [x, y, z, roll, pitch, yaw, gripper] становится позой praxis8 [x, y, z, qw, qx, qy, qz, gripper] (состояние и действия обучающей выборки).
PraxisTokenizerProcessorStepИнструкция преобразуется в идентификаторы токенов и маску внимания текстового энкодера Qwen3.5-2B (observation.language.tokens, .attention_mask), токенизуемую так же, как токенизирует текстовый энкодер praxis. Замороженный энкодер и его кэш эмбеддингов остаются в политике.
PraxisCommandProcessorStep(postprocessor) Команда политики, позу праксис-провода [x, y, z, rotation 3 x 3] и захват, на CPU, преобразуются в 7 значений DROID.

Вместе они позволяют политике видеть тайлы и строки pose8 и выдавать позы в формате wire, что в точности соответствует тому, что потребляет и производит сессия Session праксиса. Нормализация действий q99, нормализация проприоцепции по среднему и стандартному отклонению, а также декодирование относительных действий остаются внутри сессии: они привязаны к позе на момент начала выполнения каждого чанка, за которым сессия следит на протяжении всего rollout, а их статистика задается в чекпоинте (PraxisConfig.model_config["normalization"]); стандартные шаги нормализатора являются тождественными. Политика также принимает сырую 7-значную позу, сырые кадры камеры и строку task, поэтому ее можно вызывать без пайплайна: кадры размером с тайл считаются тайлами, другие размеры обрабатываются по правилу canvas из чекпоинта (правило fit для praxis-1-droid не является идемпотентным, поэтому тайл никогда не проходит через него дважды), а задача без токенов токенизируется политикой. Тайлы остаются на том устройстве, на которое пайплайн их помещает, до тех пор, пока их не прочитает автоэнкодер, а команды возвращаются на CPU: ничего не пересекает границу устройства дважды.

Чекпоинты

ЧекпоинтПлиткиИзменение размераРекомендуемый сэмплер (значения по умолчанию PraxisConfig для praxis-1-droid)
praxis-1-droid (выпущен)224 x 416правило сглаживания (video.antialias: true)2 шага Эйлера, сдвиг потока 12.5, текстовое руководство 4.0 для видео и отсутствие для действий (1.0), 1 контекстный фрагмент
YAM, praxis-1-yam (двухручная, выпущена)256 x 416, три тайлаПравило подгонки YAM (video.antialias: true)2 шага, сдвиг потока 1.0, без текстового управления, 1 фрагмент контекста (конвертер записывает их)
База, praxis-1-base (без головок)задается в init_heads.pyзадается в init_heads.pyвыбор для дообучения; стенд DROID использует praxis-1-droid
Ранее выпущенная контрольная точка DROID (не опубликована)256 x 416обычное билинейное масштабирование2 шага, сдвиг 8.0, без текстового управления, 3 контекстных фрагмента (praxis); для результатов ниже использовались сдвиг 1.0, управление действием 3.0 и 1 контекстный фрагмент

Холст берётся из config.json контрольной точки (video.tile_height, video.antialias) через конвертер; настройки сэмплера являются полями PraxisConfig, поэтому при запуске с более ранней контрольной точкой DROID передаются собственные значения (--policy.t_shift=8.0 --policy.cfg_video_scale=1.0 --policy.max_context_chunks=3).

Конвертировать контрольную точку

Чекпоинт praxis представляет собой каталог, содержащий config.json, 17 фрагментов safetensors, model.safetensors.index.json и SHA256SUMS. Преобразуйте его в каталог политики LeRobot:

python examples/praxis/convert_checkpoint.py \
    --checkpoint /path/to/praxis-1-droid --out outputs/praxis-1-droid --link

Риг определяется по значению embodiment в контрольной точке: бимануальная контрольная точка получает свои три ключа камер (их можно переименовать с помощью --camera-keys) и настройки serve из своей контрольной точки. Базовая контрольная точка получает каталог без процессоров, который дополняется скриптом init_heads.py. runwayml/praxis-1-droid-lerobot и другие преобразованные контрольные точки являются результатом работы этого скрипта.

--link создаёт для шардов символические ссылки вместо копирования 54 ГБ. В каталоге находятся config.json LeRobot, шарды, индекс и собственный файл SHA256SUMS (проверка sha256sum -c в нём проходит успешно) (политики LeRobot читают и записывают шардированные safetensors в формате transformers; PraxisPolicy.save_pretrained записывает шарды по 5 ГБ), а также два файла процессоров. Параметры --vae-id и --text-encoder-id задают источник замороженных компонентов (по умолчанию — идентификаторы из Hub).

Результаты

Значения замкнутого цикла, приведённые ниже, получены из установки MuJoCo в репозитории praxis (пакет praxis-sim: Franka + Robotiq 2F-85, камеры 512 x 288, 15 Гц) и его фиксированных наборов для оценки; seed эпизода в LeRobot является seed сцены. Окружение, в котором наборы для оценки запускаются через lerobot-eval, не входит в состав LeRobot.

Во время сэмплирования политика фиксирует числовые настройки, с которыми работает praxis (отключен режим бенчмаркинга cuDNN, матричные умножения в float32 для MoE-роутера, разрешен TF32 в cuDNN), и восстанавливает настройки хоста после завершения, поэтому --tf32, torch.backends.cudnn.benchmark и размер батча не влияют на его выходные данные.

Сводка droid_guard (7 задач DROID x 8 сцен, 56 эпизодов, seed сэмплера 0) с более ранним, не опубликованным чекпоинтом DROID (тайлы 256 x 416) при настройках сэмплера из репозитория praxis на тот момент (2 шага Эйлера, flow shift 1.0, action guidance 3.0, без video guidance, 1 контекстный чанк) и его бэкендом flash attention, на одном H100 80 ГБ (около 10 минут). Те же эпизоды были пропущены пятью способами: собственный раннер репозитория praxis в его собственном окружении (torch 2.13, transformers 5.2.0, causal-conv1d), тот же раннер и lerobot-eval на стеке LeRobot 0.6 (torch 2.11, transformers 5.5.4), а также оба снова на стеке, который фиксирует LeRobot 0.7 (torch 2.15 с CUDA 13.2, triton 3.9, flash-linear-attention 0.6.0; transformers 5.16.1 на тот момент). Повторение прогонов с torch 2.15 с transformers 5.22.1 дает побитово одинаковые команды и те же результаты 46/56 эпизодов как для раннера praxis, так и для lerobot-eval, а 5.22.2 (версия, которую фиксирует LeRobot 0.7.1) дает те же команды для praxis-1-droid и чекпоинта YAM: версия transformers не влияет на числа.

Задачаpraxis runner, praxis envpraxis runner, torch 2.11lerobot-eval, torch 2.11praxis runner, torch 2.15lerobot-eval, torch 2.15
lift_cube7/87/86/87/88/8
cube_on_plate8/88/88/88/88/8
block_in_bowl8/88/88/88/88/8
block_out_of_bowl7/86/87/87/86/8
move_block7/87/86/87/87/8
stack_block7/88/87/88/86/8
press_button1/80/83/81/83/8
Всего45/56 80 %44/56 79 %45/56 80 %46/56 82 %46/56 82 %

В 56 эпизодах (praxis_sim.compare), lerobot-eval минус эталонное значение:

СравнениеРазница95 % бутстреп-интервалПобеда / поражениеp-критерий МакНемара
torch 2.11: lerobot-eval по сравнению с praxis runner, praxis env+0.0 %[-10.7 %, +10.7 %]5 / 51.00
torch 2.11: lerobot-eval и praxis runner, один и тот же стек+1.8 %[-8.9 %, +12.5 %]6 / 51.00
torch 2.15: lerobot-eval против praxis runner, praxis env+1.8 %[-10.7 %, +14.3 %]6 / 51.00
torch 2.15: lerobot-eval и praxis runner, тот же стек+0.0 %[-10.7 %, +10.7 %]4 / 41.00

Каждый интервал включает ноль: политика и среда LeRobot воспроизводят результаты репозитория praxis, а ни стек программного обеспечения (ядра, версия transformers), ни изменения в harness не влияют на них сверх шума от эпизода к эпизоду. Сам раннер praxis смещается на ту же величину между стеками (с 44 до 46 из 56). press_button является сложным для этой контрольной точки во всех конфигурациях.

При одинаковых входных данных политика побитово совпадает с конвейером praxis на обоих стеках (см. ниже); между двумя стеками команды для одинаковых входных данных различаются максимум на 0.04 (flash) и 0.02 (triton), что и влияет на отдельные эпизоды.

praxis-1-droid, опубликованная контрольная точка

Те же 56 эпизодов с praxis-1-droid (плитки 224 x 416 со сглаживанием) при рекомендуемых настройках (2 шага Euler, flow shift 12.5, video guidance 4.0, без action guidance, 1 контекстный чанк) и бэкендом flash, на одном H100 80 ГБ: раннер из репозитория praxis (его main с текущим сэмплером, в окружении praxis: torch 2.13, transformers 5.2.0), lerobot-eval на стеке LeRobot 0.6 (torch 2.11, transformers 5.5.4), а также и раннер, и lerobot-eval на стеке, который фиксирует LeRobot 0.7 (torch 2.15 с CUDA 13.2, transformers 5.22.1).

Задачаpraxis runner, praxis envlerobot-eval, torch 2.11praxis runner, torch 2.15lerobot-eval, torch 2.15
lift_cube7/88/88/88/8
cube_on_plate8/87/88/88/8
block_in_bowl8/88/88/88/8
block_out_of_bowl8/88/87/88/8
move_block7/88/88/88/8
stack_block8/87/88/86/8
press_button8/88/87/88/8
Всего54/56 96 %54/56 96 %54/56 96 %54/56 96 %

В паре по 56 эпизодам, lerobot-eval минус праксис-раннер составляет +0.0 очков на обоих стеках (95 % бутстреп-интервал [-7.1 %, +7.1 %], 2 победы / 2 поражения, p McNemar 1.00 для каждого). Эпизоды, которые меняют исход, не совпадают на двух стеках: ядра torch 2.15 сдвигают команды на величину до 0.02, и за этим следуют несколько пограничных эпизодов. praxis-1-droid со своими настройками решает press_button, что предыдущая контрольная точка DROID со своими настройками в основном не удавалось.

Совпадение с репозиторием praxis

  • При одинаковых наблюдениях в одном процессе политика LeRobot и сессия Session praxis дают побитово равные текстовые эмбеддинги, латенты VAE, проприо, сэмплированные действия и команды (при одинаковых загруженных весах). tests/policies/praxis/test_praxis.py повторяет эту проверку на небольшой случайной модели на CPU.
  • В рамках процессов пайплайн praxis, запущенный через исходный пакет praxis и политику LeRobot, выдаёт побитово одинаковые команды на реальном чекпоинте, как для бэкенда flash, так и для бэкенда triton (различие между двумя бэкендами в командах составляет до 0.055), на стеке LeRobot 0.6 (torch 2.11.0+cu128, transformers 5.5.4, flash-attn-4 4.0.0b36) и на стеке, зафиксированном в LeRobot 0.7 (torch 2.15.0+cu132, transformers 5.22.1 и 5.22.2, triton 3.9, flash-attn-4 4.0.0b36). Сам эталонный результат меняется между двумя стеками (до 0.019 для flash и 0.015 для triton); при этом политика воспроизводит его побитово на каждом стеке.
  • praxis-1-droid: межпроцессная проверка по пайплайну praxis из ветки main репозитория praxis (с его текущим сэмплером) дает побитово равные результаты на обоих бэкендах и обоих стеках для восьми способов вызова политики: через сохраненные пайплайны процессора (как это делает lerobot-eval), на сырых кадрах и 7-значной позе без пайплайнов, с двумя средами в одном батче (разные инструкции и сиды сцены), через predict_action_chunk (холодный старт, а затем следующий чанк с учетом выполненных кадров в качестве стека), с n_action_steps=12 (чанк каждые 12 команд, с условием на выполненные кадры), с включенным направлением действий (cfg_scale=3), и на 70 командах с тремя контекстными чанками (глубина от 0 до 3). Проверка выполняется при значениях по умолчанию для флагов TF32 и cuDNN benchmark в lerobot-eval: политика фиксирует числовые параметры praxis во время сэмплирования и возвращает хосту его флаги. Шаг тайла вычисляет холст на CPU независимо от устройства кадров: CUDA-ресайз с сглаживанием округляет один уровень иначе примерно на трети пикселей, что сдвигало команды на величину до 0.02 до того, как этот шаг был реализован.
  • Обучение: на опубликованных весах PraxisPolicy.forward и praxis.train.objective из репозитория praxis дают одинаковую потерю (а также видео- и action-слагаемые) побитово для одного и того же окна и случайных выборок, а также одинаковые градиенты по всем 200 тензорам action-эксперта. Отчитываемая метрика баланса MoE варьируется на один-два float32 ulp между запусками на обеих сторонах (недетерминированное приведение в статистике баланса; она входит в потерю с весом 1e-4).
  • GB300 (SM103, хост aarch64): в стеке LeRobot 0.7 зафиксированы версии (torch 2.15.0+cu132, cuDNN 9.26, transformers 5.22.1, triton 3.9, flash-attn-4 4.0.0b36, flash-linear-attention 0.6.0), межпроцессная проверка по отношению к ветке main репозитория praxis дает побитовое совпадение на обоих бэкендах (flash с блоками маски по 256 токенов с обеих сторон): для praxis-1-droid в семи способах вызова политики (сохраненные пайплайны с флагами lerobot-eval, необработанные кадры 720 x 1280, два окружения в одном батче, predict_action_chunk со стеками кадров, n_action_steps=12, cfg_scale=3 и 94 команды с тремя контекстными чанками), для praxis-1-yam через пайплайны, на необработанных кадрах и с двумя окружениями, а также для DROID-рига, собранного из praxis-1-base. forward дает потерю целевой функции praxis и градиенты всех 200 тензоров action-expert побитово точно на выпущенных весах.
  • RTX PRO 6000 Blackwell (SM120, 96 GB, хост x86_64), triton на обеих сторонах: в стеке LeRobot 0.6 (torch 2.11.0+cu128, cuDNN 9.19, transformers 5.5.4, triton 3.6, flash-linear-attention 0.5.0) и в стеке, который фиксирует LeRobot 0.7 (torch 2.15.0+cu132, cuDNN 9.26, transformers 5.22.1, triton 3.9, flash-linear-attention 0.6.0 и causal-conv1d 1.6.1, так что Qwen3.5 запускает их ядра), в обоих случаях с установленным flash-attn-4 4.0.0b36, межпроцессная проверка по отношению к main репозитория praxis побитово равна в тех же аспектах, что и на GB300: praxis-1-droid в семи (463 команды, глубины контекста от 0 до 3), praxis-1-yam в трех, а стенд DROID, пересобранный из praxis-1-base (его шесть тензоров head и его конфигурация равны тем, что в init_heads репозитория praxis). forward дает потерю целевой функции praxis и градиенты всех 200 тензоров action-expert побитово на обоих стеках, при этом backbone заморожен на обеих сторонах (его 54 ГБ градиентов не помещаются рядом с весами). В стеке LeRobot 0.6 стороне praxis также требуется исправление Qwen3.5 для предупреждения выше: praxis-1 фиксирует transformers 5.2.0, и при 5.5.4 его текстовый энкодер остается случайным. Закрытый контур на droid_guard с praxis-1-droid в стеке LeRobot 0.6: lerobot-eval 53/56 (94,6 %), раннер praxis 54/56 (96,4 %, как на H100 и GB300); в парном сравнении -1,8 пункта, 95 % интервал [-8,9, +5,4], выиграно 2 / проиграно 3, p МакНемара 1,00. Дообучение LoRA через lerobot-train (r 16, alpha 32, целевые слои по умолчанию, одно окно на шаг) выполняется на одном GPU: 5,5 млн обучаемых параметров, 1,1 с на шаг, 62 ГБ.
  • B200 (SM100, хост x86_64): на стеке LeRobot 0.6 (torch 2.11.0+cu128, cuDNN 9.19, transformers 5.5.4, triton 3.6) и на стеке, зафиксированном в LeRobot 0.7 (torch 2.15.0+cu132, cuDNN 9.26, transformers 5.22.1, triton 3.9, flash-linear-attention 0.6.0), в обоих случаях с flash-attn-4 4.0.0b36, межпроцессная проверка по отношению к ветке main репозитория praxis дает побитовое совпадение на обоих бэкендах (flash с блоками маски из 256 токенов на обеих сторонах) по образцу GB300: praxis-1-droid в семи (463 команды на бэкенд и стек, глубины контекста от 0 до 3), praxis-1-yam в трех, а сборка DROID, пересобранная из praxis-1-base (ее шесть тензоров head и ее конфигурация равны тем, что в init_heads репозитория praxis). Два бэкенда различаются друг от друга максимум на 0.19 в командах. forward дает потерю целевой функции praxis, ее видео- и action-слагаемые, а также градиенты всех 200 тензоров action-expert побитово на обоих бэкендах и обоих стеках, обученный backbone. Дообучение LoRA через lerobot-train выполняется на одном GPU (1.2 с на шаг, 62 ГБ), а адаптер и его объединенный чекпоинт загружаются в lerobot-eval.
  • Замкнутый цикл на B200 (droid_guard, praxis-1-droid, flash): прарсер praxis набирает 54/56 на стеке torch 2.15 и 55/56 на torch 2.11, lerobot-eval — 53/56 и 51/56 соответственно (в парном сравнении: -1.8 балла, 95 % доверительный интервал [-8.9, +5.4]; и -7.1 балла, [-14.3, -1.8], побед 0 / поражений 4, p-критерий МакНемара 0.125). Каждый харнес повторяет себя эпизод за эпизодом, поэтому разрыв не является шумом между запусками, и дело не в политике: lerobot-eval передает состояние и команды как 7 значений DROID в float32 (PraxisSimGymEnv, шаги процессора позы и команд), тогда как прарсер praxis передает позы и команды сессии в исходном виде. Обратный проход сдвигает позу примерно на 1e-7, и в течение эпизода разница нарастает, превращаясь в другую траекторию. Прарсер praxis, если его состояние и команды пропустить через то же преобразование в float32, дает результат lerobot-eval во всех 56 эпизодах на обоих стеках.
  • В среде самого репозитория praxis (torch 2.13.0+cu130, transformers 5.2.0, causal-conv1d) выходные данные не совпадают побитово: ядра различаются, эмбеддинг Qwen3.5 отличается в bfloat16 максимум на 0.125, а за этим следуют различия в последних битах действий. Поэтому проверкой между репозиториями служит описанная выше парная оценка в замкнутом контуре.
  • Симуляция рендерится с 4x мультисемплингом, и небольшое количество пикселей в каждом кадре различается между рендерами одной и той же сцены, поэтому два замкнутых эпизода одной и той же политики расходятся после первого чанка даже при идентичных весах. Парные эпизоды сравниваются статистически, а не посимвольно.

Двухручная контрольная точка YAM

praxis-1-yam ("embodiment": "bimanual", runwayml/praxis-1-yam-lerobot) управляет двумя манипуляторами YAM с помощью верхней камеры и двух камер на запястьях (виды ZED 16:10, 1920 x 1200). Для этого используется та же модель; чекпоинт отличается шириной экспертных головок (20 значений действий: [xyz, rot6d, gripper] на каждый манипулятор), холстом из трех тайлов и нормализацией. Адаптер LeRobot следует реализации praxis/bimanual.py из репозитория praxis (включен как praxis_core/bimanual.py):

КлючФормаЗначение
observation.images.top_left, observation.images.wrist_left, observation.images.wrist_rightRGBТри вида в порядке холста (camera_keys). Любой размер 16:10; процессор формирует тайлы 256 x 416 по правилу подгонки YAM (виды вместе помещаются в рамку 416 px, затем выполняется обрезка 32 px).
observation.state(14,)[x, y, z, roll, pitch, yaw, gripper] левой руки, затем правой руки, в мировой системе координат рига (pose_frame: rig, без поворота фланца); захватчики в том виде, в каком их сообщает риг (без обрезки). Также передаются 16 значений (pose8 на каждую руку).
action(14,)Те же 14 значений: абсолютная цель для каждой руки на следующий такт 15 Гц. select_action выдает 26 значений (поза на проводе и захват каждой руки); шаг команды преобразует их.

The checkpoint’s serve settings (the praxis repository’s configs/serve_yam.yaml: 2 Euler steps, flow shift 1.0, no text guidance, 1 context chunk, the bimanual rig has no control mode) are what the converter writes into the config, so --policy.path=runwayml/praxis-1-yam-lerobot runs them. Prompts go to the text encoder verbatim; the checkpoint was trained on captions such as “Pick up the pen from the center of the table, then place the pen in the bag”, without a closing period.

Совпадение: на реальном чекпоинте политика LeRobot и конвейер praxis BimanualServeSession дают побитово равные команды для одних и тех же трёх видов, поз и инструкции (22 тика: чанк холодного старта и первая команда чанка глубины 1) через сохранённые конвейеры, на сырых кадрах без них, а также с двумя средами с разными инструкциями в одном батче. Тест с малой моделью повторяет проверку на CPU против Session praxis.

Ограничения: симуляция манипулятора YAM отсутствует, поэтому замкнутый контур не поддерживается; forward (дообучение) выполняется только для одной руки, так как в репозитории praxis пока нет рецепта для двуручного обучения.

Обучение

lerobot-train выполняет дообучение политики с целью, соответствующей репозиторию praxis (praxis/train): совместная функция потерь flow-matching для видео и действий, dropout для текста и проприоцепции, член sequence-balance для MoE и обновление routing-bias после каждого шага оптимизатора. При одинаковом окне и случайных выборках PraxisPolicy.forward побитово совпадает с целью тренера praxis на опубликованном чекпоинте. Окно состоит из 93 последовательных кадров (группами по 21, 24, 24, 24) с обеих камер, включая наблюдаемую и заданную позу фланца для каждого кадра, а также инструкцию; политика объявляет это через observation_delta_indices / action_delta_indices (93 кадра) и удерживает окна внутри эпизодов с помощью drop_n_last_frames (93, чтобы сэмплер выбирал начала окон согласно рецепту). Плитки камер следуют правилу холста чекпоинта (video.antialias), как в модуле данных praxis. forward и обратное распространение его функции потерь (включая пересчет при activation-checkpoint) выполняются с численной точностью praxis независимо от настроек запуска, в том числе lerobot-train --tf32: без autocast (оценки роутера MoE остаются float32), без TF32 в умножениях матриц float32. Количество просмотренных окон обучения — это буфер политики (train_counter): он инициализирует выборки, сохраняется вместе с чекпоинтом и адаптером, а возобновленный запуск продолжает последовательность; выделенная оценка не сдвигает его.

Данные

Рецепт обучается на DROID. lerobot/droid_1.0.1 хранит декартово положение в шести плюс одной колонках; 7-мерные колонки observation.state.cartesian и action.cartesian из PR #11 предварительно собирают их (используйте --dataset.revision=refs/pr/11, пока он не будет объединён). Собственные колонки observation.state и action датасета находятся в пространстве суставов; карта переименований помещает декартовы колонки на их место (переименованный ключ заменяет существующий), а две камеры — под ключами, которые читает политика:

RENAME='{"observation.state.cartesian":"observation.state","action.cartesian":"action",
"observation.images.exterior_1_left":"observation.images.exterior","observation.images.wrist_left":"observation.images.wrist"}'

lerobot-train применяет map к исходному batch и ещё раз внутри конвейера процессора, поэтому он не должен менять ключи (маппинг observation.state на другое имя будет отменён).

Около половины эпизодов DROID не содержат инструкции, а некоторые короче окна; рецепт исключает их. examples/praxis/select_droid_episodes.py записывает список для --dataset.episodes:

python examples/praxis/select_droid_episodes.py --repo-id lerobot/droid_1.0.1 \
    --revision refs/pr/11 --out droid_episodes.json

Копия на Hub хранит видео 180x320; чекпоинт обучался на записях DROID 1280x720. Плитки в копии на Hub — это апскейлы с меньшей детализацией, что приемлемо для smoke-теста. Для верного fine-tune создайте локальную копию с исходными видео, как описано в praxis/train/README.md репозитория praxis, и укажите --dataset.root на неё.

Полная дообучение

Веса представлены в формате bfloat16; пресет оптимизатора praxis_adamw — это AdamW со стохастическим округлением (обычный AdamW округляет обновления 3e-6 до нуля), планировщик — линейный warmup и косинусное затухание до 3e-7, а каждый блок трансформера пересчитывает прямой проход в ходе обратного прохода (activation_checkpointing, включено по умолчанию). Веса, градиенты и моменты оптимизатора занимают 8 байт на параметр, что составляет 218 ГБ для модели 27.2B; FSDP распределяет их по GPU: для полного fine-tune требуется минимум 4 x 80 ГБ. Рецепт praxis предполагает 96 окон на шаг в течение 1200 шагов; на 8 GPU это --batch_size=1 --accelerator.gradient_accumulation.steps=12. lerobot-train считает микробатчи (один шаг цикла — это один батч на каждом GPU) и обновляет планировщик на каждый микробатч, поэтому 1200 обновлений соответствуют --steps=14400, при этом warmup и затухание задаются в микроступах.

torchrun --nproc-per-node=8 $(which lerobot-train) \
    --dataset.repo_id=lerobot/droid_1.0.1 --dataset.revision=refs/pr/11 \
    --dataset.episodes="$(cat droid_episodes.json)" --rename_map="$RENAME" \
    --policy.path=runwayml/praxis-1-droid-lerobot --policy.device=cuda --policy.push_to_hub=false \
    --parallelism.dp_shard=8 --accelerator.fsdp.mixed_precision_policy.reduce_dtype=float32 \
    --batch_size=1 --accelerator.gradient_accumulation.steps=12 --steps=14400 \
    --policy.scheduler_warmup_steps=600 --policy.scheduler_decay_steps=14400 \
    --num_workers=8 --save_freq=100 --output_dir=outputs/train/praxis_droid

Один файл сохранения содержит модель с шунгами объёмом 54 ГБ (pretrained_model/, которую можно загрузить с помощью PraxisPolicy.from_pretrained и lerobot-eval) и около 108 ГБ состояния оптимизатора. PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True предотвращает фрагментацию аллокатора, как и в тренера praxis.

Замеры выполнены на 8 x H100 80 ГБ с praxis-1-droid, одним окном на GPU и --dataset.episodes в 256 эпизодов DROID (видео с Hub), 1000 шагов оптимизатора: 3,7 с на шаг после первого (который компилирует ядра), 48,5 ГБ памяти GPU на ранг, загрузчик данных справляется с 8 воркерами на ранг. Потери снижаются с 0,216 на первых ста шагах до 0,190 на последних ста (видео: с 0,191 до 0,171, действие: с 0,025 до 0,019). Чекпоинт сохраняет шардированную модель и состояние оптимизатора примерно за две минуты через FSDP. Дообученный чекпоинт набирает 50 из 56 на droid_guard против 54 у базовой модели: видео с Hub — это апскейлы 180x320, поэтому дообучение на них смещает политику от записей 1280x720, на которых она обучалась.

LoRA

Адаптеры через PEFT (pip install -e ".[peft]"). По умолчанию целевыми являются группа expert praxis, а также проекции внимания и MLP для action expert (PraxisPolicy.PEFT_TARGETS); проекции выходных значений внимания в backbone образуют вторую группу, передаваемую с помощью --peft.target_modules. Веса экспертов MoE не являются линейными слоями и не принимают адаптеры. При замороженных базовых весах запуск LoRA помещается на меньшее количество GPU:

torchrun --nproc-per-node=4 $(which lerobot-train) ... --parallelism.dp_shard=4 \
    --peft.r=16 --peft.lora_alpha=32 --output_dir=outputs/train/praxis_lora

Оставьте --peft.full_training_modules без значения: значение по умолчанию modules_to_save для этой политики — это счётчик обучения, который адаптер обязан содержать (конфигурация отклоняет адаптер без него); единственные другие модули, которые она принимает, — это три модуля головы установки, для дообучения из базовой контрольной точки (см. ниже). Смещения маршрутизации MoE принадлежат базовой модели и остаются фиксированными при использовании PEFT. Замеры при r 16, alpha 32 и целевых модулях по умолчанию на 4 x H100 (--parallelism.dp_shard=4): 5,5 млн обучаемых параметров, 2,3 с на шаг с одним окном на GPU, 30 ГБ памяти GPU на ранг, адаптер размером 22 МБ; --parallelism.dp_replicate в сочетании с dp_shard (HSDP) также работает. Суммарная функция потерь остаётся около 0,22 в течение 500 шагов, поскольку замороженный ствол отвечает за видео-составляющую; составляющая действия снижается с 0,026 до 0,022. Адаптер из этого прогона набирает 52 из 56 на droid_guard, загруженный поверх базовой модели с помощью lerobot-eval.

Чекпоинт содержит адаптер (adapter_config.json, adapter_model.safetensors); lerobot-eval загружает его поверх базовой модели через --policy.path. Чтобы получить обычный чекпоинт для симуляции, сервера и from_pretrained, объедините адаптер с весами:

python examples/praxis/merge_praxis_adapter.py --base runwayml/praxis-1-droid-lerobot \
    --adapter outputs/train/praxis_lora/checkpoints/last/pretrained_model --out outputs/praxis-1-droid-lora

Отличия от тренера praxis

Целевая функция, рецептура окна, оптимизатор и расписание — это праксисные. Данные поступают из LeRobotDataset, а не из файлового считывателя праксиса, случайные выборки инициализируются с помощью семени LeRobot, счётчика вызовов, ранга и позиции в батче (чтобы потери были воспроизводимыми, но не совпадали с потерями праксис-запуска шаг за шагом), а контрольные точки — это контрольные точки LeRobot. Не перенесено: режим переобучения с фиксированными выборками и no_sync.

Доработка базовой контрольной точки

praxis-1-base ("embodiment": "base", runwayml/praxis-1-base-lerobot) — это видео-бэкбон и ствол action-expert на завершающей стадии предобучения, без шести тензоров head для конкретного манипулятора (action_encoder.w1, embed_proprio, head, веса и смещения) и без состояния оптимизатора. Он не загружается как политика; два скрипта превращают его в стартовую точку для дообучения под ваш однорукий манипулятор: LeRobot-версии скриптов compute_norm_stats.py и init_heads.py из репозитория praxis:

# the normalization statistics of your data: 1 % / 99 % quantiles of the relative actions and the
# mean and std of the proprio over random training windows (no video is read)
python examples/praxis/compute_norm_stats.py --repo-id lerobot/droid_1.0.1 --revision refs/pr/11 \
    --state-key observation.state.cartesian --action-key action.cartesian \
    --episodes droid_episodes.json --n-windows 2000 --out stats.json
# the base plus six new head tensors (`--seed`) and the rig fields: a policy directory that loads
python examples/praxis/init_heads.py --base runwayml/praxis-1-base-lerobot --out outputs/praxis-1-myrig \
    --stats stats.json --tile-height 224 --tile-width 416 --antialias --link
# then the full fine-tune command above with --policy.path=outputs/praxis-1-myrig, or LoRA with the
# six new head tensors trained in full next to the adapters:
torchrun --nproc-per-node=4 $(which lerobot-train) ... --policy.path=outputs/praxis-1-myrig \
    --parallelism.dp_shard=4 --peft.r=16 --peft.lora_alpha=32 \
    --peft.full_training_modules='["train_counter","action_expert.action_encoder.w1","action_expert.embed_proprio","action_expert.head"]'

Столбцы state и action содержат позу DROID и захват [x, y, z, roll, pitch, yaw, gripper] для каждого кадра (собственные столбцы набора данных или карта переименований). --stats-from <single-arm checkpoint> копирует существующий блок нормализации (конфигурация DROID). Конфигурация DROID, восстановленная из базовой модели и статистики опубликованного чекпоинта, точно соответствует конфигурации praxis-1-droid, а тензоры head — это те же тензоры из init_heads.py репозитория praxis для того же seed, побитово идентичные. На подмножестве DROID из описанных выше прогонов compute_norm_stats.py воспроизводит статистику чекпоинта с точностью до 0,01 м по квантилям xyz при закреплении значения gripper на 0 и 1. Собственный базовый fine-tune репозитория praxis (configs/finetune_base.yaml, один день на 8 GPU) достигает 62,5 % на droid_guard из этой базовой модели, тогда как praxis-1-droid, обученный примерно в 40 раз большим количеством окон, показывает 91 %: базовая модель служит стартовой точкой для нового рига, а не заменой опубликованного чекпоинта. Полный fine-tune обучает все веса с optimizer_lr; при использовании LoRA обучаются адаптеры и шесть тензоров head (PraxisPolicy.PEFT_HEAD_MODULES — единственные модули, кроме счетчика, которые принимает full_training_modules), а остальная часть trunk остается замороженной; шаги warm-up только для head и масштаб learning-rate для head из рецепта praxis не перенесены.

Известные ограничения

  • Две установки: контрольная точка DROID с одной рукой (embodiment: single_arm) и двуручная установка YAM (bimanual). Дообучение и симуляция выполняются с одной рукой.
  • Praxis формирует целевые позы в декартовых координатах для манипулятора с импедансным контроллером; классы роботов в LeRobot не включают Franka, поэтому работа с реальным роботом выполняется через клиент, который исполняет декартовые целевые значения.
  • Пакет select_action выполняет среды последовательно (один вызов модели на каждую среду).
  • Удалённое обслуживание не поддерживается. По умолчанию chunk runner (lerobot/inference/policy_runner.py) отклоняет политику, которая зависит от прошлых наблюдений, а Praxis зависит от кадров выполненных чанков (current_observation_only=False в chunk_inference_spec); шаг tile также масштабирует кадры камеры до холста чекпоинта, поэтому они не будут соответствовать формам, которые проверяет validate_chunk_input_features. Запустите политику в процессе (lerobot-eval, клиент робота).
Update on GitHub