LeRobot documentation

Câmeras e Sensores de Terceiros

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.7.0).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Câmeras e Sensores de Terceiros

O ecossistema do LeRobot se estende muito além das câmeras suportadas nativamente (OpenCV, Intel RealSense, ZMQ, Reachy 2). Graças à arquitetura de plugins do LeRobot, a comunidade criou integrações de câmeras e sensores plug-and-play — de câmeras de profundidade a sensores táteis baseados em visão. Esta página apresenta integrações de câmeras e sensores mantidas pela comunidade que você pode usar para teleoperação, coleta de dados e implantação de políticas.

Esses projetos são desenvolvidos e mantidos por terceiros. Consulte cada repositório para obter instruções de instalação, requisitos de hardware e suporte.

Plugins drop-in são descobertos automaticamente pelo nome do pacote: o LeRobot importa qualquer pacote instalado com o prefixo lerobot_camera_. Uma vez instalado, referencie o type da câmera registrado pelo plugin (consulte seu README — pode diferir do nome do pacote) diretamente de qualquer comando do LeRobot:

pip install lerobot_camera_<name>

lerobot-record \
    --robot.type=so101_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=my_follower_arm \
    --robot.cameras="{ front: {type: <name>, width: 640, height: 480, fps: 30} }" \
    --teleop.type=so101_leader \
    --teleop.port=/dev/ttyACM1 \
    --teleop.id=my_leader_arm \
    --dataset.repo_id=${HF_USER}/my-dataset \
    --dataset.single_task="Describe your task here" \
    --dataset.num_episodes=5

Sensores Táteis

ProjetoDescrição
lerobot-camera-xensePlugin para sensores táteis baseados em visão Xense, expondo imagens retificadas/diferenciais, profundidade e marcadores 2D.
lerobot_camera_paxiniPlugin para sensores táteis multidimensionais Paxini PX-6AX GEN3 (força de 3 eixos por taxel, 9-239 taxéis), renderizando o array de taxéis como imagens de vetores de força ou mapas de calor.

Câmeras de profundidade

ProjetoDescrição
lerobot_camera_berxelPlugin para a câmera de profundidade Berxel, parte da suíte de drivers mais ampla HEXFELLOW.
lerobot_camera_zedPlugin oficial para câmeras ZED da Stereolabs (ZED 2/2i/Mini, a família ZED X e o ZED X One), com profundidade métrica, timestamps de hardware e gravação SVO.
lerobot_camera_oakPlugin para câmeras Luxonis OAK e OAK4 via USB ou PoE (DepthAI v3), com mapas de profundidade e nuvens de pontos opcionais.

Câmeras em Rede

ProjetoDescrição
lerobot_camera_zmqStreaming de plugin de quadros de Stereolabs ZED e câmera USB de um Raspberry Pi pela rede.

Câmeras Virtuais

ProjetoDescrição
lerobot_camera_dummyPlugin que simula uma câmera para gravação sem hardware. Útil para depuração!

Contribuindo

Construiu sua própria integração de câmera ou sensor para o LeRobot? Empacote-a como um plugin instalável lerobot_camera_<name> e ela será descoberta automaticamente pelo CLI do LeRobot — consulte o guia Traga seu próprio hardware e a referência Câmeras para começar e, em seguida, compartilhe seu projeto com a comunidade!

Update on GitHub