so101_block_stack_hw
收藏资源简介：
该数据集是在物理SO-101机器人上记录的方块堆叠任务数据，与模拟数据集drwahl/so101_block_stack_sim相对应。数据由脚本hw/oracle_replay.py在vla-test项目中记录。共包含36个episodes，每个episode对应六种颜色顺序之一，采样频率为10Hz，数据格式为LeRobot v3.0。每个episode包含观测状态（observation.state）和动作（action），均为5个手臂关节和夹爪的值；以及手腕摄像头图像（observation.images.wrist）和顶部摄像头图像（observation.images.top），分辨率均为480x480像素。每个镜头经过畸变校正并重投影到模拟的针孔模型，使得硬件和模拟图像的内部参数一致。该数据集的一个特点是，硬件和模拟的episodes可以互换使用，因为模拟器收集的schema与硬件相同。夹爪通道使用硬件自己的单位（而非模拟中使用的弧度）。
This dataset records block stacking task data on a physical SO-101 robot, corresponding to the simulated dataset drwahl/so101_block_stack_sim. The data is recorded by the script hw/oracle_replay.py in the vla-test project. It contains 36 episodes, each corresponding to one of six color orders, with a sampling frequency of 10Hz and the data format of LeRobot v3.0. Each episode includes observation state (observation.state) and action (action), both consisting of values for 5 arm joints and gripper; as well as wrist camera images (observation.images.wrist) and top camera images (observation.images.top), both with a resolution of 480x480 pixels. Each camera image is distortion-corrected and reprojected to a simulated pinhole model, ensuring consistent internal parameters between hardware and simulated images. A notable feature of this dataset is that hardware and simulated episodes can be used interchangeably because the schema collected by the simulator is the same as that of the hardware. The gripper channel uses the hardwares own units (rather than radians used in simulation).
数据集地址为 https://huggingface.co/datasets/drwahl/so101_block_stack_hw。
该数据集包含36个episode，采用LeRobot v3.0格式，采样频率为10 Hz。每个episode对应六种颜色排列中的一种，每种排列有6个episode。数据记录自物理SO-101机械臂，与模拟数据集drwahl/so101_block_stack_sim使用相同的任务（堆叠积木）。硬件数据和模拟数据在模式上可互换使用，便于策略训练。
数据内容方面，observation.state 和 action 包含五个机械臂关节和一个夹爪的状态；observation.images.wrist 和 observation.images.top 为480x480的图像。每个镜头均经过畸变校正并重投影到模拟器的针孔模型上，确保硬件图像与模拟渲染图像具有相同的相机内参。
数据采集流程为：先在模拟器中规划布局，将模拟相机视图与实时视图混合，再将积木移动到模拟位置。然后以开环方式发送oracle关节指令，同时记录机械臂自身状态和图像帧。因此记录数据与指令之间的差异反映了轨迹在传输到机械臂过程中的损失。
特别说明：夹爪通道使用的是跟随器自身的单位，而非模拟记录中使用的弧度。
