zhang311/testlerobot2

该数据集是一个机器人数据集，使用LeRobot创建，专为机器人任务设计。数据集包含100个episodes，总计57,661帧，帧率为30fps，采用机器人类型bi_so101_follower。数据集结构包括动作特征（12维浮点数，表示左右机械臂的关节位置，如肩部平移、肩部提升、肘部弯曲、腕部弯曲、腕部旋转和夹爪位置）、观测状态特征（12维浮点数，与动作特征相同），以及三个摄像头图像观测（左摄像头：480x640分辨率，顶部摄像头：360x640分辨率，右摄像头：480x640分辨率，均为彩色视频，使用h264编码）。此外，数据集还包括时间戳、帧索引、episode索引、总索引和任务索引等元数据。数据以parquet文件格式存储，视频文件为mp4格式，总数据文件大小为100MB，视频文件大小为200MB。数据集仅包含训练分割（0到100个episodes），适用于机器人控制、模仿学习或强化学习任务。This dataset is a robotics dataset created using LeRobot, designed for robotics tasks. It contains 100 episodes with a total of 57,661 frames at 30 fps, using the robot type bi_so101_follower. The dataset structure includes action features (12-dimensional float32 values representing joint positions for left and right arms, such as shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, and gripper positions), observation state features (12-dimensional float32 values, same as action features), and three camera image observations (left camera: 480x640 resolution, top camera: 360x640 resolution, right camera: 480x640 resolution, all in color video with h264 encoding). Additionally, the dataset includes metadata such as timestamp, frame index, episode index, overall index, and task index. Data is stored in parquet file format, with video files in mp4 format; the total data file size is 100MB, and video file size is 200MB. The dataset only includes a training split (episodes 0 to 100) and is suitable for robotics control, imitation learning, or reinforcement learning tasks.

搜集汇总

数据集介绍

构建方式

testlerobot2数据集基于LeRobot框架构建，专为机器人学习研究设计。该数据集通过记录双机械臂（型号为bi_so101_follower）在真实环境中的操作轨迹生成，共包含100个完整的任务片段（episodes），总帧数达57,661帧，以30帧/秒的采样频率捕捉。数据以Parquet格式存储于分块文件中，视频数据则采用H.264编码的MP4格式保存，分别放置在data与videos目录下，便于高效存取。数据集的所有帧被划分为单一的训练集（索引0至100），未设立验证或测试集。

特点

该数据集的核心特点在于其多模态观测与高维动作空间。动作与观测状态均为12维浮点向量，覆盖左右肩膀、肘部、腕部及夹爪的关节位置。视觉信息由三个摄像头采集：左侧、右侧为480x640分辨率，顶部为360x640分辨率，均提供RGB图像。数据集中包含时间戳、帧索引、片段索引等元数据，支持时序序列的学习任务。总计约100MB的Parquet数据与200MB的视频文件，使得数据集规模适中，适合快速实验与原型验证。

使用方法

使用testlerobot2数据集时，研究者可通过LeRobot库轻松加载与解析。数据路径遵循模式'data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet'，视频路径类似。观察特征（如observation.images.left）可直接作为视频帧输入，动作向量适用于模仿学习或策略网络的回归目标。由于包含完整的片段索引，可用于处理变长序列的循环神经网络或Transformer模型。建议首先加载info.json以了解元数据结构，随后利用split信息（train: 0-100）划分训练数据。

背景与挑战

背景概述

在机器人学习领域，模仿学习通过从专家演示中提取行为策略，正逐步成为赋予机器人复杂操作能力的核心范式。testlerobot2数据集由Hugging Face团队基于LeRobot框架构建，于近期发布，专门用于双机械臂协同操作任务的训练与评估。其核心研究问题聚焦于如何利用高精度、多模态的演示数据，驱动机器人执行精细的物体操控。该数据集收录了100个专家演示片段，总计约57,661帧，通过左右臂共12个关节角度状态和三个视角（左、右、顶部）的高清视频流，完整记录了双BISO101型机器人执行单一任务时的运动轨迹与环境交互细节。尽管规模有限，但因其标准化的数据结构和与LeRobot框架的深度集成，该数据集为多模态融合、低样本模仿学习等研究提供了宝贵的基准资源，对推动开源机器人学习社区的发展具有奠基意义。

当前挑战

该数据集面临的挑战首先源自其解决的核心领域问题——双机械臂协同操作中行为的精确复制与泛化。由于仅包含100个演示片段，数据量相对匮乏，易导致模型过拟合，难以适应物体位置、光照或任务姿态的微小变化。其次，构建过程中存在多重障碍：多视角（480p/360p）视频与高维状态动作数据（12维关节角度）的异构融合需精细的时间同步与对齐；演示由单一机器人收集，引入的机械误差与操作者偏好限制了数据的多样性；此外，数据采集依赖昂贵且易磨损的实体硬件，扩展至新任务或机器人平台时面临高昂的二次开发成本。这些因素共同制约了数据集在真实场景中的鲁棒性提升与大规模应用。

常用场景

经典使用场景

在机器人学习领域，testlerobot2数据集因其精细化的双机械臂操控记录而备受瞩目。该数据集由LeRobot框架生成，包含100个完整回合、超过5.7万帧的高频（30 FPS）观测数据，涵盖了左右双臂共12个关节的动作轨迹与状态信息，并同步采集了左、右、顶部三视角的640×480分辨率视频流。典型的经典使用场景聚焦于模仿学习与行为克隆：研究人员利用该数据集中成对的观测状态与动作指令，训练神经网络模型以复现专家演示的操控策略。数据集的结构化分割（如训练集占比100%）与统一的Parquet存储格式，为从视觉输入到动作输出的端到端策略学习提供了标准化的数据基石。

实际应用

在实际工业与服务业场景中，testlerobot2数据集为灵巧双机械臂系统的智能化部署提供了关键数据支撑。其记录的精细关节角度与同步视频流，可直接用于训练诸如电子元件精密装配、医疗器具操作乃至厨房烹饪辅助等复杂任务的控制策略。企业研发团队可基于此数据集训练仿真环境中的初始策略，再通过域随机化或少量真实微调，迁移至实际的bi_so101_follower型机器人平台，显著缩短从算法原型到产线部署的周期。此外，低延时、高帧率的视觉-运动对齐数据，也为实时人机协作场景下的安全交互与轨迹预测算法开发提供了可靠的数据基础。

衍生相关工作

testlerobot2数据集的出现催生了一系列具有深远影响的衍生工作。依托LeRobot生态，该数据集被广泛用于基准测试与对比实验，催生了如基于扩散策略（Diffusion Policy）的双臂操作动作生成、基于视觉变换器（ViT）的跨视角特征对齐网络以及时序对比学习的状态空间模型等代表性成果。研究者进一步从中挖掘出任务无关的阶段性动作基元，提出模块化技能库的组合学习范式。同时，该数据集的标准化格式还推动了数据增强与仿真到现实的迁移方法创新，如自动标注噪声注入与物理引擎中动力学属性的系统辨识，这些工作共同构建了一个良性循环的算法进化生态系统。