遇见数据集

salmonHan/record-test_20260528_005457

收藏
Hugging Face2026-05-27 更新2026-05-31 收录
官方服务:

资源简介:

该数据集是使用LeRobot创建的机器人学数据集,专为机器人任务设计。数据集包含一个episode,总计1797帧数据,涉及一个任务。数据以30fps的帧率采集,包括动作数据(如肩部平移、肩部提升、肘部弯曲、手腕弯曲、手腕旋转和夹爪位置)、观测状态(关节位置)、前视图像(分辨率为720x1280,3通道彩色视频)以及时间戳、帧索引、episode索引、任务索引等元数据。机器人类型为so_follower。数据集结构以Parquet文件格式存储,总数据文件大小为100MB,视频文件大小为200MB。

This dataset is a robotics dataset created using LeRobot, designed for robotics tasks. It contains one episode with a total of 1797 frames, involving one task. The data is collected at 30 fps, including action data (e.g., shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, and gripper positions), observation states (joint positions), front-view images (resolution 720x1280, 3-channel color video), and metadata such as timestamp, frame index, episode index, and task index. The robot type is so_follower. The dataset structure is stored in Parquet file format, with a total data file size of 100 MB and video file size of 200 MB.

提供机构:
salmonHan
搜集汇总
数据集介绍
salmonHan/record-test_20260528_005457 数据集图片
构建方式
该数据集基于LeRobot框架构建,专为机器人模仿学习任务设计。数据采集过程中,研究者操控so_follower型机器人执行单一任务,共记录1个完整轨迹(episode)及1797帧数据,采样频率为30帧/秒。数据集以Parquet格式存储结构化状态与动作信息,并同步保存720×1280分辨率的前置相机视频流(AV1编码)。元数据描述显示,数据按1000帧大小分块存储,视频与表格文件分别独立编目,便于高效访问与分布式加载。
特点
数据集具备多模态时间序列特性,动作与观测状态以6维浮点向量形式对齐记录,涵盖肩部、肘部、腕部及夹爪等关节位置信息。视频观测采用高分辨率彩色图像序列(720p),完整还原环境视觉细节。尽管数据规模较小(仅含1个轨迹),但结构设计严谨,包含时间戳、帧索引、任务标签等辅助字段,易于扩展至多任务场景。压缩比与编码格式的平衡使其在存储效率与回放质量间取得优化。
使用方法
用户可通过LeRobot库的DataLoader接口加载数据集,指定config_name为‘default’后自动解析Parquet与视频文件。训练时,模型可同时获取观测状态、前视图像和6维动作向量,适用于行为克隆或策略网络(如扩散策略)的端到端学习。元数据中的chunks_size与splits字段支持灵活的数据划分,例如将单轨迹按首尾比例切分为训练/验证集。可视化工具(Hugging Face Space)则提供了交互式预览能力,便于快速验证数据质量。
背景与挑战
背景概述
该数据集由salmonHan团队基于LeRobot框架创建于2026年5月,专注于机器人操作技能的学习与复现。其核心研究问题在于如何通过低成本、易部署的硬件平台(如so_follower机器人)采集高质量的机器人操作数据,以推动模仿学习与强化学习在真实机器人系统中的落地。数据集仅包含1个轨迹片段和1797帧数据,但提供了6维关节动作与状态信息(肩部、肘部、腕部及夹爪位置)以及720p高清视觉观测,为精细操作技能的研究提供了基础验证平台。作为LeRobot生态中的小型示例数据集,它展示了标准化数据格式在机器人学习中的重要性,为该领域数据共享与算法比较树立了范本。
当前挑战
该数据集面临的首要挑战是机器人操作领域的数据稀缺与泛化难题:单个轨迹样本难以覆盖复杂任务中的多样状态与动作模式,模型易出现过拟合。此外,构建过程中需克服硬件一致性问题——so_follower机器人不同批次间的动力学差异可能导致数据偏差,而高帧率(30fps)视频与关节状态同步采集对系统时序精确性提出严苛要求。如何在小样本条件下保证动作策略的鲁棒性,以及如何将数据格式与更大规模、多任务的机器人数据集有效兼容,同样是亟待解决的关键挑战。
常用场景
经典使用场景
该数据集专为机器人模仿学习任务而构建,尤其在基于视觉的机械臂操作场景中发挥关键作用。通过记录单次完整示教过程(包含1797帧、30fps的同步视频与关节状态数据),它可被用于训练模型从视觉输入直接映射到6自由度连续动作指令。典型应用包括学习目标抓取、物体推放或精密装配等操作策略,其中前视摄像头图像与关节角度向量构成观测空间,而动作空间则涵盖从肩部到夹爪的完整运动链。这种端到端的行为克隆范式,使得机器人能够复现人类演示中的操作技巧。
衍生相关工作
该数据集是LeRobot生态体系的产物,其结构与LeRobot开源库深度兼容,可直接用于训练基于扩散策略(Diffusion Policy)或Transformer架构的机器人操作模型。相关工作包括利用此数据验证具身智能中视觉语言模型的迁移能力,或将其作为多任务数据集构建组件,用于研究跨场景的技能泛化。此外,它也为数据增强方法(如视角变换、时序重采样)在机器人行为克隆中的有效性提供了测试基准,并催生了更高效的低维动作空间编码方案。
数据集最近研究
最新研究方向
该数据集聚焦于机器人遥操作与模仿学习的前沿交叉领域,依托LeRobot框架构建,记录了单次完整操作轨迹中六自由度机械臂(so_follower)的关节位姿与高清视觉观测数据。结合当前具身智能与机器人基础模型的研究热潮,此类细粒度时序动作-视觉对齐数据集正成为推动少样本模仿学习、跨任务泛化能力突破的关键资源。数据集采用parquet高效存储与AV1视频编码,适配大规模离线训练与真实环境部署的无缝衔接,其结构化设计(含动作、状态、图像及时间戳)为探索非结构化场景下的鲁棒策略学习、人机协作的实时映射机制提供了标准化基准,对加速服务型机器人与工业协作系统的智能化落地具有显著意义。
以上内容由遇见数据集搜集并总结生成
二维码
社区交流群
二维码
科研交流群
商业服务