遇见数据集

cieclr/rgb

收藏
Hugging Face2026-05-27 更新2026-05-31 收录
官方服务:

资源简介:

--- license: apache-2.0 task_categories: - robotics tags: - LeRobot configs: - config_name: default data_files: data/*/*.parquet --- This dataset was created using [LeRobot](https://github.com/huggingface/lerobot). ## Dataset Description - **Homepage:** [More Information Needed] - **Paper:** [More Information Needed] - **License:** apache-2.0 ## Dataset Structure [meta/info.json](meta/info.json): ```json { "codebase_version": "v3.0", "robot_type": "so101_follower", "total_episodes": 20, "total_frames": 17740, "total_tasks": 1, "chunks_size": 1000, "data_files_size_in_mb": 100, "video_files_size_in_mb": 500, "fps": 30, "splits": { "train": "0:20" }, "data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet", "video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4", "features": { "action": { "dtype": "float32", "names": [ "shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos" ], "shape": [ 6 ] }, "observation.state": { "dtype": "float32", "names": [ "shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos" ], "shape": [ 6 ] }, "observation.images.front": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false } }, "observation.images.wrist": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false } }, "timestamp": { "dtype": "float32", "shape": [ 1 ], "names": null }, "frame_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "episode_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "task_index": { "dtype": "int64", "shape": [ 1 ], "names": null } } } ``` ## Citation **BibTeX:** ```bibtex [More Information Needed] ```

This dataset was created using LeRobot and focuses on robotics, specifically for the so101_follower robot type. It contains 20 episodes with a total of 17,740 frames at 30 fps. The data is stored in Parquet format, with a total data file size of 100 MB and video file size of 500 MB. The dataset includes only a training split (0:20). Features include: action (6-dimensional float32 array representing shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, and gripper positions), observation state (6-dimensional float32 array for the same joint positions), image observations (front and wrist camera videos with 480x640 resolution, 3 channels, AV1 codec, no audio), and metadata such as timestamp, frame index, episode index, index, and task index. It is suitable for robot control, imitation learning, or reinforcement learning tasks.

提供机构:
cieclr
搜集汇总
数据集介绍
cieclr/rgb 数据集图片
构建方式
该数据集依托LeRobot框架构建,采用模块化数据采集流程,以SO101从动机械臂为物理平台,通过遥操作或预设策略在30帧/秒的采样频率下同步记录动作指令与多视角视觉观测。原始数据经标准化处理后,以分块Parquet文件存储动作、状态及时间戳等低维序列,同时将前视与腕部相机采集的RGB视频流编码为AV1格式,并依据chunk与file索引建立高效检索路径。元信息文件集中定义了机器人构型、特征维度及训练集划分,确保数据组织的一致性与可复现性。
使用方法
研究者可借助LeRobot官方工具链直接加载该数据集,通过解析meta/info.json获取特征定义与文件索引,进而按需读取Parquet中的低维状态动作序列及对应视频帧。典型使用方式包括构建行为克隆或视觉-动作策略模型,将observation.images.front与observation.images.wrist作为视觉输入,observation.state和action作为监督信号,并利用episode_index与frame_index进行时序对齐。数据集已预设训练集划分,可直接用于模型训练与评估,也可基于任务索引扩展至多任务场景。
背景与挑战
背景概述
机器人学习领域长期面临高质量操作数据的稀缺,尤其在低成本硬件平台上,真实场景下的视觉-动作配对数据获取困难。该数据集依托LeRobot开源框架构建,采用so101_follower机械臂,采集了20个回合、17740帧、30fps的双视角(前视与腕部)视频及六自由度关节位置与动作序列,涵盖单一任务。其核心研究问题在于为视觉运动策略提供可复现的基准数据,推动模仿学习与端到端控制算法的验证。该数据集虽未标注论文与机构信息,但作为LeRobot生态的组成部分,对促进社区协作与低成本机器人研究具有实际影响力。
当前挑战
该数据集所面向的领域问题为基于视觉的机器人精细操作模仿学习,需从高维图像与本体状态中映射至连续动作空间。构建过程中的挑战包括:低成本机械臂的关节标定与运动精度限制导致动作噪声;双视角视频同步与压缩编码(av1)可能引入时序偏差与视觉伪影;仅20个回合、单一任务的数据规模难以支撑泛化性要求高的策略训练;任务多样性缺失使模型易过拟合特定轨迹。这些因素共同制约了数据集在复杂场景下的迁移能力与算法评估的可靠性。
常用场景
经典使用场景
在机器人学习领域,尤其是模仿学习与视觉运动策略研究中,该数据集以其多视角视觉观测与关节状态-动作对的密集时序同步记录,构成了训练端到端操作策略的经典数据基础。研究者通常将前视与腕部相机采集的480×640视频流与六自由度机械臂的位姿动作序列联合建模,通过行为克隆或扩散策略框架,令智能体在单一任务上习得从原始像素到关节控制指令的映射,从而在仿真或真实平台上复现演示行为。
解决学术问题
该数据集直面机器人模仿学习中演示数据稀缺、多模态观测对齐困难以及真实世界操作策略泛化性不足等核心学术难题。其提供的时序对齐的视觉-本体感知-动作三元组,使得研究者能够系统探究视觉表征学习、动作分块预测与闭环控制稳定性之间的耦合关系。数据集以标准化的LeRobot格式发布,促进了不同策略架构在统一评估协议下的可比性,为可重复研究奠定了基础。
实际应用
在工业与服务机器人场景中,该数据集可直接服务于机械臂抓取、装配与分拣等任务的策略预训练与微调。开发者可利用其真实操作轨迹,快速构建面向特定物体的视觉伺服控制器,或迁移至相似构型的机械臂平台。同时,该数据集亦可用于机器人操作技能的教学演示系统与远程操控辅助模块,降低针对新任务采集演示数据的成本。
数据集最近研究
最新研究方向
在机器人学习领域,具身智能与视觉-语言-动作模型的兴起正推动着对多模态、细粒度操作数据集的迫切需求。rgb数据集依托LeRobot框架构建,聚焦于so101_follower机械臂在单一任务下的20个回合、17740帧操作轨迹,融合前视与腕部双路视频流及六自由度关节位置信息,为模仿学习与端到端策略泛化提供了高质量的真实世界演示。当前研究热点集中于利用此类数据集微调视觉-语言-动作大模型,以增强机器人在非结构化环境中的泛化操作能力,同时探索自监督预训练与跨具身迁移的可行性。该数据集的出现为低成本机械臂的通用技能学习提供了可复现的实验基底,对推动具身智能从仿真走向现实具有积极的实证意义。
以上内容由遇见数据集搜集并总结生成
二维码
社区交流群
二维码
科研交流群
商业服务