KoukiHagiwara/slide_push_pull_side_150_augmented

该数据集是使用LeRobot创建的机器人数据集，专门用于滑动推拉侧向任务。数据集包含150个episodes，总帧数为157200，帧率为30fps，数据格式为parquet和视频文件。机器人类型为“so_follower”。数据集的特征包括动作（6维浮点数组，控制肩部、肘部、腕部和夹爪的位置）、观察状态（6维浮点数组，表示关节位置）、顶部摄像头和腕部摄像头的视频观察（分辨率480x640，3通道，30fps），以及时间戳、帧索引、episode索引等元数据。数据集结构分为训练集，涵盖所有episodes。此外，数据集进行了数据增强，包括原始横向50次、变暗版本50次和变亮版本50次，总计150次episodes，以增加多样性和鲁棒性。"许可证: apache-2.0 任务类别: - 机器人学 标签: - LeRobot(LeRobot) 配置项: - 配置名称: default 数据文件: data/*/*.parquet --- 本数据集由[LeRobot(LeRobot)](https://github.com/huggingface/lerobot)构建。 <a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=KoukiHagiwara/slide_push_pull_side_150_augmented"> <img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/> <img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/> </a> ## 数据集说明 - **主页:** [需补充更多信息] - **论文:** [需补充更多信息] - **许可证:** apache-2.0 ## 数据集结构 `meta/info.json`: json { "代码库版本": "v3.0", "机器人类型": "so_follower", "总回合数": 150, "总帧数": 157200, "总任务数": 1, "分块大小": 1000, "数据文件总大小(MB)": 100, "视频文件总大小(MB)": 200, "帧率": 30, "数据集划分": { "训练集": "0:150" }, "数据路径": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet", "视频路径": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4", "数据特征": { "动作": { "数据类型": "float32", "维度名称": [ "shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos" ], "形状": [6] }, "观测状态": { "数据类型": "float32", "维度名称": [ "shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos" ], "形状": [6] }, "顶部相机观测图像": { "数据类型": "video", "形状": [480, 640, 3], "维度名称": ["height", "width", "channels"], "详细信息": { "video.height": 480, "video.width": 640, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false } }, "腕部相机观测图像": { "数据类型": "video", "形状": [480, 640, 3], "维度名称": ["height", "width", "channels"], "详细信息": { "video.height": 480, "video.width": 640, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false } }, "时间戳": { "数据类型": "float32", "形状": [1], "维度名称": null }, "帧索引": { "数据类型": "int64", "形状": [1], "维度名称": null }, "回合索引": { "数据类型": "int64", "形状": [1], "维度名称": null }, "全局索引": { "数据类型": "int64", "形状": [1], "维度名称": null }, "任务索引": { "数据类型": "int64", "形状": [1], "维度名称": null } } } ## 引用 **BibTeX:** bibtex [需补充更多信息] ### 数据集补充说明 本数据集由横向50次原始数据，以及对其分别进行暗化、亮化处理后的各50次数据合并而成，总计150次数据。"

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，旨在服务于机器人操控任务的模仿学习研究。数据采集使用so_follower型机器人，执行“滑动、推拉与侧向操作”这一单一任务，共收录150个演示回合，总计157,200帧图像。数据增强策略独特：在原始50次横向演示基础上，分别生成暗化及亮化版本各50次，从而扩充至150个回合，有效提升了模型对不同光照条件的适应能力。所有操作状态与动作均以6维关节空间变量（肩部旋转、肩部抬升、肘部弯曲、腕部弯曲、腕部滚动及夹爪位姿）记录，视觉观测则包含顶部与腕部两路摄像头同步捕捉的640×480分辨率视频流。

使用方法

数据集可通过LeRobot库直接加载使用。用户需首先安装LeRobot及其依赖，随后调用`load_dataset`函数指定数据集路径与配置名称。默认配置下，数据集自动分为训练集（150个回合），无验证或测试预划分，便于用户自定义交叉验证。加载后的数据结构包含动作、观测状态、高维图像帧及时间戳字段，可便捷地格式化为神经网络输入。典型应用场景包括训练基于视觉的模仿学习策略，如扩散策略或行为克隆模型，并可通过调整亮度增强参数进一步探索数据扰动的影响。可视化工具亦已集成，便于交互式预览。

背景与挑战

背景概述

在机器人操作领域，模仿学习作为一种高效的行为获取范式，其性能高度依赖于高质量示范数据集的质量与多样性。由Kouki Hagiwara等人创建的slide_push_pull_side_150_augmented数据集，专为SO-100型从动机器人设计，聚焦于“侧向推拉”这一基本操作任务。该数据集于近年发布，采用LeRobot框架构建，并遵循Apache-2.0开源协议，旨在推动机器人操作技能的泛化性研究。通过提供包含150个示范回合、总计超过15万帧的高频（30 FPS）多模态数据（含顶部与腕部相机影像及6维关节状态），该数据集为从状态到动作的映射学习提供了标准化训练基准。其影响力主要体现在：一是降低了机器人数据采集的门槛，二是通过数据增强策略探索了视觉鲁棒性对学习效果的影响，为后续的域适应与抗干扰操作研究奠定了基础。

当前挑战

该数据集主要应对两大方面的挑战。其一，在领域问题层面，机器人操作任务普遍面临数据稀疏性与环境敏感性的双重桎梏。单一光照或视角下采集的示范数据，极易导致模仿策略在现实部署时因视觉条件变化而失效。该数据集通过引入数据增强策略（如模拟暗光与亮光环境），直接挑战了如何提升模型对光照变化的鲁棒性这一核心议题。其二，在数据集构建过程中，挑战集中在示范动作的一致性与多模态配准的精度上。150个回合需确保操作轨迹的语义一致性（如侧向推拉的力度与速度范围），同时需精准同步两个相机（480×640分辨率）的视频流与6维关节状态的时间戳（≤1/30秒误差），这对采集硬件与自动化标定协议提出了严苛要求。此外，仅依赖单一“侧向推拉”任务，也制约了模型对复杂多步操作任务的迁移能力，这构成了未来泛化性研究的潜在瓶颈。

常用场景

经典使用场景

在机器人学习与操控领域，slide_push_pull_side_150_augmented 数据集因其精细的推拉操作任务而备受关注。该数据集通过记录 so_follower 机器人执行侧向滑动、推送和拉动等基础动作的完整轨迹，为模仿学习与行为克隆提供了高质量的示范数据。其经典使用场景集中于视觉运动策略的训练，研究者借助 top_camera 和 wrist_camera 提供的多视角视频流，结合机器人六维关节状态与动作指令，构建端到端的控制模型，使机器人能够从视觉输入直接映射到精确的关节运动，实现复杂物体的灵巧操作。

解决学术问题

该数据集的核心学术贡献在于攻克了机器人操作中数据稀缺与泛化能力不足的难题。通过引入数据增强策略——将原始横向操作数据分别进行暗化和亮化处理，显著提升了模型对光照变化的鲁棒性，有效缓解了现实环境中视觉条件多变导致的策略失效问题。这一设计为研究光照不变性、领域随机化及数据高效学习等前沿方向提供了基准，推动了机器人从固定环境向动态、非结构化场景迁移的学术探索，同时为因果推断与少样本学习在机器人领域的应用奠定了基础。

实际应用

在工业自动化与辅助机器人系统中，该数据集的实际应用价值尤为突出。基于其训练出的策略可直接部署于流水线上的物品分拣、零部件推送及抽屉或滑门的侧向开合操作，助力实现精准且柔顺的物料搬运。此外，在家庭服务场景中，机器人能够借助此类技能完成如推拉门窗、挪动桌面物品等日常任务，提升人机协作的便捷性与安全性。数据集所强调的光照增强特性，使其策略在昼夜交替或局部阴影等复杂照明条件下仍能保持可靠性能，拓宽了机器人落地应用的环境边界。

数据集最近研究

最新研究方向

在机器人学习领域，数据增强策略正成为提升技能泛化能力的关键途径。slide_push_pull_side_150_augmented数据集通过采集150个演示片段，并融合亮度扰动（含正常、暗化与增亮三种视觉效果），为模仿学习与强化学习提供了丰富的多模态训练素材。该数据集聚焦于推拉滑移等精细操作，借助高帧率（30 FPS）的双摄像头视觉输入（顶部与腕部）以及6维关节动作与状态标注，支撑了从观察空间到动作空间的端到端映射研究。其设计契合了当前机器人领域对数据多样性与鲁棒性的追求，尤其是在光照变化剧烈的真实世界场景中，此举有力地推动了迁移学习与零样本泛化能力的前沿探索，成为连接仿真模拟与实体部署的重要桥梁。