KoukiHagiwara/slide_push_pull_side_150_augmented

---
license: apache-2.0
task_categories:
- robotics
tags:
- LeRobot
configs:
- config_name: default
data_files: data/*/*.parquet
---

This dataset was created using [LeRobot](https://github.com/huggingface/lerobot).

<a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=KoukiHagiwara/slide_push_pull_side_150_augmented">
<img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/>
<img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/>
</a>

## Dataset Description

- **Homepage:** [More Information Needed]
- **Paper:** [More Information Needed]
- **License:** apache-2.0

## Dataset Structure

[meta/info.json](meta/info.json):
```json
{
"codebase_version": "v3.0",
"robot_type": "so_follower",
"total_episodes": 150,
"total_frames": 157200,
"total_tasks": 1,
"chunks_size": 1000,
"data_files_size_in_mb": 100,
"video_files_size_in_mb": 200,
"fps": 30,
"splits": {
"train": "0:150"
},
"data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet",
"video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4",
"features": {
"action": {
"dtype": "float32",
"names": [
"shoulder_pan.pos",
"shoulder_lift.pos",
"elbow_flex.pos",
"wrist_flex.pos",
"wrist_roll.pos",
"gripper.pos"
],
"shape": [
6
]
},
"observation.state": {
"dtype": "float32",
"names": [
"shoulder_pan.pos",
"shoulder_lift.pos",
"elbow_flex.pos",
"wrist_flex.pos",
"wrist_roll.pos",
"gripper.pos"
],
"shape": [
6
]
},
"observation.images.top_camera": {
"dtype": "video",
"shape": [
480,
640,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 480,
"video.width": 640,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false
}
},
"observation.images.wrist_camera": {
"dtype": "video",
"shape": [
480,
640,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 480,
"video.width": 640,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false
}
},
"timestamp": {
"dtype": "float32",
"shape": [
1
],
"names": null
},
"frame_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"episode_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"task_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
}
}
}
```

## Citation

**BibTeX:**

```bibtex
[More Information Needed]
```
### dataset説明
- 横方向50回分と同じデータの暗くしたものを50回分と明るくしたものを50回分を合わせたもの

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，旨在服务于机器人操控任务的模仿学习研究。数据采集使用so_follower型机器人，执行“滑动、推拉与侧向操作”这一单一任务，共收录150个演示回合，总计157,200帧图像。数据增强策略独特：在原始50次横向演示基础上，分别生成暗化及亮化版本各50次，从而扩充至150个回合，有效提升了模型对不同光照条件的适应能力。所有操作状态与动作均以6维关节空间变量（肩部旋转、肩部抬升、肘部弯曲、腕部弯曲、腕部滚动及夹爪位姿）记录，视觉观测则包含顶部与腕部两路摄像头同步捕捉的640×480分辨率视频流。

使用方法

数据集可通过LeRobot库直接加载使用。用户需首先安装LeRobot及其依赖，随后调用`load_dataset`函数指定数据集路径与配置名称。默认配置下，数据集自动分为训练集（150个回合），无验证或测试预划分，便于用户自定义交叉验证。加载后的数据结构包含动作、观测状态、高维图像帧及时间戳字段，可便捷地格式化为神经网络输入。典型应用场景包括训练基于视觉的模仿学习策略，如扩散策略或行为克隆模型，并可通过调整亮度增强参数进一步探索数据扰动的影响。可视化工具亦已集成，便于交互式预览。

背景与挑战

背景概述

在机器人操作领域，模仿学习作为一种高效的行为获取范式，其性能高度依赖于高质量示范数据集的质量与多样性。由Kouki Hagiwara等人创建的slide_push_pull_side_150_augmented数据集，专为SO-100型从动机器人设计，聚焦于“侧向推拉”这一基本操作任务。该数据集于近年发布，采用LeRobot框架构建，并遵循Apache-2.0开源协议，旨在推动机器人操作技能的泛化性研究。通过提供包含150个示范回合、总计超过15万帧的高频（30 FPS）多模态数据（含顶部与腕部相机影像及6维关节状态），该数据集为从状态到动作的映射学习提供了标准化训练基准。其影响力主要体现在：一是降低了机器人数据采集的门槛，二是通过数据增强策略探索了视觉鲁棒性对学习效果的影响，为后续的域适应与抗干扰操作研究奠定了基础。

当前挑战

该数据集主要应对两大方面的挑战。其一，在领域问题层面，机器人操作任务普遍面临数据稀疏性与环境敏感性的双重桎梏。单一光照或视角下采集的示范数据，极易导致模仿策略在现实部署时因视觉条件变化而失效。该数据集通过引入数据增强策略（如模拟暗光与亮光环境），直接挑战了如何提升模型对光照变化的鲁棒性这一核心议题。其二，在数据集构建过程中，挑战集中在示范动作的一致性与多模态配准的精度上。150个回合需确保操作轨迹的语义一致性（如侧向推拉的力度与速度范围），同时需精准同步两个相机（480×640分辨率）的视频流与6维关节状态的时间戳（≤1/30秒误差），这对采集硬件与自动化标定协议提出了严苛要求。此外，仅依赖单一“侧向推拉”任务，也制约了模型对复杂多步操作任务的迁移能力，这构成了未来泛化性研究的潜在瓶颈。

常用场景

经典使用场景

在机器人学习与操控领域，slide_push_pull_side_150_augmented 数据集因其精细的推拉操作任务而备受关注。该数据集通过记录 so_follower 机器人执行侧向滑动、推送和拉动等基础动作的完整轨迹，为模仿学习与行为克隆提供了高质量的示范数据。其经典使用场景集中于视觉运动策略的训练，研究者借助 top_camera 和 wrist_camera 提供的多视角视频流，结合机器人六维关节状态与动作指令，构建端到端的控制模型，使机器人能够从视觉输入直接映射到精确的关节运动，实现复杂物体的灵巧操作。

解决学术问题

该数据集的核心学术贡献在于攻克了机器人操作中数据稀缺与泛化能力不足的难题。通过引入数据增强策略——将原始横向操作数据分别进行暗化和亮化处理，显著提升了模型对光照变化的鲁棒性，有效缓解了现实环境中视觉条件多变导致的策略失效问题。这一设计为研究光照不变性、领域随机化及数据高效学习等前沿方向提供了基准，推动了机器人从固定环境向动态、非结构化场景迁移的学术探索，同时为因果推断与少样本学习在机器人领域的应用奠定了基础。

实际应用

在工业自动化与辅助机器人系统中，该数据集的实际应用价值尤为突出。基于其训练出的策略可直接部署于流水线上的物品分拣、零部件推送及抽屉或滑门的侧向开合操作，助力实现精准且柔顺的物料搬运。此外，在家庭服务场景中，机器人能够借助此类技能完成如推拉门窗、挪动桌面物品等日常任务，提升人机协作的便捷性与安全性。数据集所强调的光照增强特性，使其策略在昼夜交替或局部阴影等复杂照明条件下仍能保持可靠性能，拓宽了机器人落地应用的环境边界。

数据集最近研究

最新研究方向

在机器人学习领域，数据增强策略正成为提升技能泛化能力的关键途径。slide_push_pull_side_150_augmented数据集通过采集150个演示片段，并融合亮度扰动（含正常、暗化与增亮三种视觉效果），为模仿学习与强化学习提供了丰富的多模态训练素材。该数据集聚焦于推拉滑移等精细操作，借助高帧率（30 FPS）的双摄像头视觉输入（顶部与腕部）以及6维关节动作与状态标注，支撑了从观察空间到动作空间的端到端映射研究。其设计契合了当前机器人领域对数据多样性与鲁棒性的追求，尤其是在光照变化剧烈的真实世界场景中，此举有力地推动了迁移学习与零样本泛化能力的前沿探索，成为连接仿真模拟与实体部署的重要桥梁。