KoukiHagiwara/slide_push_pull_hybrid_250ep_augmented

该数据集是通过LeRobot创建的机器人技术数据集，用于训练和评估机器人动作。数据集包含250个训练集，总帧数为262,000帧，涉及2个任务。数据采集自so_follower机器人类型，包括动作数据（如肩部、肘部、手腕和夹爪的位置）、观察状态（与动作数据类似）以及来自顶部摄像头和手腕摄像头的图像观察（视频格式，分辨率480x640，30fps）。数据集还包含时间戳、帧索引、剧集索引等元数据。在创建过程中，进行了50次横向动作（暗环境）、50次横向动作（明亮环境）、100次斜向动作，每个动作都进行了两次往返，教示动作范围在x方向-60mm到0mm，y方向50mm内。此外，使用OpenCV对视频亮度进行了调整。This dataset was created using LeRobot for robotics applications. It consists of 250 episodes with a total of 262,000 frames and covers 2 tasks. The data is based on the so_follower robot type and includes action data (e.g., positions of shoulder, elbow, wrist, and gripper), observation states (similar to action data), and image observations from a top camera and a wrist camera (in video format with 480x640 resolution, 30fps). The dataset also contains metadata such as timestamps, frame indices, episode indices, etc. During creation, 50 lateral movements (in dark conditions), 50 lateral movements (in bright conditions), and 100 diagonal movements were performed, each with two round-trip actions, within a teaching range of -60mm < x < 0 and 50mm in the y-direction. Additionally, video brightness was adjusted using OpenCV.

搜集汇总

数据集介绍

构建方式

该数据集依托LeRobot框架构建，专注于机器人滑动推送与拉取操作的混合任务学习。数据采集使用so_follower机器人，在250个示范回合中完成了262000帧的高频记录。教示动作范围设定为x轴-60mm至0、y轴50mm的区间，横向50个回合、横向暗光环境50个回合、横向明亮环境50个回合、斜向100个回合，所有回合均包含两次往返动作。为增强数据鲁棒性，利用OpenCV对视频亮度进行了人工调制，从而生成在光照变化条件下更具泛化能力的数据集。

使用方法

数据集以Parquet格式存储结构化数据，视频文件另存为MP4，并通过meta/info.json中的分块索引（chunk-index和file-index）组织。用户可通过LeRobot库的API加载数据，或利用HuggingFace提供的可视化界面在线浏览样本。使用时需注意特征字典中的action与observation.state均包含6维关节位置信息，而observation.images字段分别对应顶部和腕部摄像头。数据集的帧索引、回合索引及任务标签已预置，便于按需切片或生成训练批次。

背景与挑战

背景概述

该数据集由KoukiHagiwara基于LeRobot框架创建，发布于HuggingFace平台，专注于机器人操作技能的学习。在机器人学习领域，从人类演示中提取灵巧操作策略是近年来研究的核心挑战之一，而推动这一方向的关键在于构建高质量、多样化的示范数据集。本数据集针对机器人推动和拉动动作的混合任务，收集了250个训练回合，总计262000帧数据，涵盖两个任务类型。数据通过“so_follower”机器人采集，包含肩部、肘部、腕部及夹爪共6个自由度的动作和状态信息，并配备顶部和腕部两个视角的彩色视频（480×640像素，30帧/秒）。研究旨在探索如何在有限示范下提升机器人泛化能力，对简化模仿学习流程、降低数据采集成本具有参考价值。

当前挑战

数据集面临的挑战主要体现在两个方面。首先，所解决的领域问题是机器人从示范中学习灵巧操作的泛化难题，即在光照、位置和任务模式变化下仍能保持稳定操作，数据集通过包含横、斜、明暗等多种演示模式（如-60mm至0的水平范围和50mm的垂直范围）来应对这一挑战。其次，构建过程中的核心挑战包括数据采集的自动化与成本控制，尤其在人类演示中需要精确控制教示动作轨迹，同时利用OpenCV手动调整视频亮度以模拟真实环境中的光照变化，这增加了数据预处理和标准化的难度。此外，确保视频与动作状态的同步性、多自由度协调以及数据量（250回合）与训练效果之间的平衡也是关键难点。

常用场景

经典使用场景

在机器人学习领域，模仿学习与行为克隆是基础且重要的研究方向。slide_push_pull_hybrid_250ep_augmented数据集专为so_follower机器人设计，记录了250个回合的推拉混合操作，涵盖横向、斜向等多个方向，并包含亮度增强的视觉数据。该数据集最为经典的使用场景是作为训练和评估机器人精细操作技能的基准，研究人员可利用其包含的六维关节状态、动作序列以及双视角（顶部摄像头和腕部摄像头）视频流，让机器人学习从高维观测到连续动作的映射，从而掌握在特定空间范围内（如-60mm至0mm的x轴与50mm的y轴）完成精准的往复推拉动作。

解决学术问题

该数据集的推出有效缓解了机器人操作学习中高质量、多样化数据稀缺的学术困境。它通过系统性地改变光照条件（横暗、横明）并引入摄像机视角同步记录，为解决跨场景泛化这一核心难题提供了范本。研究人员可借此深入探究视觉特征与环境变化之间的耦合关系，开发更鲁棒的视觉运动策略。同时，数据集规范化的多回合结构与动作标签，为验证模仿学习算法的样本效率、抗干扰能力以及对长程依赖任务的适应性提供了坚实的基础，推动机器人学向更贴近真实物理世界的自动化步骤迈进。

实际应用

在实际工业与居家环境中，机器人需要应对非结构化、光照多变的场景。该数据集所模拟的推拉混合操作，直接映射至自动化流水线上的工件夹取与移位、仓储物流中的紧急避障与精确定位以及医疗辅助设备中的轻柔推拉等应用。通过在此数据集上训练的模型，机器人能适应不同亮度的视觉反馈，稳健地执行往复操作，从而提升生产线的柔性与可靠度，降低因环境变化导致的作业失败率。

数据集最近研究

最新研究方向

该数据集聚焦于机器人滑动推拉混合操作的模仿学习，通过250个示范片段与数据增强手段（如OpenCV调节亮度）提升视觉泛化能力。前沿方向包括结合多视角视觉输入（顶部与腕部摄像头）与6自由度动作空间，探索在非结构化环境下学习鲁棒性操作策略。其设计回应了机器人领域对少样本、跨领域迁移的迫切需求，尤其在精准操控任务中，通过融合横向与斜向运动模式，为构建更通用的灵巧操作基准提供了重要支撑。