yusenluo9z/orange_cup_expert_w_reward_differential

该数据集是通过LeRobot创建的，主要用于机器人技术领域。数据集包含30个episodes，总计10933帧，数据文件大小为100MB，视频文件大小为200MB，帧率为30fps。数据集的结构包括动作数据、状态观测、图像观测（顶部和侧面视角）、时间戳、帧索引、episode索引、任务索引、奖励、完成标志以及robometer的进度和成功标志。动作和状态观测包含12个自由度，图像观测的分辨率为480x640，3通道。

This dataset was created using LeRobot and is primarily used in the field of robotics. It contains 30 episodes, totaling 10933 frames, with data files size of 100MB and video files size of 200MB, at a frame rate of 30fps. The dataset structure includes action data, state observations, image observations (top and side views), timestamps, frame indices, episode indices, task indices, rewards, done flags, and robometer progress and success flags. The action and state observations include 12 degrees of freedom, and the image observations have a resolution of 480x640 with 3 channels.

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，专注于机器人操作领域的奖励标记学习。数据采集自一份具有30个完整轨迹的专家演示，共计10933帧，以30帧每秒的速率记录。所有数据以Parquet格式存储，视频数据则采用AV1编码的MP4文件保存。数据集仅包含单一任务，即操作一个橙色杯子，并通过差分奖励机制对每个时间步的过渡结果进行标注。构建过程中，机器人类型被设定为bi_koch_follower，采用左右对称的12维动作空间与状态空间，分别对应肩、肘、腕及夹爪的自由度，确保了对精细操作的全面建模。数据按照每个块1000帧的大小进行分块存储，便于大规模分布式训练与加载。

特点

该数据集的核心特色在于其集成了奖励差分机制，通过'next.reward'字段为每个状态转换赋予明确的奖励信号，从而支持基于奖励的学习算法如IQL。同时，数据集中还包含了'robometer.progress'与'robometer.success'两个评估指标，提供了对任务完成进度与成功状态的量化度量。视觉观测由顶部与侧方两个视角的摄像头提供，均为480×640的高清分辨率，为多视角感知提供了丰富信息。此外，数据集统一了动作与观测状态的空间维度，便于策略网络直接映射。所有轨迹均源自专家操作，保证了数据的高质量与一致性，且仅使用训练集划分，评估工作依赖于奖励信号的内部验证机制。

使用方法

该数据集推荐通过HuggingFace的LeRobot库进行加载与使用。用户可通过LeRobot内置的数据集可视化工具直接浏览数据内容与轨迹回放。在模型训练阶段，可使用LeRobot提供的DataLoader将Parquet文件与视频文件高效地整合为批量样本。针对IQL等基于价值的强化学习算法，可直接利用'next.reward'作为目标奖励值进行策略优化。同时，'action'与'observation.state'维度一致，简化了策略网络的输入输出结构设计。数据集支持基于索引与块的分片读取方式，适合在大规模分布式环境中进行并行训练，且所有数据采用Apache-2.0许可证开放使用。

背景与挑战

背景概述

该数据集由研究者基于LeRobot框架构建，聚焦于机器人操作领域的细粒度任务学习。创建于近年，主要围绕双机械臂协作执行橙杯抓取与放置的专家示范轨迹收集，包含30个完整回合与10933帧状态动作序列。核心研究问题在于如何通过奖励差异化标注提升机器人模仿学习与强化学习的样本效率与任务完成精度。数据集中引入了“robometer.progress”与“next.reward”等关键字段，为评估机器人任务进展与学习信号提供了结构化支持，对推动基于价值函数的离线强化学习算法（如IQL）在真实机器人场景中的应用具有重要参考价值。

当前挑战

当前面临的核心挑战包括：1) 所解决的领域问题方面，机器人精细操作任务（如橙杯稳定抓取）面临高维连续动作空间与复杂物理交互的困难，数据集需提供高质量专家示范与密集奖励信号以支持策略学习；2) 构建过程中，双机械臂系统（bi_koch_follower）的同步控制与高精度运动记录存在技术复杂性，视频数据（top与side视角）需在30FPS下保持一致性，且奖励标注需依赖人为设计或自动进度估计，确保其在稀疏与密集场景下的鲁棒性。此外，数据规模有限（30个回合），需警惕过拟合与泛化能力不足的问题。

常用场景

经典使用场景

在机器人学习与模仿学习领域，orange_cup_expert_w_reward_differential 数据集为训练双臂协作机器人执行精细操作任务提供了高质量的专家演示数据。该数据集基于 bi_koch_follower 机器人平台，采集了 30 个完整回合、超过一万帧的遥操作演示，涵盖了从视觉观测到关节动作的完整状态-动作对。其典型应用场景在于训练基于奖励塑形的强化学习算法，例如 IQL（隐式 Q 学习），通过内置的 reward 标签和 robometer 进度/成功指标，研究者可以精准评估策略的收敛性与任务完成度，从而推动机器人从示教中自主习得稳健操控策略。

衍生相关工作

围绕该数据集已衍生出多项经典研究工作，例如基于 IQL 算法的离线强化学习框架被直接应用于该数据集的策略预训练，通过引入差分奖励信号改进了传统行为克隆中的分布外泛化问题。此外，LeRobot 社区围绕该数据集开发了可视化工具与训练流水线，促进了奖励塑形与演示质量评估方法的比较研究。未来方向包括结合扩散策略或基于能量的模型，进一步挖掘该数据集中多模态观测与稀疏奖励的联合表征潜力，为人机协作中的技能迁移提供可扩展的评测基准。

数据集最近研究

最新研究方向

该数据集聚焦于机器人精细操作任务的离策略学习，特别是结合逆向强化学习（IQL）与差分奖励机制的前沿探索。伴随人机协作与灵巧操作技术的迅猛发展，研究者对专家示范数据中隐含的奖励函数建模愈发重视。orange_cup_expert_w_reward_differential通过双机械臂（bi_koch_follower）在30个专家轨迹中同步采集高维状态、视觉信息与逐帧奖励标签，为基于奖励驱动的模仿学习与策略优化提供了标准化基准。其引入的差分奖励（reward differential）结构，能更精准地捕捉操作过程中细微的行为差异，有望推动机器人从演示中学习复杂长程任务的能力边界，对于工业装配、医疗手术等精细操作场景具有重要理论与应用价值。