yusenluo9z/orange_cup_iql_mixed_differential

该数据集是使用LeRobot创建的，主要用于机器人学习任务。数据集包含多种特征，如动作、观察、时间戳和奖励等。具体包括12个浮点型动作特征（如左右肩、肘、腕和夹持器的位置）、观察状态（同样包含12个浮点型特征）、顶部和侧面的视频观察（480x640分辨率，3通道，30fps）、时间戳、帧索引、任务索引等。数据集总共有50个episodes，20894帧，分为2个任务，数据文件大小为100MB，视频文件大小为200MB。

This dataset was created using LeRobot and is primarily used for robot learning tasks. It includes various features such as actions, observations, timestamps, and rewards. Specifically, it contains 12 float32 action features (e.g., positions of left/right shoulder, elbow, wrist, and gripper), observation states (also 12 float32 features), top and side video observations (480x640 resolution, 3 channels, 30fps), timestamps, frame indices, task indices, etc. The dataset consists of 50 episodes, 20894 frames, divided into 2 tasks, with data files totaling 100MB and video files totaling 200MB.

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，针对机器人操作任务进行采集。数据通过双机器人系统（bi_koch_follower）记录，包含50个回合、共计20894帧的交互数据，涵盖两种任务类型。数据以parquet格式存储，每1000帧为一个数据块，同时同步录制了顶视与侧视两个视角的AV1编码视频（480×640分辨率，30帧率）。数据集结构清晰，包含动作指令、关节状态、图像、时间戳及任务索引等多维信息，并已标注奖励与完成信号，便于离线强化学习研究。

使用方法

用户可通过LeRobot库轻松加载此数据集，利用其内置的视觉化工具（如HuggingFace Spaces上的预览界面）快速浏览样本。数据加载时，系统自动按chunk索引读取parquet文件中的状态、动作及奖励序列，并同步索引对应的视频帧。建议研究者将观测（包括图像与状态）作为输入，以动作回归或策略优化为目标，结合next.reward与next.done标签进行离线强化学习或模仿学习实验。数据已按标准格式组织，可直接用于训练基于Transformer或扩散策略的机器人控制模型。

背景与挑战

背景概述

该数据集由研究机构基于LeRobot框架创建，聚焦于机器人操作领域的模仿学习与强化学习任务。其核心研究问题在于如何通过混合差分控制策略（iql_mixed_differential）实现机器人对橙色杯子的精确操控，涵盖双臂协同、抓取与放置等典型操作。数据集包含50个回合、约2万帧的高频时序数据（30fps），并集成了奖励标签与Robometer评估指标，为机器人学习算法提供了细粒度的性能反馈。其影响力体现在为机器人双臂操作任务提供了一个标准化基准，尤其适用于离策略强化学习与行为克隆方法的对比研究，推动了具身智能领域的数据驱动范式发展。

当前挑战

该数据集面临的核心挑战分为两个层面。领域问题层面，机器人双臂操作涉及高维连续动作空间（12维关节控制）与复杂物理交互，传统方法难以平衡精准度与泛化性，而该数据集通过混合策略试图解决奖励稀疏与探索困难的问题。构建过程中，挑战在于保证数据的一致性：50个回合中需避免因机械臂延迟或视觉遮挡导致的时序错位，同时，双目摄像头（顶视与侧视）的同步校准与20万帧视频的高效编码（AV1格式）成为关键难点。此外，奖励标签的准确性依赖人工标注与自动化指标的权衡，这进一步增加了数据质量的管控复杂度。

常用场景

经典使用场景

在机器人学习与操控领域中，orange_cup_iql_mixed_differential数据集专为基于视觉的运动策略学习而设计，尤其适用于模仿学习与强化学习的交叉场景。该数据集记录了双机械臂在双向跟随控制模式下对橙色杯具进行夹取、移动等精细操作的全过程，通过顶部与侧方双目摄像头提供的多视角视觉输入，结合12维关节空间状态与动作序列，为训练端到端的机器人操控模型提供了高质量、高密度的示范样本。其经典使用场景是作为离线强化学习与行为克隆的基准训练集，研究者可基于该数据集中标注的奖励信号和任务完成指标，探索混合策略下的机器人灵巧操作能力。

解决学术问题

该数据集针对机器人领域长期存在的稀疏奖励与示范数据不足问题提供了有效解决方案。通过集成robometer自动化评估指标（如任务进度与成功标志），它使得研究者能够在缺乏真实环境交互的情况下，离线评估策略性能，从而显著降低对物理机器人的依赖。此外，数据集中明确标注了IQL（隐式Q学习）风格的奖励信号，有助于攻克离线强化学习中分布外动作价值高估的经典难题。这一特性推动了从静态示范中高效学习鲁棒策略的学术进展，尤其为在复杂接触任务中实现样本高效训练提供了关键数据支撑。

实际应用

在实际应用中，该数据集可直接服务于工业分拣、医疗辅助操作以及家庭服务机器人等场景。例如，在自动化产线上，基于该数据集训练的机器人能够模仿人类示教员的动作，精准完成对易碎物品（如杯具）的抓取与搬运，避免因力控制不当造成的损坏。在家庭服务领域，机器人可借助数据集中的多模态视觉和关节数据，学习适应不同物体形状与摆放位置的通用抓取策略。此外，数据集提供的双机械臂协调控制模式也为协同操作任务（如物体交接、组装）的落地提供了可靠的训练基础。

数据集最近研究

最新研究方向

该数据集聚焦于基于隐式Q学习（IQL）的机器人操作技能习得，通过混合差分策略与奖励标注机制，为双臂协作场景下的精细操控研究提供了高质量的运动轨迹与状态观测数据。在具身智能与模仿学习的前沿交汇处，此数据集结合了Bi-Koch跟随机器人平台与多视角视觉输入，可支撑基于奖励信号的决策优化与策略泛化能力研究。当前热点方向包括利用此类混合差分数据探索离线强化学习在非平稳环境中的鲁棒性，以及通过视频与运动轨迹的联合表征推动机器人从人类演示中高效学习复杂操作任务，对推动家庭服务与工业装配场景中双臂机器人的自主化具有重要的实证意义。