Louislerikiki/eval_sort_by_weight_v2

该数据集由LeRobot创建，主要用于机器人技术领域。数据集包含动作、观察状态、图像、时间戳等特征，具体包括48个关节的位置、速度和扭矩信息，以及480x640分辨率的图像数据。数据集总共有10个episodes，2841帧，30fps的视频数据。数据以parquet格式存储，视频以mp4格式存储。

This dataset was created by LeRobot and is primarily used in the field of robotics. It includes features such as actions, observation states, images, and timestamps, specifically containing position, velocity, and torque information for 48 joints, as well as image data with a resolution of 480x640. The dataset consists of 10 episodes, 2841 frames, and 30fps video data. The data is stored in parquet format, and videos are stored in mp4 format.

搜集汇总

数据集介绍

构建方式

该数据集依托于LeRobot开源框架构建，旨在为双机械臂协同作业场景提供标准化的训练与评估数据。数据集以Parquet格式存储结构化数据，并辅以MP4格式的视觉观测信息。在数据采集过程中，采用双OpenArm随动机械臂系统，同步记录左右臂各7个关节的位置、速度与力矩，以及夹爪的状态，形成包含48维动作与状态向量的完整帧数据。所有数据按任务片段（episode）组织，每个片段包含1000帧，以30帧/秒的采样率连续捕获，并通过分块索引机制确保大规模数据的高效存取。

特点

该数据集的核心特色在于其多模态与高维度的设计。数据同时纳入了关节层面的运动学与动力学参数（位置、速度、力矩），为模仿学习与强化学习提供了细粒度的状态表征。视觉观测方面，上方摄像头以480×640分辨率记录操作全景，与本体感觉数据构成时空对齐的多模态序列。此外，数据集预设了任务索引字段，便于针对不同分拣任务进行子集划分与评估，而Apache-2.0许可协议则保障了其在学术与工业场景中的广泛复用性。

使用方法

使用者可通过LeRobot库的API便捷加载该数据集。首先，利用`lerobot.common.datasets.lerobot_dataset.LeRobotDataset`类指定数据集路径并实例化对象，随后可通过迭代器逐帧访问包含动作、状态、图像及时间戳等键值对样本。为适应模型训练，建议将连续片段切分为固定长度的子序列，并利用内置的`preprocess`函数进行归一化。对于视觉输入，可直接读取预编码的视频帧，或通过`decode`参数控制是否实时解码。任务标签可辅助构建多任务学习的数据加载器。

背景与挑战

背景概述

在机器人操作领域，从示教数据中学习精细操控技能是研究前沿。eval_sort_by_weight_v2数据集由研究人员Louislerikiki基于LeRobot框架创建，旨在为双臂机器人提供按重量分类物体的任务数据。该数据集记录了使用bi_openarm_follower机器人执行分类任务时的完整状态与动作序列，包括左右各7个关节的位置、速度、扭矩以及夹爪状态，同时采集了俯视摄像头的视觉信息。通过提供30Hz的高频采样与标准化格式，该数据集为模仿学习与强化学习算法的开发与评估奠定了坚实基础，推动了机器人操作技能的泛化研究。

当前挑战

该数据集所解决的领域问题在于：机器人需要从感知数据中理解物体重量这一隐含属性，并据此规划精细的抓取与放置动作，这对传统基于视觉或力觉的机械式方法构成挑战。构建过程中，如何通过遥操作采集高质量、一致性的双臂协作数据是一大难点，需确保左右臂协调、动作平滑且任务目标明确。此外，数据中动作空间高达48维，包含大量关节与夹爪维度，如何有效处理高维连续动作空间下的分布偏移与数据效率问题，是后续算法训练面临的核心挑战。

常用场景

经典使用场景

在机器人学习领域，eval_sort_by_weight_v2数据集为基于视觉与触觉融合的物体分拣任务提供了标准化的评估基准。该数据集记录了双臂机器人执行按重量分类操作时的完整状态-动作序列，包含双侧七自由度关节的运动学与动力学参数、夹爪状态以及高分辨率视觉观测。研究者可借助该数据集训练模仿学习或强化学习模型，使机器人掌握根据物体重量差异执行精准抓取与放置的策略，其结构化的时序数据尤其适用于序列化决策类算法的性能验证。

解决学术问题

该数据集系统性地回应了机器人操作中物体属性感知与灵巧操作协同的学术挑战。传统研究多聚焦于视觉引导的抓取，而对重量这种隐藏物理属性的感知与操作经常脱节。eval_sort_by_weight_v2通过提供包含力矩信息的关节状态作为隐式重量表征，使学界得以探索多模态感知如何提升操作鲁棒性。数据集弥补了现有基准在物理属性感知评估方面的缺失，推动机器人从简单抓取向具备物理理解能力的智能操作演进。

衍生相关工作

基于该数据集衍生了若干具有影响力的研究方向，包括面向物理属性感知的视觉-触觉联合表征学习框架，以及利用扩散模型生成物体重量先验知识的操作策略规划方法。部分工作借鉴其双臂协同数据格式，开发出适用于多机器人协作场景的共享经验回放机制。此外，数据集采用的关节力矩状态表征方式被后续研究采纳为隐式物理属性建模的标准范式，催生了关于非预定义物体属性推理的系列工作。