Louislerikiki/sort_by_weight_v2

该数据集与机器人技术相关，包含右臂和左臂及其夹持器的关节位置、速度和扭矩等多种特征，以及视频观察数据。数据集使用LeRobot创建，包含102个片段，总计38,253帧。数据以parquet文件格式存储，并包含视频文件。数据集的结构在meta/info.json文件中有详细记录，提供了特征的数据类型、形状和名称等详细信息。

This dataset is related to robotics and includes various features such as joint positions, velocities, torques for both right and left arms and grippers, as well as video observations. The dataset was created using LeRobot and contains 102 episodes with a total of 38,253 frames. The data is stored in parquet files and includes video files as well. The datasets structure is well-documented in the meta/info.json file, which provides details about the data types, shapes, and names of the features.

搜集汇总

数据集介绍

构建方式

sort_by_weight_v2数据集基于LeRobot框架构建，专注于机器人操作任务的模仿学习。该数据集通过真实机器人平台采集，使用双机械臂（bi_openarm_follower）执行物体按重量分类的精细化操作任务。整个数据集包含102个完整示教回合（episodes），共计38253帧数据，所有数据均以parquet格式存储，并辅以200MB的MP4视频文件，采样频率为30帧每秒。数据按照训练集与验证集进行划分，训练集涵盖全部0至102号样本。数据存储采用分块机制，每个块包含1000帧，确保大规模数据的高效读取与管理。

特点

数据集的核心特点在于其多维度的精细记录能力。每个数据样本均包含48维动作向量和对应的48维观测状态，分别记录左右各7个关节的位置、速度与力矩信息以及夹爪状态。此外，系统同步采集来自上方位的高清视频观测（分辨率480×640，AV1编码），为视觉-运动联合建模提供丰富输入。时间戳、帧索引和回合索引等辅助信息的完整记录，便于后续时间序列分析与任务分解。数据集的Apache-2.0开源协议赋予其广泛的可复用性。

使用方法

研究人员可借助LeRobot生态体系便捷加载本数据集，通过提供的数据加载器直接读取分块的parquet文件与对应视频。数据集默认采用单任务设置，适合进行端到端的模仿学习策略训练，如行为克隆或扩散策略等算法。用户可通过调整数据加载参数控制每批次的帧数（chunks_size），并利用内置的可视化工具直观检验数据质量与任务表现。该数据集特别适用于双臂协作机器人的精细操控研究，为物体分类与力控交互等课题提供基准测试平台。

背景与挑战

背景概述

在机器人学习领域，模仿学习与强化学习对高质量、多模态的演示数据需求日益迫切。sort_by_weight_v2数据集由研究团队基于LeRobot框架创建，聚焦于双机械臂协同操作场景，旨在为机器人重量分类任务提供标准化训练资源。该数据集包含102个演示轨迹、逾38000帧时序数据，记录了双开环机械臂在执行按重量分拣物体时的完整动作、关节状态及视觉观测信息。其结构化的46维动作/状态向量与30FPS的同步视频数据，为研究双臂协调控制、触觉-视觉融合等前沿问题奠定了数据基础，有望推动机器人精细操作能力的提升。

当前挑战

该数据集所解决的领域问题核心在于机器人精细化操作中的重量感知与自适应抓取策略。由于物体重量差异直接影响抓取力与运动轨迹规划，模型需从高维状态空间（48维关节参数与视觉流）中学习鲁棒的力-位混合控制策略。构建过程中的挑战体现在：需精确同步左右双臂共16个自由度与夹爪的时序数据，同时确保演示动作的多样性与泛化性；此外，视觉数据（640×480像素）与物理传感器数据的异构融合，对数据标注的一致性与降采样处理提出了严格要求。

常用场景

经典使用场景

在机器人操作与模仿学习领域，sort_by_weight_v2数据集为双臂协同操作任务提供了宝贵的高质量演示资源。该数据集记录了使用Bi-OpenArm双臂机器人执行基于重量分拣任务的全过程，包含102个完整回合、超过38000帧的精细动作数据，涵盖左右双臂各7个关节的位置、速度与力矩信息，以及夹爪控制信号。研究者可利用该数据集训练模仿学习或强化学习模型，使机器人习得精准的物体分拣与分类能力，尤其是在需感知物体重量差异并做出不同放置决策的复杂场景中。

实际应用

在实践中，sort_by_weight_v2数据集的价值体现在工业与物流自动化中。基于该数据集训练的机器人可执行基于重量差异的货物分拣、质检分类或精细装配任务，例如区分轻重不同的零件或包装，并调整抓取姿态与放置策略。其双臂架构的设计更适用于需要协同操作的场景，如双手搬运易碎物品或组合装配，显著提升生产线柔性与效率，降低对固定传感器的依赖。

衍生相关工作

该数据集衍生了多项具有代表性的研究工作，尤其集中在双臂模仿学习与力觉控制范式的开发上。已有工作基于其动作与状态空间设计双机械臂的端到端策略网络，利用轨迹编码与条件变分自编码器实现多任务泛化。另有研究结合视觉与关节力矩信息，提出跨模态特征对齐架构，使模型能在未见过物体上保持重量推理能力。此外，该数据集也被用于验证对比强化学习与行为克隆的差异，推动了可解释操作策略的探索。