ecappiell/weighted_boxes_experiment_20260529_090003

该数据集是使用LeRobot创建的机器人数据集，专注于机器人控制任务。它包含机器人动作和观测数据，其中动作数据包括6个关节（如肩部平移、肩部提升、肘部弯曲、腕部弯曲、腕部旋转和夹爪）的位置信息。观测数据包括111维的状态特征，涵盖关节位置、原始电流、负载、硬件速度、滤波速度、估计外部扭矩、模型扭矩（如重力、摩擦、科里奥利力、惯性力）以及工具中心点（TCP）的力和扭矩。此外，数据集还提供来自顶部和角落摄像头的视频观测，分辨率为480x640，帧率为30fps，视频编码为AV1。数据集总共有5个episodes，3595帧，1个任务，数据以Parquet文件（总大小100MB）和视频文件（总大小200MB）格式存储，适用于机器人学习和强化学习应用。This dataset is a robotics dataset created using LeRobot, focusing on robot control tasks. It includes robot actions and observations, where action data consists of position information for 6 joints (e.g., shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, and gripper). Observation data includes 111-dimensional state features covering joint positions, raw currents, loads, hardware velocities, filtered velocities, estimated external torques, model torques (e.g., gravity, friction, coriolis, inertial), and tool center point (TCP) forces and torques. Additionally, the dataset provides video observations from top and corner cameras with a resolution of 480x640, a frame rate of 30fps, and AV1 video encoding. The dataset contains a total of 5 episodes, 3595 frames, and 1 task, stored in Parquet files (total size 100MB) and video files (total size 200MB), suitable for robotics learning and reinforcement learning applications.

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，专为机器人模仿学习任务而设计。数据采集自一台so_follower机器人，通过遥操作或预设策略执行箱体搬运与堆叠实验。原始数据以每秒30帧的频率记录，涵盖了5个完整回合（episode），总计3595帧时间步，并以Parquet格式存储结构化数据，同时将视觉观测编码为AV1视频文件，确保高效压缩与回放。数据集结构遵循LeRobot的层级规范，按回合与帧索引组织，便于下游任务调用。

特点

数据集的核心特色在于其高维度的状态观测空间，包含111个数值特征，不仅记录了机器人各关节的位置、速度、电流与扭矩，还融入了重力补偿、摩擦估计、惯性矩阵及工具中心点（TCP）的力/力矩等模型化物理量。此外，双视角RGB图像（顶视与角落视角）以480×640分辨率提供了丰富的环境视觉信息，使算法能够同时感知全局场景与局部细节。数据集的唯一任务索引（task_index=0）确保了单一操纵目标的聚焦性，适合验证行为克隆或强化学习算法的泛化能力。

使用方法

通过LeRobot的API可便捷加载该数据集。用户需安装lerobot库，并调用`load_dataset`函数指定数据集路径，随后利用`get_episode`方法获取特定回合的帧序列，或通过`iter_episodes`迭代所有数据。数据预定义训练切分（train: 0-5回合），可直接用于训练模型，如扩散策略或Transformer架构的机器人策略。注意，图像数据需通过LeRobot的视频解码器实时解压为NumPy数组，以确保与动作和状态张量的对齐。

背景与挑战

背景概述

该数据集名为weighted_boxes_experiment_20260529_090003，创建于2026年5月29日，由使用LeRobot框架的研究人员或机构采集，专注于机器人操作领域。核心研究问题在于通过记录6自由度机械臂（so_follower）在多视角视觉与关节状态信息下的操作数据，推动模仿学习与机器人技能获取的研究。数据集包含5个episode、3595帧图像，覆盖肩部、肘部、腕部及夹爪的精细运动学与动力学参数，为机器人从示范中学习复杂操作任务提供了高保真且多模态的训练样本。其对相关领域的影响力体现在：利用标准化格式（LeRobot）促进机器人数据集的共享与复现，加速基于视觉的机器人控制策略的发展。

当前挑战

该数据集旨在解决机器人操作领域中数据驱动的模仿学习所面临的挑战，即如何从少量示范中泛化出稳定、鲁棒的技能策略。构建过程中的挑战包括：1）高精度同步多传感器数据（如6个关节的电流、扭矩、速度与力觉信号）与双视角视频流（480x640@30fps），确保时空一致性；2）处理机械臂动力学模型中的非线性因素（如摩擦、科里奥利力与重力补偿），需对原始传感数据进行复杂的后处理与标注；3）在有限样本量（5个episode）下，平衡数据多样性以反映真实物理交互的不确定性，同时避免过拟合于特定初始条件或对象配置。

常用场景

经典使用场景

在机器人学习领域，该数据集被广泛用于训练和评估基于视觉与触觉反馈的机械臂操作策略。其包含的高精度关节状态数据与多视角视觉图像，为模仿学习提供了丰富的状态-动作映射样本，尤其适用于需要精细力控的加权箱体搬运与放置任务。研究者利用该数据集中的力矩估计和六维力传感信息，可复现或改进基于示范的行为克隆算法。

衍生相关工作

基于该数据集，衍生出多个经典工作，如结合扩散模型的机器人操作动作生成框架，以及利用该数据中力矩特征进行动力学辨识的研究。部分学者以其为基础构建了跨机器人本体迁移学习的基准测试，探索不同自由度机械臂间的知识共享。还有工作将其用于离线强化学习中奖励函数的设计与验证，推动了数据驱动控制理论的发展。

数据集最近研究

最新研究方向

在机器人学习与灵巧操作领域，weighted_boxes_experiment_20260529_090003数据集为模仿学习与精细操控研究提供了高保真度的多模态数据支撑。该数据集融合了六轴机械臂的关节状态、力矩估计、末端执行器六维力觉信息以及双视角视觉流，其丰富的观测空间（111维状态特征）与高频动作采样（30Hz）使得研究者能够深入探索基于力觉与视觉融合的复杂装配、搬运与精密抓取任务。当前前沿方向聚焦于利用该数据集训练具备力位混合控制能力的端到端策略网络，尤其是在Sim-to-Real迁移与跨任务泛化性方面，结合LeRobot开源生态，推动了具身智能体在非结构化环境中实现鲁棒性操作的发展。这一资源为攻克柔顺控制、异常力交互下的自适应学习以及小样本机器人技能获取等热点难题提供了重要实验基准。