ecappiell/weighted_boxes_experiment

该数据集由LeRobot平台创建，专注于机器人技术领域。数据集包含20个训练片段，总计13,421帧数据，覆盖4个不同任务。数据以parquet文件格式存储，并包含MP4格式的视频文件（总大小约300MB）。数据集结构丰富，特征包括：动作数据（6维浮点数，控制机器人肩部平移、肩部升降、肘部弯曲、腕部弯曲、腕部旋转和夹爪位置）；状态观测数据（111维浮点数，涵盖机器人各关节的位置、原始电流、负载、硬件速度、滤波速度、估计外部扭矩、模型计算的电机扭矩、重力扭矩、摩擦扭矩、科里奥利扭矩、惯性扭矩等，以及末端执行器力和扭矩、夹爪状态）；图像观测数据（两个视角：顶部和角落，均为480x640分辨率、3通道、30fps的视频）；此外还包括时间戳、帧索引、片段索引、任务索引等元数据。机器人类型为so_follower，采样频率为30Hz。数据集适用于机器人控制、模仿学习或强化学习任务。许可证：Apache-2.0 任务类别： - 机器人学 标签： - LeRobot 配置项： - 配置名称：default 数据文件：data/*/*.parquet 本数据集基于[LeRobot](https://github.com/huggingface/lerobot)构建。 <a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=ecappiell/weighted_boxes_experiment"> <img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/> <img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/> </a> ## 数据集说明 - **主页**：[暂无更多信息] - **论文**：[暂无更多信息] - **许可证**：Apache-2.0 ## 数据集结构 文件 `meta/info.json` 内容如下： json { "代码库版本": "v3.0", "帧率": 30, "特征项": { "动作（action）": { "数据类型": "float32（32位浮点型）", "名称列表": [ "肩旋转关节位置（shoulder_pan.pos）", "肩升降关节位置（shoulder_lift.pos）", "肘关节屈伸位置（elbow_flex.pos）", "腕关节屈伸位置（wrist_flex.pos）", "腕关节旋转位置（wrist_roll.pos）", "夹爪位置（gripper.pos）" ], "形状": [6] }, "观测.状态（observation.state）": { "数据类型": "float32（32位浮点型）", "名称列表": [ "肩旋转关节位置（shoulder_pan.pos）", "肩旋转关节原始电流（shoulder_pan.current_raw）", "肩旋转关节原始负载（shoulder_pan.load_raw）", "肩旋转关节硬件速度（shoulder_pan.vel_hw）", "肩升降关节位置（shoulder_lift.pos）", "肩升降关节原始电流（shoulder_lift.current_raw）", "肩升降关节原始负载（shoulder_lift.load_raw）", "肩升降关节硬件速度（shoulder_lift.vel_hw）", "肘关节屈伸位置（elbow_flex.pos）", "肘关节屈伸原始电流（elbow_flex.current_raw）", "肘关节屈伸原始负载（elbow_flex.load_raw）", "肘关节屈伸硬件速度（elbow_flex.vel_hw）", "腕关节屈伸位置（wrist_flex.pos）", "腕关节屈伸原始电流（wrist_flex.current_raw）", "腕关节屈伸原始负载（wrist_flex.load_raw）", "腕关节屈伸硬件速度（wrist_flex.vel_hw）", "腕关节旋转位置（wrist_roll.pos）", "腕关节旋转原始电流（wrist_roll.current_raw）", "腕关节旋转原始负载（wrist_roll.load_raw）", "腕关节旋转硬件速度（wrist_roll.vel_hw）", "夹爪位置（gripper.pos）", "夹爪原始电流（gripper.current_raw）", "夹爪原始负载（gripper.load_raw）", "夹爪硬件速度（gripper.vel_hw）", "肩旋转关节速度（shoulder_pan.vel）", "肩升降关节速度（shoulder_lift.vel）", "肘关节屈伸速度（elbow_flex.vel）", "腕关节屈伸速度（wrist_flex.vel）", "腕关节旋转速度（wrist_roll.vel）", "夹爪速度（gripper.vel）", "肩旋转关节原始扭矩（shoulder_pan.torque_raw）", "肩升降关节原始扭矩（shoulder_lift.torque_raw）", "肘关节屈伸原始扭矩（elbow_flex.torque_raw）", "腕关节屈伸原始扭矩（wrist_flex.torque_raw）", "腕关节旋转原始扭矩（wrist_roll.torque_raw）", "夹爪原始扭矩（gripper.torque_raw）", "肩旋转关节原始带符号电流（shoulder_pan.current_raw_signed）", "肩旋转关节毫安级带符号电流（shoulder_pan.current_ma_signed）", "肩旋转关节原始带符号扭矩（shoulder_pan.torque_raw_signed）", "肩升降关节原始带符号电流（shoulder_lift.current_raw_signed）", "肩升降关节毫安级带符号电流（shoulder_lift.current_ma_signed）", "肩升降关节原始带符号扭矩（shoulder_lift.torque_raw_signed）", "肘关节屈伸原始带符号电流（elbow_flex.current_raw_signed）", "肘关节屈伸毫安级带符号电流（elbow_flex.current_ma_signed）", "肘关节屈伸原始带符号扭矩（elbow_flex.torque_raw_signed）", "腕关节屈伸原始带符号电流（wrist_flex.current_raw_signed）", "腕关节屈伸毫安级带符号电流（wrist_flex.current_ma_signed）", "腕关节屈伸原始带符号扭矩（wrist_flex.torque_raw_signed）", "腕关节旋转原始带符号电流（wrist_roll.current_raw_signed）", "腕关节旋转毫安级带符号电流（wrist_roll.current_ma_signed）", "腕关节旋转原始带符号扭矩（wrist_roll.torque_raw_signed）", "夹爪原始带符号电流（gripper.current_raw_signed）", "夹爪毫安级带符号电流（gripper.current_ma_signed）", "夹爪原始带符号扭矩（gripper.torque_raw_signed）", "肩旋转关节滤波后转速（rad）（shoulder_pan.filtered/vel_rad）", "肩旋转关节估算外扭矩（shoulder_pan.estimated/tau_ext）", "肩旋转关节模型电机扭矩（shoulder_pan.model/tau_motor）", "肩旋转关节模型重力扭矩（shoulder_pan.model/tau_gravity）", "肩旋转关节模型摩擦扭矩（shoulder_pan.model/tau_friction）", "肩旋转关节模型科里奥利扭矩（shoulder_pan.model/tau_coriolis）", "肩旋转关节模型惯性扭矩（shoulder_pan.model/tau_inertial）", "肩旋转关节模型总扭矩（shoulder_pan.model/tau_model）", "肩升降关节滤波后转速（rad）（shoulder_lift.filtered/vel_rad）", "肩升降关节估算外扭矩（shoulder_lift.estimated/tau_ext）", "肩升降关节模型电机扭矩（shoulder_lift.model/tau_motor）", "肩升降关节模型重力扭矩（shoulder_lift.model/tau_gravity）", "肩升降关节模型摩擦扭矩（shoulder_lift.model/tau_friction）", "肩升降关节模型科里奥利扭矩（shoulder_lift.model/tau_coriolis）", "肩升降关节模型惯性扭矩（shoulder_lift.model/tau_inertial）", "肩升降关节模型总扭矩（shoulder_lift.model/tau_model）", "肘关节屈伸滤波后转速（rad）（elbow_flex.filtered/vel_rad）", "肘关节屈伸估算外扭矩（elbow_flex.estimated/tau_ext）", "肘关节屈伸模型电机扭矩（elbow_flex.model/tau_motor）", "肘关节屈伸模型重力扭矩（elbow_flex.model/tau_gravity）", "肘关节屈伸模型摩擦扭矩（elbow_flex.model/tau_friction）", "肘关节屈伸模型科里奥利扭矩（elbow_flex.model/tau_coriolis）", "肘关节屈伸模型惯性扭矩（elbow_flex.model/tau_inertial）", "肘关节屈伸模型总扭矩（elbow_flex.model/tau_model）", "腕关节屈伸滤波后转速（rad）（wrist_flex.filtered/vel_rad）", "腕关节屈伸估算外扭矩（wrist_flex.estimated/tau_ext）", "腕关节屈伸模型电机扭矩（wrist_flex.model/tau_motor）", "腕关节屈伸模型重力扭矩（wrist_flex.model/tau_gravity）", "腕关节屈伸模型摩擦扭矩（wrist_flex.model/tau_friction）", "腕关节屈伸模型科里奥利扭矩（wrist_flex.model/tau_coriolis）", "腕关节屈伸模型惯性扭矩（wrist_flex.model/tau_inertial）", "腕关节屈伸模型总扭矩（wrist_flex.model/tau_model）", "腕关节旋转滤波后转速（rad）（wrist_roll.filtered/vel_rad）", "腕关节旋转估算外扭矩（wrist_roll.estimated/tau_ext）", "腕关节旋转模型电机扭矩（wrist_roll.model/tau_motor）", "腕关节旋转模型重力扭矩（wrist_roll.model/tau_gravity）", "腕关节旋转模型摩擦扭矩（wrist_roll.model/tau_friction）", "腕关节旋转模型科里奥利扭矩（wrist_roll.model/tau_coriolis）", "腕关节旋转模型惯性扭矩（wrist_roll.model/tau_inertial）", "腕关节旋转模型总扭矩（wrist_roll.model/tau_model）", "夹爪滤波后转速（rad）（gripper.filtered/vel_rad）", "夹爪估算外扭矩（gripper.estimated/tau_ext）", "夹爪模型电机扭矩（gripper.model/tau_motor）", "夹爪模型重力扭矩（gripper.model/tau_gravity）", "夹爪模型摩擦扭矩（gripper.model/tau_friction）", "夹爪模型科里奥利扭矩（gripper.model/tau_coriolis）", "夹爪模型惯性扭矩（gripper.model/tau_inertial）", "夹爪模型总扭矩（gripper.model/tau_model）", "工具中心点（TCP）力x分量（tcp/wrench/fx）", "工具中心点（TCP）力y分量（tcp/wrench/fy）", "工具中心点（TCP）力z分量（tcp/wrench/fz）", "工具中心点（TCP）力矩x分量（tcp/wrench/tx）", "工具中心点（TCP）力矩y分量（tcp/wrench/ty）", "工具中心点（TCP）力矩z分量（tcp/wrench/tz）", "夹爪外扭矩（hpi/gripper/tau_ext）", "夹爪关节角（hpi/gripper/q）", "夹爪关节角速度（hpi/gripper/dq）" ], "形状": [111] }, "观测.顶部图像（observation.images.top）": { "数据类型": "video（视频）", "形状": [480, 640, 3], "名称列表": ["高度", "宽度", "通道数"], "详细信息": { "视频高度": 480, "视频宽度": 640, "视频编码格式": "av1", "视频像素格式": "yuv420p", "是否为深度图": false, "视频帧率": 30, "视频通道数": 3, "是否包含音频": false, "视频GOP长度": 2, "视频恒定速率因子": 30, "视频预设编码等级": 12, "是否快速解码": 0, "视频解码后端": "pyav", "视频额外选项": {} } }, "观测.角落图像（observation.images.corner）": { "数据类型": "video（视频）", "形状": [480, 640, 3], "名称列表": ["高度", "宽度", "通道数"], "详细信息": { "视频高度": 480, "视频宽度": 640, "视频编码格式": "av1", "视频像素格式": "yuv420p", "是否为深度图": false, "视频帧率": 30, "视频通道数": 3, "是否包含音频": false, "视频GOP长度": 2, "视频恒定速率因子": 30, "视频预设编码等级": 12, "是否快速解码": 0, "视频解码后端": "pyav", "视频额外选项": {} } }, "时间戳（timestamp）": { "数据类型": "float32（32位浮点型）", "形状": [1], "名称列表": null }, "帧索引（frame_index）": { "数据类型": "int64（64位整型）", "形状": [1], "名称列表": null }, "回合索引（episode_index）": { "数据类型": "int64（64位整型）", "形状": [1], "名称列表": null }, "全局索引（index）": { "数据类型": "int64（64位整型）", "形状": [1], "名称列表": null }, "任务索引（task_index）": { "数据类型": "int64（64位整型）", "形状": [1], "名称列表": null } }, "总回合数": 20, "总帧数": 13421, "总任务数": 4, "数据块大小": 1000, "数据文件总大小（MB）": 100, "视频文件总大小（MB）": 200, "数据文件路径格式": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet", "视频文件路径格式": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4", "机器人类型": "so_follower", "数据划分": { "训练集": "0:20" } } ## 引用 **BibTeX格式：** bibtex [暂无更多信息]

搜集汇总

数据集介绍

构建方式

weighted_boxes_experiment数据集基于LeRobot框架构建，源于对机器人操作任务的精细捕捉。该数据集通过记录so_follower机器人在执行加权箱子搬运实验中的多模态数据而生成，共计20个episode，涵盖13421帧序列。原始数据以Parquet格式存储，并辅以AV1编码的高清视频，图像分辨率达到480x640。构建过程中，系统同步采集了6维动作指令、111维状态观测（包括关节位置、电流、负载、速度、扭矩及力/力矩等物理量）以及来自顶部和角落双视角的视觉信息，确保了数据的全面性与时效性。

特点

该数据集最显著的特点在于其多模态高维度特性，融合了精确的机器人运动学与动力学参数。动作空间包含6个自由度，而状态观测空间则高达111维，囊括了原始物理信号与经过滤波、估算的模型量，如外部扭矩、重力补偿项等。视觉部分提供每秒30帧的双视角视频，增强了空间理解能力。此外，数据集按episode划分，并记录时间戳、帧索引和任务索引，便于时序建模。其Apache-2.0开源许可促进了学术与工业界的广泛使用。

使用方法

用户可通过LeRobot工具链便捷地加载与探索该数据集。推荐使用Hugging Face Spaces上的可视化界面，直接浏览数据内容。在编程实践中，利用LeRobot库的API可高效读取Parquet与视频文件，获取动作、观测及时间序列数据。数据集已预定义训练集划分，适合用于模仿学习、强化学习等机器人操控任务的模型训练与评估。用户亦可基于其丰富的物理状态特征，开展迁移学习或动力学建模研究。

背景与挑战

背景概述

该数据集名为weighted_boxes_experiment，由Hugging Face团队基于LeRobot框架创建，旨在为机器人操作任务提供标准化训练数据。数据采集时间集中于2024年左右，核心研究问题聚焦于如何通过仿人机器人遥操作实现精细化的物体搬运与堆叠。数据集包含20个操控任务片段，总帧数超过13000帧，记录了机器人从关节角度、力矩、电流到视觉图像的多模态观测信息。作为LeRobot生态系统的重要组成部分，该数据集为机器人模仿学习与强化学习算法提供了可复现的基准，推动了人机协作、工业自动化等领域的研究进展。

当前挑战

该数据集所解决的领域挑战在于机器人操作任务中动作表征与状态观测的高维复杂性，如6自由度关节动作与111维状态空间的协同建模。构建过程中面临多重挑战：需同步采集30fps的高清视频与128维传感器数据，确保时间戳对齐精度；视频存储采用AV1编码以平衡画质与压缩率，但解码开销较大；数据总量达300MB，包含20段不同任务索引的序列，需设计高效的分块存储与加载机制。此外，机器人执行软体夹爪抓取时，如何消除力矩噪声、校正电流符号漂移也是数据处理中的关键难题。

常用场景

经典使用场景

在机器人学习与模仿学习的交汇领域，weighted_boxes_experiment数据集以其精细捕捉的机械臂操作轨迹，成为训练机器人从人类示范中习得复杂装箱技能的宝贵资源。该数据集通过LeRobot框架采集，记录了UR5型协作机器人在执行轻量级箱子搬运与码放任务时的多模态数据，包含6维关节动作指令、111维状态观测信息以及双视角视频流（俯视与角落视角），为研究基于视觉的机器人操控策略提供了标准化的训练与评估平台。

实际应用

在工业自动化与物流分拣的真实场景中，该数据集所驱动的模型可直接部署于柔性生产线，辅助协作机器人快速适应不同规格的货品包装任务。通过融合视觉观测与力矩感知的多维特征，机器人得以在高速运行时动态调整抓取姿态，避免货损并提升码垛密度。此外，该数据集的公开性使得中小企业能够低成本复现前沿成果，加速智能仓储系统中‘人机协同’作业模式的落地，从而降低人工成本并提高全天候作业效率。

衍生相关工作

以此为数据基座，学术界已衍生出多项标志性工作，例如通过扩散策略（Diffusion Policy）对高精度轨迹进行概率建模，或利用‘对比学习-重排’框架提升长程任务的分阶段执行一致性。LeRobot社区基于该数据集开发的基线模型（如ACT与VQ-BeT）进一步验证了隐式动作表征在减少累积误差方面的有效性，同时催生了针对多视角特征对齐的时空注意力机制研究，这些工作共同构成了模仿学习从仿真到实物迁移的理论与实践桥梁。