QLM-Bench

QLM-Bench是一个用于四足机器人移动操作的数据集，基于Unitree Go2机器人平台，使用单条前腿（FL）作为操作执行器，并通过现有的RAMBO控制器生成脚本化高层演示。数据集包含三个不同的操作任务：1. Push Box（推箱子）：机器人需将箱子推入目标区域，共50个演示，24335个动作，训练/验证/测试划分为40/5/5，演示时长在8.50-14.42秒之间，包含不同的箱子、初始偏航角和运动标签配置。2. Lift Basket（提篮子）：机器人需通过前腿提起篮子，共10个演示，7042个动作，独立的8/1/1划分。3. Press Button（按按钮）：机器人需按下按钮，共10个演示，5194个动作，独立的8/1/1划分。数据格式遵循LeRobot协议（schema wam-quadruped-v2.1.0），动作空间为rambo-native9-v2，包含基座线速度、偏航率、前腿位置和力命令。传感器包括机载前置摄像头（ego）和任务RGB摄像头，分别以50Hz和12.5Hz提供图像。数据以规范格式（canonical）存储，包含N个动作行和N对视频帧，并包含终端状态。数据集通过Hugging Face Hub发布，每个任务对应一个独立版本（release），且不可变。许可证当前为unknown，但数据集公开可用。该数据集适用于机器人操作策略的模仿学习、适应训练和评估等研究。QLM-Bench is a dataset for quadruped robot mobile manipulation, based on the Unitree Go2 platform, using a single front leg (FL) as the manipulation actuator, with scripted high-level demonstrations generated by the existing RAMBO controller. The dataset contains three distinct manipulation tasks: 1. Push Box: The robot pushes a box into a target area, with 50 demonstrations, 24335 actions, and a train/validation/test split of 40/5/5. Demonstration durations range between 8.50 and 14.42 seconds, with varying box types, initial yaw angles, and motion labels. 2. Lift Basket: The robot lifts a basket with its front leg, with 10 demonstrations, 7042 actions, and an independent split of 8/1/1. 3. Press Button: The robot presses a button, with 10 demonstrations, 5194 actions, and an independent split of 8/1/1. The data format follows the LeRobot schema (wam-quadruped-v2.1.0), with action space rambo-native9-v2 including base linear velocity, yaw rate, front leg position, and force commands. Sensors include an onboard front camera (ego) and a task RGB camera, providing images at 50Hz and 12.5Hz respectively. Data is stored in canonical format, containing N action rows and N pairs of video frames, along with terminal states. The dataset is hosted on Hugging Face Hub, with each task corresponding to an independent, immutable release. The license is currently unknown, but the dataset is publicly available. It is suitable for imitation learning, adaptation training, and evaluation of robot manipulation policies.

原始信息汇总

QLM-Bench 数据集概述

基本信息

• 数据集地址：https://huggingface.co/datasets/dontKnow23456/QLM-Bench
• 许可证：unknown（待定）
• 语言：en
• 标签：robotics、quadrupedal-loco-manipulation、simulation、lerobot
• 规模类别：n<1K

数据集简介

QLM-Bench 是使用 Go2 生成的四足移动操作演示数据集，包含单条 FL 操作腿、现有 RAMBO 控制器、native9 命令以及 ego + task RGB。数据集公开，但数据集许可证待定（unknown），公开访问不构成额外的许可证授予。

首次适配训练/评估边界

• 首次 WAM 适配 v2 和 v3 的训练、验证、测试和评估仅限 Push Box：固定修订版本 4b5e0ed9aa04cbc1143774798f63171b27d838a7，发布版本 DATA-006-20260916T075451Z，原始 50 个 episode 身份及 40/5/5 划分。
• 首次运行的下载命令和预处理/训练/评估配置须固定到该修订和发布版本，不得替换为 Hub main、最新发布修订或本目录中的每个发布版本。
• 不存在合并的 70 episode 适配训练划分。
• Lift Basket 和 Press Button 发布仅用于当前适配的公开用途，并被明确排除在首次运行之外。其独立的 8/1/1 划分是独立的数据集元数据，不是 TRAIN/EVAL 输入准入。该当前用途声明不限制未来的独立使用。
• 完整性回读和成功的脚本化演示不属于学习模型评估。

发布版本

发布版本	任务	可用 episode	动作数	训练 / 验证 / 测试
DATA-006-20260916T075451Z	Push Box	50	24,335	40 / 5 / 5
DATA-009-local-ten-20260926T130524Z	Lift Basket	10	7,042	8 / 1 / 1
DATA-010-20260926T073438Z	Press Button	10	5,194	8 / 1 / 1

• 载荷修订版本：21b69e2d775cd77d6565e25d1b0b99ad725b54b3
• 相关文件：release index、checksums、distribution、acceptance
• 仅上传可用的演示 Raw/Canonical 及相关证据/回放。试点、失败和隔离的尝试保留在本地，不属于本仓库的已发布载荷。现有发布文件不可变；未来发布使用新目录。模型权重、资产源文件、模型缓存和训练工件被排除在外。

Push Box 任务与演示来源

• 指令：Push the box into the target area（将箱子推入目标区域）。
• 成功条件：所有八个变换后源箱角点的整个 XY 足迹包络位于该 episode 的目标内，机器人未摔倒，并连续三个 50Hz 策略 tick 满足。足迹计算考虑 roll/pitch。接触是诊断性/未知，不是成功门槛；不可用的 bool 占位符不得解释为确认无接触。机器人出生点保持原生原点；期望 FL 力和外部物体 wrench 保持为零。
• 演示类型：脚本化高层演示，非手动遥操作或学习策略评估。控制器未改变。
• episode 构成：十个原始 DATA-005 episode 保留其原始 8/1/1 划分。四十个额外 DATA-006 episode 添加 Box05/01/04、四分之一转初始 yaw、目标边界颜色/几何以及平滑的 base/EEF 命令变化。添加划分 32/4/4 得到 40/5/5。时长为 8.50–14.42s。
• 箱子与 yaw 分布：50 个 episode 包含 Box05/01/04 计数 30/10/10，初始 yaw 0/90/180/270 计数 20/10/10/10。
• 运动标签：10 baseline、14 coordinated、13 leg-finish、13 body-finish。Leg-finish 是配置标签；13 个中有 12 个实际触发了其条件完成阶段。demo_13-a4 和 demo_25-a4 执行了停止前进、左机身偏移和向内 FL 角轻推。
• 自然物体倾斜/翻倒和残余 yaw 被报告而非隐藏；箱子直立/接触/yaw 阈值不是成功门槛。不对泛化或训练策略性能做任何声称。

契约与存储

• 数据集 schema：wam-quadruped-v2.1.0
• LeRobot 代码库：v2.1 / library 0.3.3
• 动作标识：rambo-native9-v2
• Native9：base vx、base vy、base yaw rate、FL position xyz、desired FL force xyz。命令/状态单位和帧由包含的动作配置和契约指定。
• 频率：Raw/canonical 策略 RGB/actions 为 50Hz；observer 25Hz 仅用于审查。模型 RGB 12.5Hz 使用四倍行选择，并继承权威 simulation_time_ns，绝不使用帧索引生成的时间戳。
• Canonical：包含 N 个动作行和 N 个配对视频帧，以及独立的 pre-reset 终止状态和两个终止 PNG。Raw 保留 N+1 边界。所有已发布 episode 均通过 terminal-before-reset。Observer 绝不是 canonical 训练相机或模型输入。
• Canonical 位置：canonical/lerobot_v2_1/DATA-006-20260916T075451Z，自包含用于模型预处理。
• 归一化：对于首次 Push Box 适配运行，模型归一化仅在 40 个训练 episode 上拟合；VAE/T5 缓存保留在数据集之外并本地重新生成。
• 路径说明：历史源 manifest 保留原始路径和身份；发布 manifest 提供可移植的 Hub 路径和源映射。发布是版本化捆绑包：不得将本仓库中的每个 Parquet 视为一个扁平的 Hugging Face 训练表。

下载与回放

python from huggingface_hub import snapshot_download from pathlib import Path snapshot = Path(snapshot_download( repo_id="dontKnow23456/QLM-Bench", repo_type="dataset", revision="4b5e0ed9aa04cbc1143774798f63171b27d838a7", allow_patterns=["canonical/lerobot_v2_1/DATA-006-20260916T075451Z/*"], )) canonical_root = snapshot / "canonical/lerobot_v2_1/DATA-006-20260916T075451Z"

• 使用显式 WAM/RAMBO 资源路径与此 canonical_root；将模型缓存保留在单独目录中。标准数据集范围加载不能替代所包含的 native9 契约适配器。
• 可移植三视图回放：下载完整固定修订版本（省略 allow_patterns），使用 python -m http.server 8000 提供下载目录，然后打开 http://localhost:8000/releases/DATA-006-20260916T075451Z/review/index.html。静态回放文件使用相对路径指向已发布的 Raw 视频。Hub 可能下载 HTML 而非直接渲染。

归属与来源

• 箱子资产：1057822006-svg/usd-cardboard-box-assets，发布 v0.1，commit cb386b4cba6c6adf2d42b54be37a78f9d4f01589。源 README 推荐 CC BY 4.0 并请求创作者署名。其声明涉及源资产，不是本数据集许可证的声明。参见源归属和历史源 manifest。后者的待批准字段记录获取时历史，不是当前任务验收。任务批准和实际运行时几何保留在每 episode 元数据中。
• 机器人：Unitree Go2；演示使用现有 RAMBO 控制器/检查点。源/检查点哈希和相机/任务参数按 episode 保留。RAMBO_Data 拥有模拟/发布；WAM-Policy 拥有模型侧预处理/训练。模型权重和第三方资产二进制文件未在此重新分发。

Lift Basket — DATA-009 发布

• 指令：Lift the basket（提起篮子）。
• 数据：十个演示，7,042 个动作，独立 8/1/1 划分。
• 机制：现有 OASIS 篮子由 FL 脚通过其手柄提起。
• 成功条件：实际整篮变换几何最小间隙 >=2cm，机器人未摔倒，连续三个 50Hz 策略 tick。所有接受的 episode 均先穿过完整脚部再进行受控提升。
• 变量：仅初始 XY 变化；资产、方向/高度、相机、原始控制器和 native9 力零保持不变。部分 ego 裁剪已披露且为诊断性。
• 实现差异：前两个 episode 使用接受的可见性门控专家；其余八个在用户澄清后移除可见性阻挡。实际每 episode 实现哈希保留。中断的尝试和所有试点保持排除。源篮子二进制/纹理未重新分发。

Press Button — DATA-010 发布

• 指令：Press the button（按下按钮）。
• 数据：十个演示，5,194 个动作，独立 8/1/1 划分。
• 配置分布：Industrial/Emergency 资产 5/5；baseline/early-stop 配置 5/5；红/蓝/绿/橙帽颜色 3/3/2/2。
• 成功条件：Industrial 实际帽位移 >=12mm 或 Emergency >=10mm，机器人未摔倒，连续三个策略 tick。接触保持未知诊断。不施加相对外壳/套环偏移；高层 EEF 接近/保持控制会过冲。所有十个均在首次尝试成功。
• 运动标签：描述配置模式；实测停止距离因跟踪效应而重叠，不重新标记。
• DATA-008 技术试点保持本地/排除。继承的 physically_executed_press=false 标志描述早期静态资产审查；实际演示由捕获/摘要/物理/行为证据确立。
• 资产来源：Industrial Button 由 mark_saba 制作，Sketchfab a7e7c1772d764c3b913cccac66932236；Emergency Stop Button 由 phoenix-storms 制作，Sketchfab 012e4809a41445ca9de17286f677fabb。获取时元数据报告源资产为 CC BY 4.0；原始和嵌入作者元数据保留在每 episode 来源中。这不是数据集许可证授予。源二进制文件被排除，QLM-Bench 数据集许可证保持 unknown。

新发布下载与回放

• 对于任一新发布，使用其来自 releases.json 的 payload_revision 及其自己的 canonical 前缀。下载该发布的 Raw 视频和 releases/<id>/ 目录以回放其相对路径三视图页面。
• 这些发布路径不得替换上面的首次适配下载示例。每个发布是独立的；目录不得作为单个扁平 Parquet 训练表加载。

搜集汇总

数据集介绍

构建方式

在四足机器人运动-操作研究领域，演示数据的规范化采集对策略学习至关重要。QLM-Bench依托Unitree Go2平台，结合单条FL操作腿与现有RAMBO控制器，通过脚本化高层指令生成演示数据，涵盖推箱、提篮和按按钮三类任务。所有可用演示均以50Hz原生动作记录，并经终端先于重置的校验流程筛选，确保轨迹完整性与可复现性。数据依据wam-quadruped-v2.1.0模式组织，发布为不可变的版本化包，仅上传通过验收的演示及其证据与回放文件，排除试运行与失败尝试。

使用方法

使用时应通过HuggingFace Hub以显式修订号下载规范目录，并将模型缓存置于独立路径。针对首次自适应训练，需将配置与预处理流程固定于指定发布版本，仅使用该版本的训练划分拟合归一化参数。回放功能可通过下载完整修订目录后以本地HTTP服务打开三视角审查页面实现。所有发布包彼此独立，不可将仓库内Parquet文件视为扁平训练表，亦不可用最新发布替代首次运行所指定的修订。

背景与挑战

背景概述

四足机器人在复杂环境中的移动操作能力是机器人学习领域的核心议题，其研究需要高质量、可复现的演示数据作为支撑。QLM-Bench正是在此背景下构建的仿真数据集，由RAMBO_Data与WAM-Policy团队联合开发，基于Unitree Go2机器人及现有RAMBO控制器，涵盖推箱、提篮与按按钮三类任务。数据集采用脚本化高层演示生成，强调动作身份的一致性与可追溯性，为四足机器人loco-manipulation策略的适配与评估提供了标准化基准，推动了该领域从单一运动控制向移动操作一体化研究的演进。

当前挑战

该数据集所应对的领域问题在于，四足机器人移动操作缺乏兼顾运动约束与精细操作验证的标准化仿真基准，现有数据难以同时保证动作可复现性与任务多样性。构建过程中的挑战体现在多个层面：任务成功判定需依赖几何足迹、位移阈值与连续策略周期等严格条件，接触状态保持未知导致验证边界模糊；不同发布版本间的训练与评估边界隔离要求精细的数据管理；控制器、资产来源与实现哈希的逐回合追溯引入额外的溯源负担；运动标签与实际执行效果之间存在偏差，确保演示质量与数据完整性面临持续挑战。

常用场景

经典使用场景

在四足机器人运动-操作（loco-manipulation）研究领域，QLM-Bench作为基于Unitree Go2平台与RAMBO控制器的仿真演示数据集，最经典的使用场景在于为模仿学习与策略适应提供标准化的专家轨迹。研究者可依托Push Box任务的50条脚本化高层演示，在LeRobot v2.1框架下开展动作克隆、时序建模与闭环策略评估，进而探究四足机器人在持续运动过程中利用单条前左腿完成物体推运的协调控制机制。

解决学术问题

该数据集直面四足机器人运动-操作研究中演示数据稀缺、任务定义模糊与评估协议不统一等常见问题。通过发布固定版本、明确划分训练/验证/测试集并附带完整来源与校验信息，QLM-Bench为策略泛化性、跨任务迁移及力-位混合控制等学术议题提供了可复现的实验基准，其严格的成功判定与终端状态记录亦有助于辨析脚本演示与学习策略之间的性能边界。

实际应用

在实际应用层面，QLM-Bench可服务于工业巡检、仓储物流与灾害救援等场景中四足机器人执行推箱、举篮与按按钮等操作任务的算法验证。借助三视图回放与标准化数据接口，工程人员能够在仿真环境中快速迭代控制策略，降低真机调试风险与成本，并为后续部署至实体Go2平台提供可信的预训练与评估依据。

数据集最近研究

最新研究方向

围绕四足机器人移动操作（loco-manipulation）的仿真数据规模化与策略泛化问题，QLM-Bench 正推动以 Unitree Go2 单腿操作与 RAMBO 控制器为基线的可复现研究。当前前沿方向聚焦于以固定版本和发布标识约束的首次域适应训练/评估边界，强调 Push Box 任务中 40/5/5 划分的规范化使用，并严格区分 Push Box 与 Lift Basket、Press Button 等仅发布数据集的独立用途。该数据集通过原生九维动作契约与 50Hz 策略 RGB 对齐，支撑视觉-动作模型在接触状态未知、物体倾覆与残余偏航等真实物理不确定性下的鲁棒学习。其意义在于为四足移动操作提供可审计、可回放且版本不可变的基准，降低因数据混用或时间戳伪造导致的评估偏差，并促进仿真到真实迁移中归一化、缓存与策略适应流程的标准化。