18012026-block-13-vn-10hz
收藏资源简介:
该数据集是`allenai/18012026-block-13`数据集的速度归一化版本,属于MolmoAct2-BimanualYAM语料库,任务为拼出NEURIPS。通过两阶段速度归一化(VN)从30 Hz重新定时到10 Hz,使所有演示具有一致的速度配置文件。数据集包含40个片段、57,350帧(每秒10帧),状态和动作为14维绝对关节姿态(每臂6个关节加夹爪,双手机器人YAM),三个640×360摄像头(顶部、左侧、右侧)的AV1视频。它兼容微调`allenai/MolmoAct2-BimanualYAM`模型,速度归一化仅重新定时轨迹而不重新缩放值,因此基础检查点的归一化统计保持有效。数据集还包含速度归一化的详细统计和用法示例。
This dataset is a speed-normalized version of the `allenai/18012026-block-13` dataset, belonging to the MolmoAct2-BimanualYAM corpus, with the task spell NEURIPS. It is retimed from 30 Hz to 10 Hz via two-stage velocity normalization (VN), ensuring consistent velocity profiles across all demonstrations. The dataset includes 40 episodes, 57,350 frames (at 10 frames per second), with state and action as 14-dimensional absolute joint poses (6 joints per arm plus gripper, for the bimanual robot YAM), and AV1 videos from three 640×360 cameras (top, left, right). It is compatible for fine-tuning the `allenai/MolmoAct2-BimanualYAM` model, as velocity normalization only retimes trajectories without rescaling values, so the normalization statistics of the base checkpoint remain valid. The dataset also contains detailed statistics on velocity normalization and usage examples.
数据集概述:18012026-block-13-vn-10hz
该数据集是 allenai/18012026-block-13(MolmoAct2-BimanualYAM语料库的一部分,任务为“拼写NEURIPS”)的速度归一化版本。通过两阶段速度归一化(VN)将原始30Hz的演示数据重新定时为10Hz,确保所有演示具有一致的的速度分布。
核心特性
- 规模:40个演示片段,共57,350帧,帧率为10fps(原始30Hz版本为167,147帧)。
- 状态/动作空间:14维绝对关节位姿(双臂YAM构型,每臂6个关节 + 1个夹爪)。
- 观测:三个640×360摄像头(顶部、左侧、右侧),视频编码为AV1。
- 兼容性:可直接替换用于微调
allenai/MolmoAct2-BimanualYAM基础检查点,因为VN仅重新定时轨迹而不重新缩放数值,原有的yam_dual_molmoact2归一化统计量仍然有效。
速度归一化(VN)处理
- 第一阶段(片段间对齐):根据每个片段末端执行器速度分布的第30百分位数计算其特征速度,将所有片段缩放到统一的速度基线,缩放因子限制在[0.75, 1.5]范围内。
- 第二阶段(片段内速度曲线):应用平滑单调映射,保留接触密集区域的慢速运动(低于断点m),压缩快速过境运动(接近断点M),使高速运动收敛到窄带。
- 夹爪保护:每个夹爪开合事件前后±0.5秒的帧以正常速率采样,保留接触密集区域。
- 空闲帧移除:持续近零运动的片段被丢弃(占原始帧的11.9%),每个片段的最后2秒被保留,以便策略学习任务完成后的稳定行为。
- 动作标签:输出帧的动作通过插值源动作获得,保持重定时下前导臂指令约0.1秒的前置量。
统计对比(vs 简单3倍降采样)
| 每片段指标(40个片段) | 简单10Hz | VN处理后 |
|---|---|---|
| p80快速速度跨片段方差 | 3.9e-4 | 7.7e-5 (−80%) |
| p80快速速度变异系数 | 0.109 | 0.060 (−45%) |
| 片段内动态范围(p80/p30) | 6.46 | 3.94 (−39%) |
- 断点:m = 0.0152 m/s, M = 0.1616 m/s。
- 第一阶段缩放因子范围为0.75–1.27(40个片段中有5个触及极限)。
- 仅1.1%的输出帧需要插值,其余为纯帧选择。
使用示例(Python)
python from lerobot.datasets.lerobot_dataset import LeRobotDataset
ds = LeRobotDataset("atharva-pantheon/18012026-block-13-vn-10hz") item = ds[0] # 包含 observation.state (14,), action (14,), 3个摄像头, task
数据来源与元信息
- 来源:
allenai/18012026-block-13(Apache-2.0许可),MolmoAct2-BimanualYAM集合的一部分(arXiv:2605.02881)。 - 元数据:
meta/vn_stats.json:记录完整的VN配置、每个片段的第一阶段因子、特征速度和选择计数。meta/tasks_annotated.parquet:从源数据集直接继承的注释语言指令(未更改)。



