parcelstow

ParcelStow 数据集是一个用于机器人灵巧操作研究的基准数据集，包含 970,565 个控制步骤，来自 937 个成功的专家演示，覆盖三种接触丰富的操作任务：包裹插入（parcel insertion）、直立放置（upright placement）和键控销插入（keyed peg insertion）。每个任务对应不同的速度因子（r），定义任务阶段的名义持续时间缩放比例。数据集以 Parquet 格式存储，每行记录一个 50Hz 的控制步骤，字段包括演示索引（episode）、步骤索引（step）、任务标识（task）、速度因子（rate）、状态观测（observation，147 个 float32 值）和归一化关节位置动作（action，16 个 float32 值）。此外，数据集还提供了训练好的 ACT 策略检查点、演示视频以及专家与 ACT 策略在不同速度因子下的成功率对比表。该数据集旨在支持模仿学习、时间鲁棒性分析和灵巧操作策略评估，适用于机器人学习和控制领域的研究。The ParcelStow dataset is a benchmark dataset for robotic dexterous manipulation research, containing 970,565 control steps from 937 successful expert demonstrations, covering three contact-rich manipulation tasks: parcel insertion, upright placement, and keyed peg insertion. Each task corresponds to a different speed factor (r), defining the nominal duration scaling of the task phases. The dataset is stored in Parquet format, with each row recording a control step at 50Hz, including fields: episode index, step index, task identifier, rate, observation (147 float32 values), and normalized joint position action (16 float32 values). Additionally, the dataset provides trained ACT policy checkpoints, demonstration videos, and a success rate comparison table between experts and ACT policies under different speed factors. This dataset is intended to support imitation learning, temporal robustness analysis, and dexterous manipulation policy evaluation, suitable for research in robot learning and control.

原始信息汇总

ParcelStow Demonstrations, Checkpoints, and Videos

数据集概述

该数据集包含 970,565 个控制步，来自 937 条成功的专家演示，覆盖三个接触丰富的操作任务。数据集伴随 ParcelStow——一个基于 Isaac Lab 的基准测试套件，用于在不同时间缩放条件下比较学习到的操作策略与其专家演示者的任务成功率。速度因子 r 定义每种条件：它将指定为缩放的阶段标称时长除以 r，而固定阶段保持标称时长。标称条件为 r=1，在 r=2 时，缩放阶段时长为其标称值的一半。

任务配置

配置名称	任务描述	成功专家演示数	演示速度范围
parcel_insertion	将包裹插入开口容器	297	r in [0.5, 2.0]
upright_placement	将长方体重新定向到目标区域的稳定竖直姿态	315	r in [0.75, 1.75]
peg_insertion	将键控销钉插入每侧间隙为 3mm 的方形凹槽	325	r in [0.5, 1.0]

任务成功率（100 次评估）

任务	专家在 r=1	ACT 在 r=1	专家在 r=2	ACT 在 r=2
Parcel insertion	100/100	100/100	84/100	53/100
Upright placement	92/100	39/100	43/100	8/100
Keyed peg insertion	93/100	75/100	87/100	0/100

在 r=2 条件下，专家成功率在包裹插入任务中比 ACT 高 31 个百分点，竖直放置高 35 个百分点，键控销钉插入高 87 个百分点。包裹插入的 r=2 条件在演示速度范围内，而竖直放置和销钉插入的 r=2 条件超出演示速度范围。

数据模式

每个 Parquet 行表示一个 50 Hz 控制步：

字段	类型	含义
episode	int32	演示片段索引
step	int32	片段内控制步索引
task	string	任务标识
rate	float32	速度因子 r
observation	147 个 float32 值	提供给专家的状态观测
action	16 个 float32 值	归一化关节位置动作

三个任务共享相同的维度与关节位置动作语义。姿态项在包裹插入中命名为 parcel_pose，在竖直放置和键控销钉插入中命名为 object_pose。

文件关系

• data/*.parquet：演示数据，采用 Hugging Face Datasets 布局
• demonstrations/*.pt：相同演示数据的张量布局版本，供 GitHub 训练脚本使用
• checkpoints/*.pt：已发布的策略检查点
• videos/：选定片段视频及带 JSON 侧车的压缩包

检查点角色与限制

• ACT-A（act_stow.pt）：在 297 条包裹演示上训练，在 r=1 下专家与 ACT-A 均达到 100/100 成功率，提供论文中主要的标称匹配对比。
• act_upright.pt：在 315 条演示上训练，在 r=1 下 ACT 成功率 39/100，专家 92/100，属于次要结果。
• act_peg.pt：在 325 条演示上训练，在 r=1 下 ACT 成功率 75/100，专家 93/100；在 r >= 1.5 时 ACT 成功率为 0/100，属于次要结果。

所有结果均来自 Isaac Lab 模拟，不提供硬件或模拟到现实的验证。

使用示例

python from datasets import load_dataset

task = "parcel_insertion" # upright_placement or peg_insertion demonstrations = load_dataset("cenwerem/parcelstow", task, split="train")

bash

下载任务特定检查点

python scripts/download_artifacts.py --task parcel python scripts/download_artifacts.py --task upright python scripts/download_artifacts.py --task peg

评估专家或策略

python scripts/evaluate.py --task parcel --actor expert

复现结果（无需 Isaac Lab 或 GPU）

python3 scripts/reproduce.py all-tasks

视频内容

文件	内容
parcel_expert_r2_2x_faster.mp4	包裹插入专家在 r=2 下的演示片段
upright_expert_r1_2x_faster.mp4	竖直放置专家在 r=1 下的演示片段
peg_expert_r1_2x_faster.mp4	键控销钉插入专家在 r=1 下的演示片段
parcel_expert_vs_act_r2_2x_faster.mp4	专家与 ACT 在 r=2 下的对比：专家成功，ACT 方向误差超阈值
upright_expert_vs_act_r2_2x_faster.mp4	专家与 ACT 在 r=2 下的对比：专家成功，ACT 放置后倾倒
peg_expert_vs_act_r2_2x_faster.mp4	专家与 ACT 在 r=2 下的对比：专家成功，ACT 未获取销钉

视频仅说明单次片段结果，总体成功率数据来源于 GitHub 评估记录。

许可与引用

数据集基于 Apache-2.0 许可证发布。

论文预印本：arXiv:2609.01453；代码与安装见 GitHub 仓库。

搜集汇总

数据集介绍

构建方式

ParcelStow数据集源自Isaac Lab仿真环境，围绕三类接触丰富的操作任务构建：包裹插入、直立放置和键控销钉插入。研究者通过脚本化专家演示生成数据，以50Hz的控制频率记录了937次成功示范，共包含970,565个控制步骤。每个演示均以固定速度因子r执行，该因子由标称任务阶段持续时间缩放而来，其中r=1代表标称条件，r=2则使缩放阶段时长减半。数据以Parquet文件格式存储，每个条目涵盖episode索引、时间步、任务身份、速度因子、147维状态观测及16维归一化关节位置动作，并确保专家与ACT策略在同一初始条件序列下进行评估，以排除随机性干扰。

特点

该数据集独特之处在于系统性地对比了专家示范与ACT学习策略在不同时间缩放条件下的任务成功率。针对包裹插入任务，专家与ACT在r=1时均达到100%成功率，构成名义匹配的基准，使r=2下的差异（84%对53%）清晰归因于时间加速效应。直立放置和销钉插入则展现了专家相对于ACT的显著优势，尤其销钉插入在r≥1.5时ACT完全失败。数据集的另一特色是提供演示数据、检查点及视频演示多重媒介，并附带完整的评估记录，便于科研人员复现结果。此外，所有任务均保持观测与动作维度一致，但任务身份不可互换，凸显了任务特定语义的重要性。

使用方法

使用者可通过Hugging Face Datasets库加载特定任务配置，如`load_dataset('cenwerem/parcelstow', 'parcel_insertion')`获取演示数据。训练脚本支持从GitHub下载tensor格式的演示和ACT检查点，以进行模仿学习或策略评估。评估流程通过统一的命令接口执行，例如`python scripts/evaluate.py --task parcel --actor expert`，可对专家或自定策略进行仿真评测。更关键的是，提供了`scripts/reproduce.py all-tasks`，无需GPU即可依据记录文件重现论文中的三任务成功率表，确保科研结果的可验证性。该数据集特别适合研究时间缩放对操作策略鲁棒性的影响，并可作为机器人学习基准的参考。

背景与挑战

背景概述

ParcelStow数据集由克林顿·恩韦雷姆等人于2026年创建，旨在应对机器人操作中模仿学习策略在时间缩放条件下鲁棒性评估的缺失。该数据集基于Isaac Lab仿真平台，包含937条专家演示，覆盖包裹插入、直立放置和带键销插入三项接触丰富任务。其核心研究问题是，在不同执行速度加快的条件下，学习策略（如ACT）相对于专家示范的性能退化程度。该基准为比较学习策略与专家演示者在时间缩放下的任务成功率提供了标准化框架，填补了动态操作场景下策略评估的空白，对机器人学习领域评估方法的发展具有重要影响。

当前挑战

该数据集面临的挑战包括：1) 领域问题挑战，即模仿学习策略在操作速度提升时，其性能显著下降，如直立放置任务中，ACT在r=2时成功率仅为8%，而专家为43%，揭示学习策略对时间缩放的脆弱性；2) 构建过程挑战，即需为每项任务精心设计专家演示，确保其在不同速度条件下均能成功，同时保证演示范围覆盖目标测试速度，如包裹插入的演示速度范围为r∈[0.5,2.0]，直立放置为[0.75,1.75]，这要求精确控制任务阶段的时间分配，并在仿真中保证初始条件一致，以实现公平的策略比较。

常用场景

经典使用场景

ParcelStow数据集是面向机器人学习与灵巧操作领域的高保真基准资源，其核心涵盖包裹插入、直立放置与定向销插入三项接触丰富的操作任务。该数据集收录了937条成功专家演示共计970,565个控制步，并对每一任务在时间缩放因子r=1与r=2条件下提供了系统性的评估数据。其经典用途在于为模仿学习策略（如ACT）与脚本化专家在时间速度变化情境下的行为差异提供可复现的对比平台，从而支持研究者就策略在不同执行速率下的鲁棒性开展严谨的量化检验。

衍生相关工作

ParcelStow的发布催生了多项衍生研究方向。围绕其基准，研究者已陆续训练并释放了针对不同任务的ACT策略检查点，包括在标准速度下实现100/100成功率的ACT-A模型，以及具备次优表现的ACT-Upright与ACT-Peg变体。此外，数据集配套提供了演示规模消融、Diffusion Policy与DAgger等方法的评估结果，促进了模仿学习算法在时间鲁棒性维度上对比分析。这些工作共同构成了一个以ParcelStow为核心的评估生态，推动了时间缩放条件下灵巧操作策略的深入验证与迭代发展。

数据集最近研究

最新研究方向

ParcelStow数据集围绕接触丰富的灵巧操作任务，聚焦于时间缩放条件下学习策略与专家示范的鲁棒性对比，这一前沿方向揭示了模仿学习在操作速度倍率提升时的性能衰退现象。其最新研究以包裹插入、直立放置及键控销钉插入三项任务为载体，通过加速因子r对任务阶段时长进行压缩，系统评估了专家系统与ACT策略在r=1与r=2时的成功率差异，发现专家在高速条件下显著优于学习策略，尤其键控销钉任务中ACT在r=2时近乎失效。该研究为评判模仿学习的时间泛化能力提供了基准，对机器人操作的实时应用与安全部署具有重要指导意义。