experiment-cube-cup-100-l_diagonal-full

该数据集是通过远程操作收集的演示数据，任务是从白色桌子上抓取一个小黑色方块并放入一个橙色杯子中。数据使用SO-ARM从动机器人和LeRobot v3记录。数据收集策略遵循Gao等人（RSS 2024）提出的L型组合泛化方法，在3x3的表格网格上变化方块（目标）和杯子（目标）的位置，包含L型臂（方块或杯子保持不变）以及对角线额外组合，共35/81种方块-杯子位置对，覆盖不完全但有意设计。数据集包含99个episode（索引0-98），共29,432帧（约16.4分钟，30 FPS），两个RGB摄像头视角（顶部和手腕，640×480，AV1编码），以及关节空间的动作和状态（6自由度+夹爪，单位为度）。数据集的目的是用于模仿学习或视觉-语言-动作模型微调，以及研究策略能否从未见的方块/杯子位置对中学习组合泛化。This dataset consists of demonstration data collected via teleoperation, where the task is to grasp a small black cube from a white table and place it into an orange cup. The data was recorded using the SO-ARM follower robot (so_follower) and LeRobot v3. The data collection strategy follows the L-shaped composition generalization method proposed by Gao et al. (RSS 2024), varying the positions of the cube (target) and cup (target) on a 3x3 grid, including L-shaped arms (where either the cube or cup remains fixed) and additional diagonal combinations, covering 35 out of 81 possible cube-cup position pairs, intentionally incomplete but designed for generalization. The dataset contains 99 episodes (indices 0-98) with a total of 29,432 frames (approximately 16.4 minutes at 30 FPS), two RGB camera views (top and wrist, 640x480, AV1 codec), and joint-space actions and states (6 degrees of freedom plus gripper, in degrees). The dataset is intended for imitation learning or fine-tuning vision-language-action models, as well as studying whether policies can learn composition generalization from unseen cube/cup position pairs.

原始信息汇总

Cube → Cup Pick-and-Place (L-shape + diagonal) 数据集概述

基本信息

• 数据集地址：https://huggingface.co/datasets/filesmuggler/experiment-cube-cup-100-l_diagonal-full
• 许可证：Apache-2.0
• 任务类别：robotics（机器人）
• 标签：LeRobot、so100、so101、pick-and-place、cube、cup、imitation-learning、compositional-generalization
• 创建工具：LeRobot
• 机器人类型：SO-ARM follower（robot_type: so_follower）
• 任务指令：Grab the cube and put it in the cup
• 数据配置文件：default，数据文件位于 data/*/*.parquet

任务描述

在白色桌面上，通过遥操作演示抓取一个小型深色方块并将其放入橙色杯子。数据使用 LeRobot v3 记录。

采集策略

起点姿态采样遵循 Gao、Xie、Xiao、Finn 与 Sadigh 在论文《Efficient Data Collection for Robotic Manipulation via Compositional Generalization》（RSS 2024）中提出的 L 形域内采集思路，将环境轴视为因子网格，通过 L 形覆盖单一轴上的每个因子，依赖策略组合缺失的组合。

在 3×3 桌面上应用于两个因子：

• cube（目标）格子
• cup（目标放置）格子

具体策略：

1. L, cube 臂：变化 cube 格子，cup 保持接近基准放置姿态（goal cell 8），共 33 个 episode。
2. L, cup 臂：变化 cup 格子，cube 保持接近基准抓取姿态（target cell 5），共 25 个 episode。
3. Diagonal / 额外组合：在 L 之外的额外 cube→cup 组合，使数据密度高于纯 L（对应名称中的 l_diagonal-full）。

完整 9×9 网格为 81 对组合，本次运行观察到 35 / 81 对（L 加对角线，非均匀覆盖，属于有意设计）。

数据集特点

• 单一技能，在不同起点姿态下重复，覆盖 3×3 桌面网格。
• 两个 RGB 视角：俯视 observation.images.top 和腕部 observation.images.wrist（640×480，AV1，30 FPS）。
• 关节空间 action 与 observation.state（6-DoF + 夹爪，单位：度）。
• 训练策略：smolvla_cube_cup、act_cube_cup、pi05_cube_cup。

数据快照

项目	内容
Episodes	99（0–98）。文件名标注为 100；有 1 个 episode 未记录。
Frames	29,432（约 16.4 分钟，30 FPS）
Episode 长度	最短 6.5 秒 · 中位数 9.7 秒 · 最长 19.5 秒（episode 62）
相机	top、wrist
License	Apache-2.0

空间覆盖（首帧审查）

每个 episode 在第 0 帧均可见 cube（目标）和 cup（goal）。计数非均匀，与 L 策略一致，质量集中在 T5 和 G8。

Cube（target）格子计数（1 = 后左，9 = 前右）：

	left	mid	right
back	3	7	8
mid	13	25	14
front	6	12	11

Cup（goal）格子计数：

	left	mid	right
back	12	8	8
mid	8	7	5
front	8	33	10

• 唯一的 cube→cup 对数：35 / 81
• 最常见组合：cube cell 8 → cup cell 2（7 个 episode）
• 32 个 cube 位置为人工标注（深色 cube vs 白色桌面）；cup 为自动标注
• 同格起点（cube 与 cup 在同一格）：episodes 46、47、80、81、82、87

预期用途与限制

用途：用于短时程 pick-and-place 技能的模仿学习 / VLA 微调，以及研究策略能否从 L + diagonal 数据中组合未见过的 cube/cup 格子对（Gao 等人描述的设定）。

限制：

• 单一桌面、单一光照设置、单个 cube、单个 cup。
• 组合覆盖存在较大空缺（尤其是从 cell 1 抓取以及远离 cell 8 的放置）。这是 L 策略的有意设计，并非完全组合覆盖的声明。
• 这是一个受该采集策略启发的独立 SO-ARM 数据集；并非论文中的 WidowX / kitchen 数据，也未使用 BridgeData V2。
• 首帧叠加仅为审查辅助，并非真值物体姿态。当 cube 靠近夹爪时，部分自动 cube 锁定存在歧义。
• 关节值使用 LeRobot 度数约定；基于标称 FK 的绝对桌面 XYZ 为近似值。

数据集结构

完整 LeRobot v3 schema 参见 meta/info.json（codebase_version: v3.0）。

引用

bibtex @misc{filesmuggler_cube_cup_l_diagonal_full, title = {Cube-to-cup pick-and-place (L-shape + diagonal)}, author = {filesmuggler}, year = {2026}, url = {https://huggingface.co/datasets/filesmuggler/experiment-cube-cup-100-l_diagonal-full}, note = {Collection layout follows the L strategy of Gao et al., RSS 2024} }

@inproceedings{Gao-RSS-24, author = {Jensen Gao and Annie Xie and Ted Xiao and Chelsea Finn and Dorsa Sadigh}, title = {Efficient Data Collection for Robotic Manipulation via Compositional Generalization}, booktitle = {Proceedings of Robotics: Science and Systems}, year = {2024}, address = {Delft, Netherlands}, month = {July}, doi = {10.15607/RSS.2024.XX.013}, url = {https://iliad.stanford.edu/robot-data-comp/} }