2026CS-Store-Challenge

2026 CS-Store Challenge数据集是由韩国崇实大学Reality Lab构建的官方数据集，用于便利店场景中的机器人操作任务。数据集在NVIDIA Isaac Sim仿真环境中，利用ROBOTIS FFW-SG2人形机器人收集演示数据。整个数据集包含三个独立任务：Task A（移动到货架）、Task B（商品陈列）和Task C（识别与计算），但当前仅公开了Task B的完整数据。Task B包含2,019个成功演示片段（episode），总计2,482,250帧，每帧包含三个224×224 RGB摄像头图像（头部、左腕、右腕）、22维状态向量（关节位置和基座速度）和22维动作向量（目标关节位置和基座速度）。数据以LeRobot v2.1格式存储，帧率为10 fps，每个episode持续90-292秒。任务指令共36种，对应36种商品。数据集可用于模仿学习、机器人拾取和放置、视觉运动控制等研究。注意：数据为纯仿真合成数据，所有演示均为成功案例，无失败恢复数据，且约86%的帧集中于放置阶段。The 2026 CS-Store Challenge dataset is an official dataset constructed by the Reality Lab at Soongsil University, South Korea, for robot manipulation tasks in convenience store scenarios. The dataset was collected using the ROBOTIS FFW-SG2 humanoid robot in the NVIDIA Isaac Sim simulation environment. The full dataset includes three independent tasks: Task A (Move to Shelf), Task B (Product Placement), and Task C (Recognition and Counting), but currently only the complete data of Task B is publicly available. Task B contains 2,019 successful demonstration episodes, totaling 2,482,250 frames. Each frame consists of three 224×224 RGB camera images (head, left wrist, right wrist), a 22-dimensional state vector (joint positions and base velocity), and a 22-dimensional action vector (target joint positions and base velocity). The data is stored in the LeRobot v2.1 format, with a frame rate of 10 fps, and each episode lasts 90-292 seconds. There are 36 task instructions corresponding to 36 products. The dataset can be used for research in imitation learning, robotic picking and placing, visual motor control, etc. Note: The data is purely synthetic simulation data, all demonstrations are successful cases without failure recovery data, and approximately 86% of the frames are concentrated in the placement phase.

原始信息汇总

2026 CS-Store Challenge 数据集概述

基本信息

• 数据集名称: 2026 CS-Store Challenge
• 提供机构: 崇实大学 Reality Lab (SSU Reality Lab)
• 许可证: Apache-2.0
• 任务类型: 机器人操作 (Robotics Manipulation)
• 数据规模: 超过100万帧
• 数据集格式: LeRobot v2.1 规范

环境与机器人配置

• 仿真环境: NVIDIA Isaac Sim 虚拟环境
• 场景: 便利店场景
• 机器人型号: ROBOTIS FFW-SG2 人形机器人
• 数据性质: 纯仿真数据（不包含真实物理机器人数据）

任务结构

数据集采用 单仓库多任务独立文件夹 的结构组织，每个任务文件夹均为完整独立的 LeRobot v2.1 格式数据集：

任务	内容	目标	Base 行驶范围	Episode 数量	状态
Task A	移动到陈列架	从任意位置出发、避障并抵达目标陈列架	卖场全程	—	尚未公开
Task B	商品陈列	从桌上收纳箱取出商品放入陈列架空位	原地旋转及短距离移动	2,019	已发布
Task C	识别与结算	依次抓取商品并进行识别与价格合计	静止站立	—	尚未公开

Task B 实际任务模板为：Take the {商品名} out of the crate on the table and put them into the empty slots on the shelf

关键技术规格

通用规范

• 采样率: 10 fps
• 相机: 3种视角（头戴、左腕、右腕），分辨率均为 224×224 RGB（原始 672×376 降采样）
• state 与 action: 各含 22 通道

单帧数据构成

特征名称	数据形状	说明
observation.images.cam_head	224×224×3 (uint8)	头部相机 RGB 图像
observation.images.cam_left_wrist	224×224×3 (uint8)	左腕相机 RGB 图像
observation.images.cam_right_wrist	224×224×3 (uint8)	右腕相机 RGB 图像
observation.state	22 个 float32	关节实测位置及基座实测速度
action	22 个 float32	控制器下达的目标位置及速度指令

22 通道明细（state 与 action 共用）

• [0..6]: 左臂关节 1~7（弧度）
• [7]: 左夹爪关节（弧度，值越大表示夹紧）
• [8..14]: 右臂关节 1~7（弧度）
• [15]: 右夹爪关节（弧度）
• [16]: 头部水平旋转关节（弧度）
• [17]: 头部垂直倾斜关节（弧度）
• [18]: 躯干升降关节（米）
• [19]: 基座前后速度（m/s）
• [20]: 基座左右速度（m/s）
• [21]: 基座旋转速度（rad/s）

state 与 action 的差异

• state（观测值）: 当前时刻传感器测得的机器人关节实际物理状态
• action（控制指令）: 控制器在 t 时刻下达的目标指令状态（非变化量，也非 t+1 时刻的 state）
• 高速运动区间两者平均误差约 0.0072 rad

Task B 详细规格 — 商品陈列

指标	数值
总 Episode 数	2,019 个
总 Frame 数	2,482,250 个
Episode 帧数范围	902 ~ 2,924 帧（中位数 1,140）；按10fps对应 90 ~ 292 秒
指令种类	36 种，每种对应一种商品
指令模板	Take the {商品名} out of the crate on the table and put them into the empty slots on the shelf
商品统计	共 36 种，每种对应 39~79 个 episode
Episode 移动统计（30个样本实测）	前后移动中位数 0.50 m；左右移动中位数 0.40 m；旋转中位数 87°；总移动距离中位数 1.72 m

时间与索引体系

列名	计数范围	说明
timestamp	Episode 内	自该 episode 开始起的经过秒数，每集从 0.0 起
frame_index	Episode 内	该 episode 内的帧序号（自0起）
index	数据集全局	贯穿全部 2,482,250 帧的全局序号
episode_index	数据集全局	Episode 编号 0 ~ 2,018

目录结构与解析方法

taskB/ ├── data/ │ ├── chunk-000/ │ │ ├── episode_000000.parquet (1个Episode = 1个Parquet文件) │ │ ├── episode_000001.parquet │ │ └── … │ └── chunk-001/ … └── meta/ ├── info.json (帧率、特征规格、shape、路径格式) ├── tasks.jsonl (36种指令文本，含 task_index) ├── episodes.jsonl (每Episode索引、指令、帧长度) └── episodes_stats.jsonl (各Episode各列 min/max/mean/std 统计)

• Parquet 文件路径格式: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet（chunk = index ÷ 1000）
• tasks.jsonl 为指令唯一的权威来源，学习管线以 Parquet 中 task_index 为键查询该文件；与 episodes.jsonl 冲突时以 tasks.jsonl 优先
• 图像数据内嵌方式: 所有图像以 PNG 二进制形式直接存储在 Parquet 文件内部（struct 的 bytes 字段），path 仅为逻辑标签

Parquet 列类型

列名	Arrow 数据类型
action	fixed_size_list<float>[22]
observation.state	fixed_size_list<float>[22]
observation.images.cam_*	struct<bytes: binary, path: string>
timestamp	float
frame_index、episode_index、index、task_index	int64

加载方式

• LeRobot API: 使用 snapshot_download 下载指定 task 子目录，再以 LeRobotDataset 加载（支持 allow_patterns 过滤）
• PyArrow 直接解析: 无需安装 LeRobot，可通过标准 Parquet 解析读取数据

数据集局限与注意事项

1. 纯仿真数据: 基于 Isaac Sim 物理引擎生成，不包含真实环境数据
2. 动作偏置: 约 86% 帧集中在“放置(Place)”过程
3. 单物品执行: 每个 Episode 仅完成一个商品的陈列，不包含连续多商品的长时序数据
4. 仅含成功演示: 无失败恢复或负样本数据
5. 视觉降采样: 已将原始 672×376 分辨率经填充缩至 224×224

引用格式

bibtex @misc{ssu_realitylab_2026csstore, title = {2026 CS-Store Challenge: pick-and-place demonstrations for a convenience-store robot}, author = {SSU Reality Lab}, year = {2026}, url = {https://huggingface.co/datasets/SSU-RealityLab/2026CS-Store-Challenge} }

搜集汇总

数据集介绍

构建方式

该数据集由崇实大学Reality Lab在NVIDIA Isaac Sim仿真环境中构建，聚焦于便利商店场景下的人形机器人操作任务。数据集采用LeRobot v2.1格式，包含Task A（移动至货架）、Task B（商品上架）和Task C（识别与计算）三个子任务，其中Task B已公开2,019个成功演示episode，每个episode记录机器人从货箱取物并放置于货架空位的完整过程。数据以10 fps采样，每个frame包含三路224×224 RGB图像（头部及左右手腕相机）、22维state（关节实测位置与基座速度）及22维action（控制器指令），图像以PNG二进制直接嵌入Parquet文件。Task B的2,482,250个frame跨越36种商品指令，每种商品对应39至79个episode，并附带详尽的元数据文件（info.json、tasks.jsonl等）以支持灵活解析。

特点

该数据集具有鲜明的结构特点：首先，其多任务架构在单一仓库内分层组织，各任务文件夹独立完整，便于针对性研究；其次，数据采集自纯仿真环境，保证了场景与动作标注的一致性，但缺乏真实世界噪声；值得注意的是，state与action的区分明确，记录的是实测状态与命令目标，二者在高速运动阶段的平均误差约0.0072 rad，有利于模仿学习中的因果建模。此外，Task B虽聚焦上架操作，却隐式包含约90度旋转和0.5米移动的导航数据，以及36种商品在手腕相机下的近距影像（逾123万帧），可迁移至移动与识别任务。数据还呈现行为不平衡（86%帧集中于放置阶段）和单商品短视域特性，且仅含成功演示，缺乏失败恢复样本。

使用方法

使用时需依据任务需求下载对应子目录，推荐采用LeRobot API进行数据加载，首先通过snapshot_download指定allow_patterns获取taskB等文件夹，继而实例化LeRobotDataset即可访问episode、frame及内嵌图像。对于高级用户，也可绕开LeRobot，直接利用PyArrow读取Parquet文件，按meta/info.json中的路径规则定位文件，并通过bytes字段解码PNG图像。特别注意的是，任务指令的权威来源为meta/tasks.jsonl，而episodes.jsonl仅作参考；若两文件冲突，须以tasks.jsonl为准。由于数据全部来自仿真，研究者应评估其向真实环境的泛化能力，并针对行为不平衡和单物品操作等局限设计补充策略。

背景与挑战

背景概述

2026CS-Store-Challenge数据集由韩国崇实大学Reality Lab于2026年构建，旨在推动服务机器人在便利商店场景中的操作能力。该数据集基于NVIDIA Isaac Sim仿真环境，采用ROBOTIS FFW-SG2人形机器人，围绕陈列架移动、商品上架及识别结算三大任务采集了超过2000条成功演示，其中Task B（商品上架）包含2019条完整episode，总计248万帧多模态数据。作为LeRobot v2.1格式的公开基准，该数据集为模仿学习、视觉-运动控制等领域提供了高保真、多视角的仿真训练资源，促进了零售自动化与具身智能的交叉研究。

当前挑战

该数据集面临的挑战主要源于领域问题与构建过程。领域层面，机器人需在复杂动态的商店环境中完成精细的抓取-放置操作，涉及长距离导航与局部避障的融合，以及多视角视觉与高维动作空间（22通道）的精确对齐。数据构建中，仿真与真实域差异显著，且成功演示占据86%的放置阶段，导致行为分布失衡，缺乏失败恢复样本。此外，任务指示与动作执行需紧密耦合，而部分动作通道（如基础移动）需从姿态差分推断，增加了数据噪声。视觉数据压缩至224×224分辨率亦可能损失细节，影响模型泛化能力。

常用场景

经典使用场景

该数据集构建于NVIDIA Isaac Sim的仿真便利店场景，利用ROBOTIS FFW-SG2人形机器人收集了2200余条成功的操作示范，涵盖商品拾取、货架摆放等精细操纵任务。其多模态观测数据（头部与腕部摄像头RGB图像、22维关节状态与动作）以及每帧对应的自然语言指令，为模仿学习、视觉运动策略、多模态决策等机器人学习研究提供了理想的基准。研究者可借助LeRobot v2.1格式的工具链，便捷地训练或评测模型在真实感场景中的泛化能力与操纵精度。

解决学术问题

该数据集有效缓解了机器人操纵领域真实数据采集成本高昂、可扩展性受限的难题。通过引入高精度仿真环境与标准化数据格式，它支持了大规模、可复现的模仿学习实验，促进了基于视觉的精细操作、长时程任务分解以及跨任务知识迁移等核心学术问题的探究。其中，多视角视觉与低维状态动作的同步记录，使得联合表示学习与因果推理等前沿课题得以在受控条件下深入验证，从而加速了从仿真到现实算法迁移的研究步伐。

衍生相关工作

围绕该数据集，衍生工作可沿多个方向展开。其一是开发基于视觉语言模型的任务规划器，将自然语言指令直接映射为动作序列；其二是结合扩散策略或Transformer架构，利用其中大规模示范数据训练高鲁棒性的操纵策略；其三是构建仿真到现实的迁移框架，评估Sim2Real的差距并探索域随机化技术。此外，任务B中丰富的腕部近景图像还可催生针对细粒度物体识别与位姿估计的专项研究，进一步拓展数据集的学术与工程价值。