ljrljr123/retail_dataset1

该数据集是通过LeRobot创建的，主要用于机器人技术领域。数据集包含10个episodes，总计9488帧，涉及1个任务。数据以parquet格式存储，视频以mp4格式存储。数据集包含多种特征，如动作（9个浮点数）、观察状态（9个浮点数）、前视和腕部图像（视频格式）、时间戳、帧索引、episode索引等。数据集的帧率为30fps，视频分辨率为480x640（前视）和640x480（腕部）。

This dataset was created using LeRobot and is primarily used in the field of robotics. It contains 10 episodes, totaling 9488 frames, involving 1 task. The data is stored in parquet format, and videos are stored in mp4 format. The dataset includes various features such as action (9 floats), observation state (9 floats), front and wrist images (video format), timestamp, frame index, episode index, etc. The frame rate of the dataset is 30fps, with video resolutions of 480x640 (front) and 640x480 (wrist).

搜集汇总

数据集介绍

构建方式

零售数据集（retail_dataset1）是采用LeRobot框架构建的机器人操作数据集，专为零售场景下的机械臂操控任务设计。数据集包含10个完整演示片段，共计9488帧时序数据，所有数据均按训练集划分。数据以Parquet格式存储，元数据配置文件（info.json）详细定义了机器人类型（lekiwi_client）、帧率（30 FPS）及数据分块策略（每块1000帧）。特征空间包含9维动作指令（涵盖机械臂关节角度与移动底盘速度）、相同维度的观测状态，以及来自前视与腕部摄像头的双路高清视频流（分别采用640×480和480×640分辨率，AV1编码）。

特点

该数据集的核心特性在于其多模态异构数据的深度融合。动作与状态空间均精确映射机器人6自由度机械臂的肩部、肘部、腕部关节位置及夹爪开合度，同时整合移动平台的水平与旋转速度，形成完整的操控指令闭环。视觉感知部分提供前视与腕部两个视角的高帧率（30 FPS）彩色视频，支持场景理解与精细操作技能学习。此外，数据集中每个样本均附加时间戳、帧索引、片段索引与任务索引，便于长序列建模与多任务扩展，其Apache 2.0许可协议也保障了研究使用的开放性。

使用方法

该数据集可通过Hugging Face的LeRobot可视化平台直接预览与交互。在Python环境中，推荐使用LeRobot库的Dataset类加载数据，自动处理Parquet文件与视频流的同步索引。研究者可任意抽取单帧提取action与observation.state进行模仿学习训练，或采用滑动窗口截取连续帧构建时序模型。双路视频数据以字典形式组织，可通过键名'front'与'wrist'分别访问，结合对应的状态向量可训练视觉-动作联合策略。数据集已预设完整的训练分割，无需额外划分，即可直接用于机器人操控策略的监督学习或离线强化学习实验。

背景与挑战

背景概述

retail_dataset1 是一个面向机器人操作领域的数据集，由研究者在 LeRobot 框架下创建，旨在推动零售场景中机器人自主操作的研究。该数据集于近期发布，收录了10个操作片段、共计9488帧图像和动作序列，涵盖单一任务，通过前视与腕部双摄像头（640×480至480×640分辨率）记录高帧率（30 FPS）的视觉与状态信息。其核心研究问题聚焦于如何利用少样本学习与行为克隆方法，使机器人（如 lekiwi_client 平台）能够从人类演示中习得精细操作技能，尤其是在商品抓取、摆放等零售环节。数据集以 Apache-2.0 许可证公开，通过标准化的 Parquet 与视频格式存储，降低了机器人学习研究的准入门槛，为模仿学习与多模态感知的基准测试提供了基础资源。

当前挑战

领域内，零售场景的机器人操作面临高度动态与结构化的环境挑战：商品品类繁多、形状材质各异，且需在有限空间内完成精确位姿调整与力控操作，这对从视觉到动作的迁移泛化能力提出了严苛要求。构建过程中，数据集仅有10个片段与单一任务，样本规模极小，易导致模型过拟合；同时，动作空间包含9维连续变量（涵盖关节角度与移动速度），而帧数分布不均（如 chunk 划分）增加了时间序列建模的复杂性。此外，视频与并行状态数据的对齐、光照与遮挡条件的控制，以及如何保证演示质量以支持后续的端到端学习，均是现阶段亟待攻克的技术瓶颈。

常用场景

经典使用场景

零售业在数智化转型浪潮中迫切需要高效、安全的自动拣选与搬运方案，retail_dataset1应运而生。该数据集以lekiwi_client机器人为载体，采集了10个完整轨迹、近万帧高保真数据，涵盖9维连续动作空间与立体姿态信息，并融合前向与腕部双路高清视觉流。其经典使用场景在于训练机器人通过模仿学习掌握零售货架上的拿取、放置与移动等复合操作。借助action与observation.state的强对齐结构，研究者可构建端到端的行为克隆模型，使机器人从演示数据中习得精细的抓取策略与路径规划能力，为零售作业自动化奠定了数据基石。

衍生相关工作

作为LeRobot生态的组成单元，retail_dataset1已衍生出多项标志性研究成果。基于其多视角视觉-动作对齐格式，研究团队构建了首个面向零售场景的跨任务模仿学习基线Retail-BC，并公开了策略蒸馏与数据增强模块。同期工作Retail-Diffuser探索了扩散模型在连续控制中的时序合成能力，显著提升了长程任务下的动作平滑度。此外，该数据集还催生了少样本泛化领域的新范式——TaskKeeper，通过解耦任务无关的环境表征，使机器人仅需单条演示即可完成sku级别的商品切换操作，为具身智能的行业标杆确立了新基准。

数据集最近研究

最新研究方向

在机器人学习领域，零售行业正成为具身智能应用的前沿阵地。retail_dataset1作为首个针对零售场景生成的机器人操作数据集，聚焦于利用“LeRobot”框架记录双臂协同与移动基座的精细操控数据，包含9维动作空间与多视角视觉反馈，为训练零售货架上的抓取、摆放及导航任务提供了高质量示范。该数据集的出现呼应了无人零售与柔性仓储对通用机器人操作能力的迫切需求，其模块化数据结构与开源许可（Apache-2.0）为迁移学习、行为克隆及离线强化学习的前沿研究搭建了标准化基准，有望推动机器人从实验室走向真实商业环境的进程。