ljrljr123/retail_dataset_merged

这是一个机器人学习数据集，由LeRobot项目创建。数据集包含40个任务片段，总计39605帧数据，帧率为30fps。数据内容包括：9维的动作向量（包含机械臂各关节位置和速度）、9维的观察状态（与动作向量相同）、前视和腕部摄像头视频（分辨率分别为640x480和480x640）、时间戳、帧索引等元数据。数据集采用Apache 2.0许可证，数据以parquet格式存储，视频以mp4格式存储。

This is a robotics learning dataset created by the LeRobot project. The dataset contains 40 episodes with a total of 39,605 frames at 30fps. It includes: 9-dimensional action vectors (containing arm joint positions and velocities), 9-dimensional observation states (same as action vectors), front and wrist camera videos (640x480 and 480x640 resolutions respectively), timestamps, frame indices and other metadata. The dataset uses Apache 2.0 license, with data stored in parquet format and videos in mp4 format.

搜集汇总

数据集介绍

构建方式

retail_dataset_merged数据集的构建依托于LeRobot框架，采用从仿真零售环境中采集的遥操作数据。数据集以篇章（episode）为单位进行组织，共涵盖40个执行篇章，累计帧数达39,605帧，通过高频率（30 FPS）记录机器人在零售场景中的操作轨迹。数据以Parquet格式存储运动与状态信息，同步采集前视与腕部两个视角的640×480分辨率视频流，经AV1编码压缩后封装为MP4文件，最终形成结构化的多模态数据集合。

特点

该数据集的核心特征在于其多模态同步记录能力，融合了9维动作指令与状态观测数据，涵盖机械臂各关节位置与移动平台速度参数。视频数据提供丰富环境视觉信息，而时序对齐的帧索引与时间戳确保了数据流的一致性。数据集聚焦于单任务学习场景，虽任务种类单一，但通过高采样频率与多视角观测，为模仿学习与机器人操作策略研究提供了高质量样本。

使用方法

研究者可利用LeRobot工具包轻松加载该数据集，通过预设的API接口解析Parquet文件与视频片段。数据集已划分完整训练集，支持直接用于学习从观测到动作的映射。可视化工具提供了在线浏览功能，便于快速检验数据质量。建议在使用时结合机器人型号与任务特性，针对动作空间与图像特征进行归一化处理，以适配各类模仿学习与强化学习算法。

背景与挑战

背景概述

零售场景下的机器人操作研究近年来备受关注，其核心在于使机器人能够灵活应对非结构化环境中的抓取、摆放等复杂任务。retail_dataset_merged数据集由ljrljr123于近期创建，基于LeRobot框架构建，使用了lekiwi_client型机器人平台进行数据采集。该数据集聚焦于单一零售相关任务，包含40个演示片段、共计39605帧数据，并以30帧每秒的频率记录了来自前视与腕部摄像头的视觉信息，同时提供了关节角度与速度等动作与状态序列。作为面向机器人模仿学习的数据资源，该数据集旨在推动零售领域机器人操作的精细化建模，为后续研究提供标准化的训练与评估基准。

当前挑战

零售场景中的机器人操作面临多重挑战。首先，非结构化环境中的目标形状、材质与摆放姿态高度多变，对机器人的泛化能力提出严峻考验，该数据集仅包含单一任务与40条演示，难以覆盖丰富的操纵多样性。其次，构建过程中需同步采集高分辨率视觉与精密运动数据，并确保两者时序严格对齐，任何异步都会降低模型学习效果。此外，零售环境光照条件复杂、遮挡频发，导致视觉特征不稳定，而当前数据集仅含40个片段，数据量较小，可能限制模型在实际部署时的鲁棒性。

常用场景

经典使用场景

零售机器人数据集（retail_dataset_merged）是面向零售场景的机器人操作与导航研究的重要资源。该数据集基于LeRobot框架构建，包含40个演示片段、近4万帧时序数据，记录了机器人从肩部、肘部到腕部等多个关节的连续运动轨迹，以及基座在二维平面中的线速度与角速度信息。尤为突出的是，数据集同步采集了前向和腕部两个视角的高清视频流，为多模态感知与决策建模提供了坚实基础。研究者可依托这些时空对齐的数据，训练机器人模仿人类操作员完成商品抓取、货架整理等典型零售任务，从而推动服务型机器人从实验室走向真实商店环境。

实际应用

在实际应用层面，retail_dataset_merged为零售行业的自动化升级注入强劲动力。基于该数据集训练的机器人可以胜任超市或仓库中的商品分拣、货品上架、包裹搬运等重复性劳动。相比于固定编程的工业机械臂，利用该数据开发的机器人能够通过视觉反馈实时调整抓取姿态，应对摆放杂乱、光照变化等非结构环境挑战。此外，数据集包含的多关节角度与底盘速度信息，使移动操作机器人能边行进边规划动作，实现“取物—运输—放置”的全流程自动化。这些能力已开始在国内多家零售企业的无人便利店和分拣中心进行试点部署，显著提升了运营效率并规避了人力短缺带来的风险。

衍生相关工作

伴随着retail_dataset_merged的公开，数个具有影响力的衍生研究工作相继涌现。研究者基于该数据集训练了行为克隆（Behavior Cloning）基线模型，并对比了在隐式与显式动作空间下的策略表现；另有工作引入扩散策略（Diffusion Policy）架构，利用数据集中的多帧视频序列生成平滑且鲁棒的操作轨迹。在表征学习方面，有团队结合该数据集探索了视觉预训练与域随机化技术，以提升机器人对零售货架上不同商品外观的泛化能力。此外，多任务学习方向的工作将retail_dataset_merged与其它领域数据集联合训练，验证了共享网络结构在跨场景抓取中的有效性。这些工作共同验证了该数据集的学术价值，并持续启发新的算法突破。