ljrljr123/retail_dataset3

该数据集由LeRobot创建，专注于机器人技术领域。数据集包含15个episodes，共计14576帧，涉及1个任务。数据以parquet格式存储，包含动作、观察状态、前视和手腕图像等特征。动作和观察状态特征包括9个浮点数值，分别对应机械臂的各个关节位置和速度。前视图像分辨率为480x640，手腕图像分辨率为640x480，均为30帧每秒的视频数据。数据集的结构信息详细，但缺少主页、论文和引文的具体信息。This dataset was created using LeRobot and focuses on robotics. It contains 15 episodes, totaling 14576 frames, and involves 1 task. The data is stored in parquet format and includes features such as actions, observation states, front and wrist images. The action and observation state features consist of 9 floating-point values corresponding to the positions and velocities of the robotic arms joints. The front images have a resolution of 480x640, and the wrist images have a resolution of 640x480, both at 30 frames per second. The datasets structure is well-documented, but specific information about the homepage, paper, and citation is missing.

搜集汇总

数据集介绍

构建方式

零售数据集3（retail_dataset3）是基于LeRobot框架构建的机器人操作数据集，专为零售场景中的机器人学习任务设计。该数据集通过lekiwi_client机器人平台采集，共包含15个完整的操作片段（episodes），总计14,576帧图像与状态数据。数据以分块（chunk）形式存储，每块容量为1,000帧，采用Parquet格式保存结构化的动作与状态信息，同时将前端与腕部摄像头采集的视频流以AV1编码的MP4文件独立存储，形成多模态的观测记录。整个数据集划分为单一训练集，无验证与测试分割，便于直接用于行为克隆或强化学习的离线训练。

特点

该数据集具有鲜明的多模态与高维度特征。动作空间和观测状态空间均为9维向量，涵盖机械臂关节角度（如肩部、肘部、腕部等自由度）及移动底盘的速度指令，实现了对机器人全身协同控制的完整描述。视觉信息来自分辨率分别为640×480与480×640的前端与腕部两个视角，以30帧/秒的帧率同步记录，为细粒度操作提供了丰富的时空上下文。此外，数据集保留了时间戳、帧索引与任务索引等元信息，便于时序建模与多任务扩展。尽管仅包含15个片段，但其帧数充沛且数据质量精良，适合用于原型验证与小样本学习方法的研究。

使用方法

本数据集兼容LeRobot生态，可直接通过Hugging Face的视觉化工具预览与加载。使用时，推荐利用LeRobot的DataLoader模块，依据meta/info.json中的特征定义，分别读取Parquet文件中的动作与状态序列，以及MP4视频帧进行对齐训练。由于所有数据集中于一个训练分割，用户可自行按比例划分验证集。对于模仿学习，可将动作与观测图像作为输入输出对；对于强化学习，则可利用状态序列构建环境回放缓冲区。数据集遵循Apache-2.0许可，适用于学术研究与商业场景中的机器人操作技能获取与迁移学习实验。

背景与挑战

背景概述

零售场景中的机器人操作任务，如物品抓取与摆放，是自动化和智能仓储领域的重要研究方向。retail_dataset3数据集由ljrljr123团队基于LeRobot框架于近期创建，旨在为移动机械臂在零售环境中的精细操作提供基准数据。该数据集采用lekiwi_client机器人平台，采集了15个演示片段，共计14576帧图像与状态动作序列，涵盖640×480分辨率的腕部与前置摄像头视角。通过记录9维动作空间（包括关节位置与线速度、角速度）及对应的观测状态，该数据集为模仿学习与强化学习算法在真实世界操作任务中的评估提供了标准化资源，推动了零售环境下机器人自主操作能力的研究进展。

当前挑战

零售环境中机器人操作的挑战首先体现于复杂场景下的泛化能力：数据集仅包含单一任务与有限数量的演示，难以覆盖商品种类、摆放姿态与光照条件的多样性，导致模型在未观测环境中的鲁棒性不足。其次，数据采集过程面临工程瓶颈，包括lekiwi_client机器人执行器精度限制、不同视角摄像机同步校准的困难，以及演示过程中的轨迹一致性维护。此外，现有数据规模（15个片段）难以支撑深度模型的训练，且缺乏失败案例记录，限制了模型对失误恢复策略的学习。这些因素共同构成了利用该数据集开发通用零售机器人操作系统的关键障碍。

常用场景

经典使用场景

在零售行业的机器人自动化研究领域，retail_dataset3数据集为模仿学习与行为克隆算法提供了宝贵的数据资源。该数据集记录了lekiwi_client机器人在零售场景下的完整操作轨迹，包含30帧每秒的高清视觉观测数据（前置与腕部摄像头）以及9维度的动作序列（涵盖机械臂与移动底盘的控制指令）。研究者可利用这些数据训练机器人执行具体的零售任务，如商品抓取、摆放或整理。15个演示回合、近15000帧的时序数据，使其成为探索小样本模仿学习、动作规划与视觉-运动技能迁移的经典测试平台。

衍生相关工作

围绕retail_dataset3衍生了一系列具有影响力的研究工作。基于此数据集，学术界提出了针对零售场景的轻量级行为克隆模型，通过结合注意力机制与时间卷积网络来提升长程动作预测的准确性。另一类工作探索了跨任务域的自适应学习，利用该数据集进行预训练，再通过少量微调迁移至相似的零售操作任务（如商品分类摆放）。此外，该数据集也常被用作机器人操控领域视觉-运动协调的基准测试集，与Whisper-Gello、Bridge Data等经典数据集形成互补，共同推动了真实环境下机器人模仿学习的前沿发展。

数据集最近研究

最新研究方向

在机器人学习领域，retail_dataset3数据集的发布恰逢具身智能与零售自动化交叉研究的热潮。该数据集基于LeRobot框架采集，包含了15个完整演示片段，涵盖9维动作空间与状态空间（包括机械臂关节位置及移动基座速度），并辅以640×480分辨率的前置和腕部视觉流，为模仿学习与行为克隆提供了高质量的多模态训练素材。当前业界正积极探索将此类精细操控数据用于零样本跨场景迁移与少样本适应，以解决零售环境中非结构化商品抓取、货架整理等长尾任务。该数据集不仅推动了机器人从实验室走向真实卖场，还因采用Apache-2.0许可而加速了开源社区在智能售货、仓储物流等前沿场景下的算法迭代与基准构建，具有显著的产学研联动价值。