yywang122/DL_project_scale

该数据集是一个机器人数据集，专为follower任务设计，使用LeRobot工具创建。它包含40个episodes，总计26,101帧数据，帧率为30fps。数据以parquet文件格式存储，视频以mp4格式存储。数据集的特征包括：动作数据（6个浮点型关节位置，如肩部平移、肩部提升、肘部弯曲、手腕弯曲、手腕旋转和夹爪位置）、状态观测（与动作相同的关节位置）、两个视角的图像观测（handeye和side视角，均为360x640分辨率、3通道的RGB视频），以及时间戳、帧索引、episode索引、索引和任务索引等元数据。所有数据仅用于训练集。This dataset is a robotics dataset designed for the follower task, created using the LeRobot tool. It contains 40 episodes with a total of 26,101 frames at a frame rate of 30fps. The data is stored in parquet file format, and videos are stored in mp4 format. The dataset features include: action data (6 floating-point joint positions such as shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, and gripper positions), state observations (same joint positions as actions), image observations from two perspectives (handeye and side, both as 360x640 resolution, 3-channel RGB videos), and metadata such as timestamp, frame index, episode index, index, and task index. All data is allocated for the training set only.

搜集汇总

数据集介绍

构建方式

该数据集依托LeRobot框架构建，专为机器人领域的研究与开发而设计。数据采集自型号为so_follower的机器人，记录了40个完整episode的操控过程，总计含26101帧时序数据，并统一以30帧/秒的采样率进行保存。数据以Parquet格式存储于分块目录中，同时包括对应的视频文件，按chunk和file索引进行层级组织，便于大规模数据检索与加载。每一条记录均包含六维机器人关节动作与对应状态信息，以及两路手眼与侧方摄像头采集的640×360分辨率视频画面。

特点

该数据集最显著之处在于其具备多模态特征融合能力，集成了机器人关节的数值型状态、实时动作指令以及同步采集的高清视觉影像。视频采用AV1编码进行高效压缩，在保留时空细节的同时降低存储开销。所有行动变量均有明确物理命名，涵盖肩部、肘部、腕部及夹爪等关键自由度，结构清晰且可解释性强。数据集已完成预训练集划分，并包含元数据清单，便于使用者对episode、帧及任务索引进行精准定位与复现。

使用方法

开发者可通过LeRobot框架直接加载本数据集，使用其标准的数据管道进行模型训练或策略评估。以default配置读取data/*/*.parquet路径下的Parquet表格及对应的视频文件，获得与时间步严格对齐的动作、状态与图像信息。该数据集特别适用于模仿学习、示教复现及基于视觉的运动规划任务，支持将原始关节角度与视觉观测融合作为输入，输出连续动作空间的控制指令，亦可借助分块索引与fps设定灵活调整批采样策略。

背景与挑战

背景概述

在机器人学习领域，从人类演示中获取高保真操作数据是推动模仿学习与技能泛化研究的关键瓶颈。DL_project_scale数据集由Hugging Face LeRobot团队于2023年左右创建，聚焦于双臂协作机器人中的从动臂（so_follower）操作任务。该数据集通过单任务场景（40个演示片段，总计26101帧）采集了6自由度关节状态与多视角视觉（手眼相机与侧方相机）信息，为研究机器人动作策略的时空建模提供了标准化基准。其采用Apache-2.0许可协议开放，在LeRobot生态中扮演着检验模仿学习算法在有限样本下泛化能力的角色，对推动低成本机器人操作数据集的建设范式具有示范意义。

当前挑战

该数据集面临的核心领域挑战在于：如何在仅含单一任务和有限演示（40个片段）的条件下，使机器人策略具备跨物体位姿或环境变化的鲁棒性，这直接关联到模仿学习从简单重复到泛化迁移的瓶颈。构建过程中遇到的挑战包括：1）高精度同步：以30fps采集关节状态与双视角视频，需要解决硬件时间戳对齐问题，避免动作与视觉信息错位；2）数据存储效率：26101帧产生100MB结构化数据与200MB视频，需平衡AV1视频压缩的保真度与解码实时性；3）标注完整性：当前缺失元数据（如任务语义标签），限制了策略对操作意图的条件建模能力。

常用场景

经典使用场景

DL_project_scale数据集为机器人模仿学习领域提供了标准化的训练样本。该数据集包含由so_follower机械臂记录的40个完整操作片段，共计26101帧高精度运动与视觉数据，以30帧/秒的频率同步采集。研究者通常利用此数据集训练端到端的策略网络，学习从视觉观测（手眼相机与侧方相机）到六维关节动作的映射关系。其以parquet格式存储的时序结构化数据，完美适配LeRobot等深度学习框架，成为验证行为克隆、逆强化学习等算法的基准资源。

衍生相关工作

基于该数据集的结构化特性，衍生出了一系列关于多模态融合与策略泛化的经典工作。研究者利用其包含的两种视角图像与动作标签，探索了视觉语言模型指导下的任务规划方法，以及基于扩散模型的轨迹生成框架。更有工作以此数据为评价基准，对比了Transformer与CNN架构在操作学习中的表征效率，推动了轻量化策略网络的设计。其四十个在固定任务上采集的高保真片段，还启发学者通过数据增强与域随机化技术扩展数据多样性，并催生了面向少样本场景的元学习算法研究。

数据集最近研究

最新研究方向

在具身智能与机器人学习领域，DL_project_scale数据集凭借其标准化的LeRobot格式和精细化的多模态传感数据，正成为推动模仿学习与行为克隆前沿研究的关键资源。该数据集聚焦于单机械臂（so_follower）的高频6自由度动作与立体视觉观测，其40个训练轨迹与超2.6万帧的样本规模，为验证小样本策略泛化、视觉-运动联合表征及闭环控制算法提供了理想实验平台。结合近期开放世界机器人操控与低成本遥操作数据收集的热点事件，此类结构化数据集显著降低了从仿真到实体迁移的壁垒，加速了可复现、可扩展的机器人技能学习范式演进，对构建通用操作智能具有里程碑式的影响。