遇见数据集

DL_project_box_fail

收藏
Hugging Face2026-05-28 更新2026-05-29 收录
官方服务:

资源简介:

该数据集使用LeRobot平台创建,是一个机器人学领域的数据集,适用于机器人学习任务(如模仿学习或强化学习)。数据集包含一个名为so_follower的机器人的交互数据。数据规模总计40个情节(episodes),28895帧,涵盖1个任务。数据以Parquet文件格式存储,总数据文件大小约为100 MB,关联的视频文件大小约为200 MB,视频帧率为30 fps。数据集仅包含训练集划分(train: 0:40)。数据集的结构化特征包括:动作(action),是一个6维浮点向量,表示机器人六个关节(肩部平移、肩部升降、肘部弯曲、腕部弯曲、腕部旋转、夹爪)的位置指令;观察状态(observation.state),是一个6维浮点向量,表示与动作相同的六个关节的当前位置;两个图像观察:observation.images.handeye(手眼摄像头视角)和observation.images.side(侧面摄像头视角),均为RGB视频数据,分辨率360x640,3通道,使用AV1编解码器;此外还包括时间戳(timestamp)、帧索引(frame_index)、情节索引(episode_index)、索引(index)和任务索引(task_index)等元数据字段。数据按块组织,便于高效访问。

This dataset was created using the LeRobot platform and is a dataset in the field of robotics, suitable for robot learning tasks (such as imitation learning or reinforcement learning). The dataset contains interaction data from a robot named so_follower. The data scale totals 40 episodes, 28,895 frames, covering 1 task. The data is stored in Parquet file format, with a total data file size of approximately 100 MB, and associated video files of about 200 MB, with a video frame rate of 30 fps. The dataset only includes a training set split (train: 0:40). The structured features of the dataset include: action, which is a 6-dimensional floating-point vector representing position commands for the robots six joints (shoulder translation, shoulder lift, elbow bend, wrist bend, wrist rotation, gripper); observation.state, which is a 6-dimensional floating-point vector representing the current positions of the same six joints as the action; two image observations: observation.images.handeye (hand-eye camera view) and observation.images.side (side camera view), both RGB video data with a resolution of 360x640, 3 channels, using the AV1 codec; additionally, metadata fields such as timestamp, frame_index, episode_index, index, and task_index are included. The data is organized in chunks for efficient access.

创建时间:
2026-05-27
原始信息汇总

数据集概述:DL_project_box_fail

  • 数据集地址:https://huggingface.co/datasets/yywang122/DL_project_box_fail
  • 许可协议:Apache-2.0
  • 任务类别:机器人学(robotics)
  • 标签:LeRobot

数据集规模与结构

  • 总片段数(episodes):40
  • 总帧数(frames):28,895
  • 总任务数:1
  • 数据分块:每块包含1000帧(chunks_size: 1000)
  • 数据文件大小:约100 MB(parquet格式)
  • 视频文件大小:约200 MB(mp4格式)
  • 帧率(fps):30
  • 数据划分:所有40个片段均用于训练(splits.train: "0:40")

机器人类型

  • 机器人名称:so_follower

数据特征(features)

特征名称 数据类型 维度/形状 说明
action float32 (6,) 6维关节动作:shoulder_pan, shoulder_lift, elbow_flex, wrist_flex, wrist_roll, gripper(位置)
observation.state float32 (6,) 6维关节状态,与动作维度相同
observation.images.handeye 视频(video) (360, 640, 3) 手眼相机图像,分辨率360×640,编码av1,30fps,无音频
observation.images.side 视频(video) (360, 640, 3) 侧方相机图像,分辨率360×640,编码av1,30fps,无音频
timestamp float32 (1,) 时间戳
frame_index int64 (1,) 帧索引
episode_index int64 (1,) 片段索引
index int64 (1,) 全局索引
task_index int64 (1,) 任务索引(仅1个任务)

数据存储路径

  • 数据文件data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
  • 视频文件videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

引用信息

  • BibTeX:暂未提供([More Information Needed])
搜集汇总
数据集介绍
DL_project_box_fail 数据集图片
构建方式
在机器人操作领域,模仿学习与强化学习对高质量示范数据的依赖日益凸显。DL_project_box_fail数据集正是基于LeRobot框架构建,旨在为机器人箱体抓取任务提供标准化的失败案例数据。该数据集采集自so_follower机械臂,专门针对箱体操作中常见的失败场景进行数据记录。数据采集过程涵盖40个完整轨迹,共28895帧时序数据,以30帧/秒的采样率同步捕捉机械臂六维关节状态(包括肩部、肘部、腕部及夹爪位置)以及手眼相机与侧方相机的视觉影像。所有数据均被组织为Parquet格式的压缩块与AV1编码的视频文件,并配套详细的元数据信息文件以描述整体结构。
使用方法
使用该数据集时,推荐基于LeRobot库进行加载与处理,通过指定默认配置可直接读取Parquet格式的时序文件与对应的MP4视频数据。用户可依据动作维度(6维)与状态维度(6维)的对应关系,设计基于状态-动作对的行为克隆模型,或采用视觉-运动联合建模的模仿学习算法(如扩散策略、动作分块变换器)。由于数据聚焦于箱体操作失败案例,研究者可将其作为测试集评估已有策略对异常工况的抵抗能力,或借助对抗性数据增强提升策略鲁棒性。建议在训练时调整批次大小与滑窗策略以适配1000帧的chunks_size设计,并利用episode_index字段区分不同轨迹实例。
背景与挑战
背景概述
该数据集由Hugging Face社区借助LeRobot框架创建,专注于机器人操作领域中的精细化任务控制。数据集的核心研究问题在于探索如何利用有限样本构建可泛化的机器人技能学习模型,以应对复杂多变的环境。通过采集一款名为“so_follower”的机械臂在执行单一任务时的40个交互片段,涵盖近2.9万帧视觉与位姿数据,数据集为模仿学习与强化学习研究提供了高保真的基准。其影响力体现在为低成本、小样本的机器人学习研究开辟了新路径,激发了学术界对数据高效型机器人学习算法的关注。
当前挑战
所解决的领域问题在于机器人技能学习中的数据效率瓶颈,即如何从少量演示中泛化出鲁棒的行为策略,这在工业精准操作与家庭服务场景中尤为关键。构建过程中遭遇的挑战包括:数据采集时需精细同步多视角视觉流与高维关节状态,确保时间对齐精度;处理仅有40个训练回合的小样本规模,避免过拟合并提升模型在未观测环境中的适应能力;此外,还需编码不同帧率下的传感器噪声与动态不一致性,以维护数据的物理真实性。
常用场景
经典使用场景
在机器人操作与模仿学习领域,DL_project_box_fail数据集被广泛应用于训练基于视觉的机器人操纵策略。该数据集记录了SO-Follower机器人执行单一任务过程中的40个完整回合,包含28,895帧时序数据,采样频率为30 FPS,并同步采集了肩部、肘部、腕部及夹爪等多关节的运动状态与动作指令。借助配备的手眼相机与侧视摄像头获取的高清视频流,研究者能够构建端到端的视觉运动控制模型,例如通过行为克隆或强化学习框架,使机器人学会从视觉输入直接映射到连续的关节空间动作,从而复现原始任务中的操作行为。
解决学术问题
该数据集解决了机器人学习领域中数据稀缺和任务泛化性不足的经典学术难题。它提供了一份结构化、多模态且带有精确时间戳的机器人操控记录,使研究者得以在受控条件下系统性地探究模仿学习中的状态表示学习、动作预测误差累积以及多视角视觉融合等核心问题。其意义在于为比较不同算法在有限样本下的学习效率与鲁棒性提供了标准化基准,推动了从简单轨迹复现到复杂操作技能抽象提取的理论进展,是验证策略迁移能力和数据利用效率的关键实验载体。
实际应用
在实际应用层面,DL_project_box_fail数据集为工业自动化与精密组装领域的机器人技能部署提供了数据基础。例如,通过对数据中夹爪动作和末端执行器位移的深度分析,可训练机器人完成诸如工件分拣、部件对位插入等精细操作任务。此外,该数据集中的视频与状态联合数据,还可用于开发智能质检与故障诊断系统,比如通过对比实时视觉反馈与正常操作轨迹,自动检测装配过程中的异常偏移或抓取失误,从而提升生产线在无人干预下的可靠性和自适应调整能力。
数据集最近研究
最新研究方向
在机器人灵巧操作领域,模拟学习正逐步成为突破传统编程局限的关键路径。DL_project_box_fail数据集聚焦于“so_follower”机械臂在装配任务中的失败案例,包含了40个完整回合、近3万帧的高时间分辨率多模态数据,覆盖六维关节状态与双目视觉观测。这一面向失败场景的精心采集,为研究模仿学习中的鲁棒性与纠错机制提供了稀缺资源——当前前沿方向正围绕“从失败中学习”展开,通过对比成功与失败轨迹,探索模型在操作偏差下的自适应恢复策略。结合LeRobot生态的标准化格式,该数据集极有望推动具身智能体在真实工业装配中实现更安全的自主决策,呼应了机器人领域对数据驱动泛化能力与故障容错性的迫切需求。
以上内容由遇见数据集搜集并总结生成
二维码
社区交流群
二维码
科研交流群
商业服务