Feel2Grasp

该数据集由LeRobot创建，主要用于机器人技术领域。数据集包含200个episodes和53936帧数据，数据格式为parquet文件。数据集结构包括机器人动作（6个关节位置）、状态观测（6个关节位置）、多视角图像视频（前、左、右三个视角，分辨率480x640，25fps）、时间戳、帧索引、episode索引等特征。数据总大小为100MB（数据文件）和200MB（视频文件）。

原始信息汇总

数据集概述

基本信息

• 数据集名称: Feel2Grasp
• 创建工具: 使用 LeRobot (https://github.com/huggingface/lerobot) 创建。
• 许可证: Apache-2.0
• 任务类别: 机器人学
• 标签: LeRobot

数据集规模与结构

• 总情节数: 200
• 总帧数: 53936
• 总任务数: 1
• 数据块大小: 1000
• 数据文件总大小: 100 MB
• 视频文件总大小: 200 MB
• 帧率: 25 FPS
• 数据分割: 仅包含训练集，索引范围为 0 至 200。
• 代码库版本: v3.0
• 机器人类型: so101_follower

数据文件路径

• 数据路径格式: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频路径格式: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

数据特征

动作空间

• 特征名: action
• 数据类型: float32
• 形状: [6]
• 包含的关节位置:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

状态观测

• 特征名: observation.state
• 数据类型: float32
• 形状: [6]
• 包含的关节位置: 与动作空间相同。

图像观测

包含三个视角的彩色视频观测，具体参数如下：

• 前视图像 (observation.images.front)
• 左视图像 (observation.images.left)
• 右视图像 (observation.images.right)

通用图像参数:

• 数据类型: video
• 形状: [480, 640, 3] (高度，宽度，通道)
• 视频高度: 480 像素
• 视频宽度: 640 像素
• 视频编解码器: av1
• 像素格式: yuv420p
• 是否为深度图: false
• 帧率: 25 FPS
• 通道数: 3
• 包含音频: false

元数据特征

• timestamp: 数据类型 float32，形状 [1]。
• frame_index: 数据类型 int64，形状 [1]。
• episode_index: 数据类型 int64，形状 [1]。
• index: 数据类型 int64，形状 [1]。
• task_index: 数据类型 int64，形状 [1]。

引用信息

• 主页: 未提供
• 论文: 未提供
• BibTeX 引用格式: 未提供

搜集汇总

数据集介绍

构建方式

在机器人操作领域，数据集的构建往往依赖于真实世界的交互记录。Feel2Grasp数据集通过LeRobot平台精心采集，涵盖了200个完整的操作片段，总计53936帧数据，以25帧每秒的速率捕捉。数据以分块形式存储于Parquet文件中，每块包含1000帧，确保了高效的数据管理与访问。该数据集记录了六自由度机械臂的关节位置与夹爪状态，同时辅以前、左、右三个视角的同步视频流，为机器人抓取任务提供了多模态的交互轨迹。

特点

Feel2Grasp数据集展现出多模态融合的鲜明特点，其核心在于同步整合了机械臂的关节动作、状态观测与视觉感知。动作与状态数据均以浮点型数值精确表征六个关节及夹爪的位置信息，而视觉数据则通过三路高清视频流，以480x640分辨率呈现操作场景的立体视角。数据集结构严谨，包含时间戳、帧索引与片段索引等元数据，支持时序分析与轨迹重建。这种多维度的数据组织方式，为机器人模仿学习与感知控制研究提供了丰富的实验素材。

使用方法

利用Feel2Grasp数据集进行机器人学习研究，需依托其清晰的数据结构。数据集以训练集形式完整呈现，研究者可通过加载Parquet文件直接获取动作、观测与图像序列。对于视觉模态，视频文件以MP4格式独立存储，便于分离处理或联合训练。在具体应用中，可依据帧索引与时间戳对齐多源数据，构建状态-动作对用于策略学习，或利用多视角图像进行感知模型训练。数据集的标准化格式与分块设计，使其能够便捷地集成于现代机器学习框架，加速机器人抓取算法的开发与验证。

背景与挑战

背景概述

在机器人操作学习领域，模仿学习与强化学习的研究依赖于高质量、大规模的真实世界交互数据。Feel2Grasp数据集应运而生，它由LeRobot平台构建，专注于机械臂抓取任务，旨在为机器人灵巧操作提供多模态感知与动作序列的示范数据。该数据集收录了200个完整交互片段，包含超过五万帧的同步关节状态、多视角视觉观测及对应控制指令，其结构化设计为端到端策略学习与模型泛化能力评估奠定了坚实基础。

当前挑战

Feel2Grasp数据集致力于解决机器人抓取操作中的模仿学习挑战，其核心在于如何从多模态观测中提取有效特征以生成精确、鲁棒的动作序列。构建过程中面临诸多困难，包括真实环境下的数据采集同步性、多传感器数据对齐、以及大规模视频数据的高效压缩与存储。此外，确保动作指令与视觉观测在时序上的一致性，并维持数据集的多样性与任务覆盖度，亦是数据集构建的关键难点。

常用场景

经典使用场景

在机器人操作领域，Feel2Grasp数据集为模仿学习与强化学习算法的训练提供了丰富的多模态数据。该数据集通过记录机器人执行抓取任务时的关节位置、图像观测及时间戳，构建了从感知到动作的完整序列，使得研究者能够基于真实世界交互数据训练端到端的控制策略。其经典使用场景集中于机器人抓取任务的策略学习，通过分析前视、左视和右视三个角度的视频流，结合六自由度机械臂的动作轨迹，为模型提供了高维度的状态-动作对，从而优化抓取行为的准确性与鲁棒性。

衍生相关工作

围绕Feel2Grasp数据集，已衍生出一系列专注于机器人抓取与操作的前沿研究工作。这些工作主要集中于多模态模仿学习框架的构建，例如利用该数据集训练视觉-动作映射模型，以生成泛化性强的抓取策略。此外，部分研究借鉴其数据格式与结构，开发了新的基准测试方法，用于评估不同算法在复杂抓取任务上的性能。这些衍生工作不仅拓展了数据集的学术价值，还促进了机器人学习社区在真实世界数据驱动下的算法创新与比较。

数据集最近研究

最新研究方向

在机器人操作与感知领域，多模态数据集正成为推动智能体泛化能力的关键资源。Feel2Grasp数据集以其丰富的多视角视觉流与精确的关节状态记录，为模仿学习与强化学习算法提供了高质量的仿真到真实迁移基准。当前研究聚焦于利用此类数据训练端到端的抓取策略模型，探索视觉-动作映射的隐式表征学习，以应对复杂环境中的动态抓取任务。随着具身智能和通用机器人平台的兴起，该数据集在促进跨任务技能迁移、减少对精确环境建模的依赖方面展现出重要潜力，为机器人自主操作系统的实用化奠定了数据基础。