遇见数据集

scale_grasp_release_v1

收藏
Hugging Face2026-08-22 更新2026-08-23 收录
官方服务:

资源简介:

该数据集是一个用于机器人操作的录制数据集,由 LeRobot 框架创建,遵循 Apache-2.0 许可证。数据包含了机器人执行抓取与释放任务的多模态观察与动作记录。具体而言,数据集包含 46 个 episode,共 76,461 帧,帧率为 30 fps。每条记录包括:6 维动作向量(肩部旋转、肩部升降、肘部弯曲、腕部弯曲、腕部滚动、夹爪位置),6 维机器人状态观测值(与动作维度对应),以及来自腕部和顶部两个相机的 480×640 像素 RGB 视频(AV1 编码,30 fps)。此外,还包含时间戳、帧索引、episode 索引等元数据。该数据集适用于机器人模仿学习、行为克隆、操作技能学习等任务。

This dataset is a recorded dataset for robot manipulation, created by the LeRobot framework and licensed under Apache-2.0. It contains multimodal observations and action records of a robot performing grasping and releasing tasks. Specifically, the dataset includes 46 episodes with a total of 76,461 frames at 30 fps. Each record comprises: a 6-dimensional action vector (shoulder rotation, shoulder lift, elbow bend, wrist bend, wrist roll, gripper position), a 6-dimensional robot state observation (corresponding to the action dimensions), and 480×640 pixel RGB video from two cameras (wrist and top) encoded with AV1 at 30 fps. Additionally, metadata such as timestamps, frame indices, and episode indices are included. This dataset is suitable for tasks such as robot imitation learning, behavior cloning, and manipulation skill learning.

创建时间:
2026-08-10
原始信息汇总

数据集概述

scale_grasp_release_v1 是一个用于机器人操控任务的视觉-运动数据集,旨在支持基于模仿学习的机器人技能获取与研究。

基本信息

  • 许可证: Apache-2.0
  • 任务类型: 机器人学(robotics)
  • 创建工具: 使用 LeRobot 框架生成
  • 机器人类型: so_follower(一种六自由度机械臂,配有夹爪)

数据规模

  • 总回合数(Episodes): 46
  • 总帧数: 76,461
  • 总任务数: 1
  • 帧率: 30 FPS
  • 数据文件大小: 约 100 MB(Parquet 格式)
  • 视频文件大小: 约 200 MB(MP4 格式)
  • 数据划分: 训练集包含全部 46 个回合(train: 0:46)

数据特征

每条记录包含以下特征:

  • 动作(action): 6 维浮点数组,对应机械臂关节位置(肩部、肘部、腕部)和夹爪位置
  • 观察状态(observation.state): 与动作维度相同的 6 维浮点数组,表示当前关节状态
  • 观察图像(observation.images):
    • wrist: 腕部摄像头图像,分辨率 480×640,RGB 三通道
    • top: 顶部摄像头图像,分辨率 480×640,RGB 三通道
    • 图像以 AV1 编码的视频格式存储,帧率 30 FPS
  • 时间戳(timestamp): 浮点数,记录时间信息
  • 帧索引(frame_index): 整数
  • 回合索引(episode_index): 整数
  • 索引(index): 整数
  • 任务索引(task_index): 整数

数据存储格式

  • 元数据: 存储于 meta/info.json
  • 数据文件: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
  • 视频文件: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

其他说明

  • 数据集页面提供了可视化工具,可直接在 Hugging Face Spaces 中预览数据。
  • 尚未提供论文引用信息(BibTeX 待补充)。
搜集汇总
数据集介绍
scale_grasp_release_v1 数据集图片
构建方式
该数据集依托LeRobot框架构建,面向机器人抓取与释放任务,采用SO-Follower机械臂采集操作轨迹。数据采集过程以30帧每秒的频率同步记录六自由度关节位置指令与状态,涵盖肩部旋转、肩部升降、肘部弯曲、腕部弯曲、腕部旋转及夹爪开合等维度。每幕操作均配有腕部与顶部两路视角视频,以AV1编码存储,分辨率达480×640。数据经标准化清洗与分块后,以Parquet格式列式保存,共包含46幕、76461帧,训练集划分覆盖全部幕次。
使用方法
使用者可借助LeRobot工具链直接加载该数据集,通过解析meta/info.json获取特征定义与文件路径,按chunk索引读取Parquet数据文件及对应视频。训练时可提取observation.state与action序列构建行为克隆或强化学习策略,同时利用observation.images.wrist和observation.images.top进行视觉编码。数据集已预设训练集划分,可直接用于模型训练与验证。借助Hugging Face Spaces提供的可视化工具,用户能在线回放各幕操作轨迹,辅助调试与策略评估。
背景与挑战
背景概述
在机器人学习领域,高质量的真实世界操作数据是推动算法进步的核心资源。scale_grasp_release_v1数据集依托LeRobot框架构建,聚焦于机器人抓取与释放这一基础操作任务,采用so_follower机械臂采集了46个回合、逾7.6万帧的多模态数据,涵盖关节位置、动作指令以及腕部与顶部双视角视频流。该数据集旨在为视觉-语言-动作模型、模仿学习及端到端策略学习提供标准化的训练与评估基准,其开源特性促进了机器人操作研究的可复现性与社区协作,对具身智能领域的数据驱动方法发展具有积极意义。
当前挑战
该数据集所服务的核心领域问题为机器人精细抓取与释放操作,其挑战在于真实环境中物体位姿的多样性、光照条件变化以及机械臂运动学约束带来的策略泛化难题。在构建过程中,面临多模态数据同步采集的精度要求,需确保双视角视频与关节状态在30帧每秒下严格对齐;同时,真实机器人操作存在执行误差与任务失败风险,数据质量与一致性控制成为关键。此外,仅含单一任务类型限制了模型对复杂操作序列的泛化能力,如何从有限任务中提炼可迁移的操作表征仍是待解难题。
常用场景
经典使用场景
在机器人学习与具身智能研究领域,基于视觉示教的操作策略习得始终是核心议题。scale_grasp_release_v1数据集依托LeRobot框架构建,以SO follower机械臂为载体,采集了四十六段共计七万六千余帧的抓取与释放任务示范,同步记录六自由度关节位置、夹爪开合状态及腕部与顶部双视角视频流。其最典型的使用场景在于模仿学习与视觉-动作联合建模:研究者可借助行为克隆方法,将高维视觉观测映射至连续动作空间,训练机械臂在指定位置完成物体的稳定抓取与精准放置,进而评估策略的泛化能力与鲁棒性。
解决学术问题
该数据集直面机器人操作研究中长期存在的示范数据稀缺与多模态对齐难题。以往学术工作常受限于单视角观测或动作维度不足,难以有效捕捉抓取过程中手眼协调的细粒度动态。scale_grasp_release_v1通过双视角视频与完整关节状态的同步采样,为视觉-运动策略学习、跨模态表征对齐以及示教轨迹的时序建模提供了高质量基准,有助于缓解仿真到现实迁移中的域差异问题,推动数据驱动型操作策略的可复现研究。
实际应用
在实际应用层面,该数据集可服务于仓储物流中的自动分拣、生产线上的物料抓取与放置,以及服务机器人对日常物品的操控等场景。基于其训练的策略能够驱动机器人在非结构化环境中识别目标物体并执行抓放动作,亦可作为预训练资源迁移至其他机械臂平台或任务变体,降低真实部署中对大量人工示教的依赖,提升自动化系统的适应性与部署效率。
数据集最近研究
最新研究方向
在机器人学习领域,面向真实世界复杂操作任务的数据集构建与策略泛化正成为前沿焦点。scale_grasp_release_v1数据集依托LeRobot框架,以30Hz同步采集六自由度机械臂的关节位置与腕部、顶部双视角视频,涵盖46个回合、76461帧的抓取与释放操作,为视觉-动作联合建模提供了细粒度多模态信号。当前研究趋势侧重于利用此类数据集探索模仿学习与视觉表征的融合,以提升机械臂在非结构化环境中的抓取鲁棒性与任务泛化能力,尤其关注从有限演示中提取可迁移的时空特征。该数据集对推动低成本开源硬件上的端到端操作策略研究具有积极意义,并为社区基准测试与算法对比提供了可复现的资源。
以上内容由遇见数据集搜集并总结生成
二维码
社区交流群
二维码
科研交流群
商业服务