遇见数据集

so101_cup_bluecircle_1task

收藏
Hugging Face2026-07-21 更新2026-07-22 收录
官方服务:

资源简介:

so101_cup_bluecircle_1task是一个机器人遥操作示教数据集,专注于杯子重新定位任务。该数据集包含50个完整的操作片段,共计19,138帧(30fps),每个片段平均时长12.8秒。任务定义为“拾取蓝色圆圈附近的杯子并将其放置到蓝色圆圈上”,属于一个更大咖啡制作机器人项目中的基础操作单元。数据采集使用SO-101从手机械臂,通过另一台SO-101主手机械臂进行遥操作。传感器配置包括两个固定摄像头:一个提供工作空间俯视图的“front”相机,另一个安装在夹爪上的“wrist”相机,分辨率均为640×480。场景中蓝色圆圈固定在桌面上,杯子是唯一在每次任务中改变位置的物体。数据集特意设计了杯子起始位置的多样性——分布在蓝色圆圈周围大致八个方向的近距离位置,但排除了远距离放置,旨在为下游实验(如故障检测)保留受控的分布外条件。每个片段遵循严格的记录协议:起始1秒静止期(便于自动标注位移)、单次抓取、转移、释放(杯子完全接触桌面后)、结束1秒静止期(提供成功状态的真值)。数据格式为LeRobotDataset v3.0,使用LeRobot v0.4.4工具链记录。该数据集适用于机器人模仿学习、策略训练、视觉运动控制等任务,尤其适合研究近距离操作泛化与分布外检测。局限性包括:单一操作员/会话、恒定光照、任务指令完全一致、关节值为校准度数而非原始电机读数。

so101_cup_bluecircle_1task is a robot teleoperation demonstration dataset focused on cup repositioning tasks. It contains 50 complete operation episodes, totaling 19,138 frames (30fps), with an average duration of 12.8 seconds per episode. The task is defined as pick up the cup near the blue circle and place it on the blue circle, serving as a basic operational unit within a larger coffee-making robot project. Data collection uses an SO-101 slave robotic arm via teleoperation with another SO-101 master robotic arm. The sensor setup includes two fixed cameras: a front camera providing a top-down view of the workspace and a wrist camera mounted on the gripper, both with a resolution of 640×480. In the scene, the blue circle is fixed on the table, and the cup is the only object whose position changes in each task. The dataset intentionally designs diversity in the cups starting positions—distributed in close proximity around the blue circle in roughly eight directions, but excluding distant placements, aiming to preserve controlled out-of-distribution conditions for downstream experiments (e.g., failure detection). Each episode follows a strict recording protocol: a 1-second initial static period (for automatic displacement annotation), a single grasp, transfer, release (after the cup fully contacts the table), and a 1-second final static period (providing ground truth for success status). The data format is LeRobotDataset v3.0, recorded using the LeRobot v0.4.4 toolchain. This dataset is suitable for tasks such as robot imitation learning, policy training, and visual-motor control, particularly for studying close-range operation generalization and out-of-distribution detection. Limitations include: a single operator/session, constant lighting, identical task instructions, and joint values being calibrated degrees rather than raw motor readings.

创建时间:
2026-07-16
原始信息汇总

数据集概述

  • 数据集名称: so101_cup_bluecircle_1task
  • 许可证: Apache-2.0
  • 任务类别: 机器人学 (Robotics)
  • 标签: LeRobot, SO-101, 机器人学

任务描述

该数据集包含 50 个遥控操作演示,针对以下任务:

"拿起蓝色圆圈附近的杯子,并将其放到蓝色圆圈上"

该数据集是一个更大的咖啡制作机器人项目的一部分,任务是 杯子重新放置的基本操作,在项目的实际工作空间中录制。

数据集规模与格式

属性
演示片段 / 帧数 50 / 19,138 @ 30 fps
片段时长 10.2 – 16.6 秒 (平均 12.8 秒)
摄像头 front (固定俯视视角), wrist (夹爪安装) — 分辨率均为 640×480
机器人 SO-101 从臂,通过 SO-101 主臂遥控操作
录制工具 LeRobot v0.4.4 CLI,在 Apple Silicon MacBook 上完成
数据格式 LeRobotDataset v3.0

场景几何与布局

  • 两个固定摄像头:录制期间位置不变,像素坐标在所有片段中保持一致。
  • 蓝色圆圈:固定在工作台上。
  • 杯子:是唯一在不同片段之间移动的物体。
  • 背景咖啡机:是上级项目的部署背景,每帧中保持不变。

放置设计

  • 杯子起始位置:在每个片段中不同,分布在蓝色圆圈周围约八个方向,距离变但范围较近,旨在实现方向多样性。
  • 刻意排除了远距离放置:该范围作为受控的分布外条件保留,用于下游实验(如失败检测)。

录制协议

每个片段遵循相同的协议:

  1. 固定起始姿态,夹爪张开。
  2. 开头静置 1 秒:第 0 帧提供杯子起始位置的清晰视图,便于自动标注位移。
  3. 接近 → 单次抓取 (在半高处,无重新抓取) → 抬起 → 移动。
  4. 仅在杯子与台面完全接触后才释放,然后后退并退回。
  5. 结尾静置 1 秒:最终静止的一秒作为成功状态的真实标签。

使用示例

python from lerobot.datasets.lerobot_dataset import LeRobotDataset

ds = LeRobotDataset("nevertmr/so101_cup_bluecircle_1task") print(ds.num_episodes, ds.num_frames)

版本与补充数据集

局限性

  • 单操作员、单次录制会话,照明条件恒定。
  • 所有帧中的任务指令完全一致。
  • 关节值为校准后的度数,非原始电机刻度。
搜集汇总
数据集介绍
so101_cup_bluecircle_1task 数据集图片
构建方式
该数据集基于SO-101机械臂平台,通过遥操作方式采集了50条演示轨迹,用于执行“拾取蓝色圆圈附近的杯子并将其放置到蓝色圆圈”这一精细任务。每条轨迹均由操作员操控主臂引导从臂完成,且严格遵循固定协议:起始姿态保持一秒静止以确保初始状态可自动标注,随后执行单次抓取与转移,最终在杯子完全接触桌面后松开并后退一秒作为成功基准。数据采集全程使用LeRobot框架v0.4.4版本,在Apple Silicon MacBook上完成,所有失误或重抓的片段均当场重录而非后期修补,保障了数据的一致性与可靠性。
特点
数据集包含50个片段、共19,138帧图像,以30帧每秒的采样率记录,每个片段时长介于10.2至16.6秒之间。其独特之处在于场景几何结构固定——两台相机(前视顶向下与腕部安装)位置从未改变,且蓝色圆圈固定于桌面,仅杯子在片段间移动,从而确保像素坐标跨片段一致。起始位置覆盖圆圈周围约八个方向的不同近距离范围,刻意排除了远距离放置,将其留作分布外测试条件,便于下游实验评估模型的泛化边界。
使用方法
数据集以LeRobotDataset v3.0格式存储,可通过LeRobot库直接加载。用户只需调用`LeRobotDataset("nevertmr/so101_cup_bluecircle_1task")`即可创建数据集实例,并访问其片段数量与帧数等元信息。由于数据中包含固定的前视与腕部相机图像、关节角度校准值及任务指令,研究人员可将其用于训练模仿学习模型,或结合配套的20个变化更大的放置位置的变体数据集(`nevertmr/so101_cup_bluecircle_1task_var`)进行对比实验,以评估模型在分布外条件下的表现。
背景与挑战
背景概述
so101_cup_bluecircle_1task数据集由研究团队于2026年7月发布,依托LeRobot框架构建,旨在为机器人操作技能学习提供精细化演示数据。该数据集聚焦于SO-101机械臂的“拾取并放置杯子至蓝色圆圈”这一基础任务,记录于真实的咖啡制作场景中,背景中的咖啡机被有意保留以维持部署环境的原真性。通过50段遥操作演示,数据集为模仿学习与策略泛化研究提供了高一致性的基准,尤其关注近距离放置的多样性,而将远距离情形作为分布外测试条件,体现出对实验设计的深思熟虑。该工作对机器人操作领域中数据采集标准化与任务分解方法论具有重要推动作用。
当前挑战
当前数据集面临的核心挑战在于如何有效应对分布偏移与构建复杂性。领域挑战表现为策略在远距离放置场景下的性能退化,由于数据仅涵盖近距离起始位置,模型对分布外条件缺乏鲁棒性,亟需引入域适应或数据增强方法以提升泛化能力。构建过程中,单一操作员与恒定光照条件限制了数据多样性,固定摄像机位置虽确保空间一致性却削弱了视角鲁棒性。此外,严格的重录协议虽保证了演示质量,但大幅增加了采集时间成本与人工干预需求,使得大规模扩展面临效率瓶颈。
常用场景
经典使用场景
在机器人学习与模仿学领域,数据集'SO-101 cup repositioning'的核心用途是作为运动原语(motor primitive)的训练素材,用于学习基于视觉反馈的杯具拾取与放置操作。该数据集包含了50段通过遥操作采集的演示轨迹,在固定的视角与工作空间内,执行从任意起始位置拾取杯子并将其精确放到蓝色圆形区域内的任务。其场景设计精巧,刻意排除了远端放置以作为分布外测试条件,使其成为验证行为克隆、隐式策略学习及鲁棒性评估的理想基准。每段轨迹均以固定起始静止与结束静止段标注,确保了状态边界清晰,便于模型学习初始观察与终端成功状态之间的映射关系。
衍生相关工作
该数据集衍生了一系列重要的学术工作方向,最直接的是基于LeRobot框架的策略学习基准测试,研究者可以利用其标准化的50段演示数据训练行为克隆或扩散策略模型。一个关键拓展是该数据集作者同时发布了含有20段额外多样化放置轨迹的变体数据集(so101_cup_bluecircle_1task_var),其中蓝色圆环位置也发生变化,这启发了关于观察噪声与区域标注依赖的研究。此外,数据集的设计迫使下游研究者关注分布外检测,催生了针对操作失败预测的迁移学习工作。围绕SO-101机械臂平台的遥操作数据记录协议也成为社区参考标准,推动了低成本机械臂精细数据收集方案的普及,使更多实验室能够复现并扩展基于原语的机器人学习实验。
数据集最近研究
最新研究方向
该数据集聚焦于机器人操作中的精细杯子重定位任务,服务于更广泛的咖啡制作机器人项目。其核心前沿方向在于通过遥操作演示数据,训练机器人学习从任意起始位置拾取杯子并精准放置于蓝色圆圈的语义化操作策略。数据集精心设计了分布内(近距离)与分布外(远距离)的放置条件,为研究操作策略的泛化边界与失败检测提供了可控基准。结合配套的变体数据集,可进一步探索目标位置动态变化下的鲁棒性。这一工作在具身智能领域具有典型意义,推动了从固定环境到动态场景、从单一任务到复杂操作流水线的策略学习范式演进。
以上内容由遇见数据集搜集并总结生成
二维码
社区交流群
二维码
科研交流群
商业服务