遇见数据集

so101_cup_bluecircle_1task_var

收藏
Hugging Face2026-07-21 更新2026-07-22 收录
官方服务:

资源简介:

so101_cup_bluecircle_1task_var 是一个机器人操作演示数据集,作为主数据集 so101_cup_bluecircle_1task 的伴随集,专门用于增加任务场景的多样性。该数据集的核心任务定义为“拾取蓝色圆圈附近的杯子,并将杯子放置到蓝色圆圈上”。数据集包含20条人工遥操作演示剧集,总计6,884帧图像(录制帧率为30 fps),平均每条剧集时长约11.5秒(范围10.1–17.1秒)。与主数据集相比,本数据集的关键特点是起始布局具有更高的变异性:杯子的起始位置分布更广,并且蓝色圆圈(目标位置)在部分剧集中也会移动(在10条剧集中偏离其通常的固定位置),这打破了目标位置在图像空间固定的假设,有助于训练更具泛化能力的模型。数据采集使用了两台摄像头:一台固定的俯视相机(`front`)和一台腕部相机(`wrist`),分辨率均为640×480。数据集采用LeRobotDataset v3.0格式创建,使用LeRobot库的v0.4.4版本命令行工具在Apple Silicon MacBook上录制。该数据集适用于机器人模仿学习、策略学习等任务,尤其适合研究在目标物体和初始物体位置均发生变化的条件下的操作技能泛化。

The so101_cup_bluecircle_1task_var is a robotic manipulation demonstration dataset, serving as a companion set to the primary dataset so101_cup_bluecircle_1task, specifically designed to enhance the diversity of task scenarios. The core task defined in this dataset is: "Pick up the cup near the blue circle and place the cup onto the blue circle". This dataset contains 20 manually teleoperated demonstration episodes, with a total of 6,884 image frames (recorded at 30 fps). The average duration of each episode is approximately 11.5 seconds, ranging from 10.1 to 17.1 seconds. Compared with the primary dataset, the key feature of this dataset is its higher variability in initial layouts: the initial positions of the cup are more widely distributed, and the blue circle (target position) also shifts in some episodes (10 episodes deviate from its usual fixed position). This breaks the assumption that the target position is fixed in image space, which helps train models with stronger generalization capabilities. Two cameras were used for data collection: a fixed overhead camera (`front`) and a wrist-mounted camera (`wrist`), both with a resolution of 640×480. The dataset was created in the LeRobotDataset v3.0 format, and recorded on an Apple Silicon MacBook using the command-line tool of the LeRobot library v0.4.4. This dataset is applicable to tasks such as robotic imitation learning and policy learning, and is particularly suitable for researching the generalization of manipulation skills under conditions where both the target object and the initial position of the object change.

创建时间:
2026-07-16
原始信息汇总

数据集概述:so101_cup_bluecircle_1task_var

该数据集是一个针对“拿起杯子并放到蓝色圆圈”这一机器人操作任务的20段变体演示数据,作为主数据集 nevertmr/so101_cup_bluecircle_1task 的补充。

  • 任务描述: "pick up the cup near the blue circle and place the cup to the blue circle"(拿起蓝色圆圈附近的杯子,并将杯子放到蓝色圆圈上)。
  • 数据规模: 20个片段(episodes),共6,884帧,帧率为30 fps。片段时长范围为10.1秒至17.1秒(平均11.5秒)。
  • 传感器: 两个摄像头:front(固定俯视)和 wrist(手腕视角),分辨率均为640×480。
  • 记录工具: 官方 LeRobot v0.4.4 CLI,运行于 Apple Silicon MacBook。
  • 数据格式: LeRobotDataset v3.0。
  • 许可证: Apache-2.0。
  • 标签: robotics, LeRobot, so101。

与主数据集的差异

相较于主数据集 nevertmr/so101_cup_bluecircle_1task,本数据集的主要变化在于起始布局的多样性:

  1. 杯子起始位置更分散: 杯子的初始位置比主数据集中的近距离范围分布更广。
  2. 目标(蓝色圆圈)位置会移动: 在20个片段中,有10个片段的蓝色圆圈不在其通常的胶带固定位置。例如,在第12个片段中,圆圈被放在了最左侧,靠近第一个咖啡机的位置。主数据集中圆圈从未移动。

起始布局展示

  • 布局总览图: 展示了全部20个片段的杯子(红点)和圆圈(蓝点)起始位置分布。
  • 逐片段起始帧: 展示了编号为0至19的每个片段的起始帧画面。

使用方式

可以通过 LeRobot 库加载该数据集: python from lerobot.datasets.lerobot_dataset import LeRobotDataset

ds = LeRobotDataset("nevertmr/so101_cup_bluecircle_1task_var")

搜集汇总
数据集介绍
so101_cup_bluecircle_1task_var 数据集图片
构建方式
该数据集是配套于主数据集“so101_cup_bluecircle_1task”的扩展集,旨在补充20条额外的遥操作演示数据。构建上引入了更为多样的起始布局:杯子的初始位置被分布到更广阔的区域,且蓝色圆圈目标位置在20个片段中有10个偏离了原有的固定锚点,甚至在第12个片段中被放置在左侧咖啡机附近。所有数据均遵循与主数据集相同的记录协议,使用LeRobot v0.4.4官方命令行界面,在Apple Silicon MacBook上以30帧/秒的速率采集,最终以LeRobotDataset v3.0格式存储为Parquet文件,保证了与主数据集的兼容性和延续性。
特点
该数据集的核心特点在于其刻意引入的变异性。与主数据集中蓝色圆圈始终固定、杯子仅在近距离内变化不同,本数据集中的杯子起始位置大幅扩散,且蓝色圆圈也实现了跨片段移动,从而打破了像素空间中目标位置不变的前提假设。这种设计使得模型在训练时能够接触到更丰富的场景扰动,提升了对物体初始位置随机性及目标位置漂移的鲁棒性。数据集的20个片段共计6884帧,平均片段长度约11.5秒,提供前视固定俯视相机和腕部相机两种640×480分辨率的视觉输入,充分覆盖了操作过程中的多视角信息。
使用方法
使用者可以通过加载LeRobot库中的LeRobotDataset类来直接调用该数据集,示例代码为“ds = LeRobotDataset('nevertmr/so101_cup_bluecircle_1task_var')”。数据集中每一帧均包含机器人状态、动作指令及相机图像,便于直接用于模仿学习或强化学习策略的训练。由于本数据集并非单一任务场景的复现,而是引入了更多样化的初始条件,建议在训练策略时与主数据集结合使用,以增强模型对环境中不确定性的适应能力。用户也可利用HuggingFace Spaces上的可视化工具预览数据集内容,快速了解其结构与变化范围。
背景与挑战
背景概述
该数据集由研究人员nevertmr创建,于2024年发布,专注于机器人操作任务的学习。核心研究问题是如何在具有空间变化的环境下,实现机器人的鲁棒抓取与放置操作。具体任务为“拾取蓝色圆圈附近的杯子并将其放置在蓝色圆圈上”,数据集提供了20个额外的遥操作演示,其中杯子的起始位置和蓝色圆圈的目标位置均发生显著变化,以测试模型在非固定初始条件下的泛化能力。该数据集作为so101_cup_bluecircle_1task的补充集,丰富了机器人学习领域的多模态数据资源,尤其为推动从感知到控制的端到端学习方法提供了重要支撑。
当前挑战
该数据集解决的领域核心挑战是机器人操作任务在空间布局变化下的泛化问题。传统数据集常假设目标位置固定,导致模型在真实场景中因目标偏移而失效。本数据集通过动态调整杯子起始位置与蓝色圆圈的目标位置,迫使算法学习基于空间关系的策略而非记忆固定像素坐标。构建过程中面临的挑战包括:需要精确记录20个不同布局的遥操作演示,确保每个样本的摄像机视角、动作序列与场景一致性;同时,因蓝色圆圈位置频繁移动,需克服视觉特征提取中的目标识别模糊性与背景干扰,最终形成高质量的6,884帧训练数据以支持鲁棒学习。
常用场景
经典使用场景
so101_cup_bluecircle_1task_var数据集专为机器人操控任务中的空间泛化能力研究而设计,其经典使用场景聚焦于“拾取并放置”操作。在该场景中,机器人需通过视觉感知,将位于随机初始位置的杯子准确拾取并放置到动态变化的蓝色圆形目标区域。由于杯子和目标圆环的位置均在每集演示中发生显著变化,数据集特别适用于评估和训练机器人策略在面对布局扰动时的鲁棒性与适应性。研究者可借助该多视角视频与动作记录,构建端到端的模仿学习或强化学习模型,测试模型在非固定空间配置下的决策能力,从而深入探索机器人对几何变动的泛化机理。
衍生相关工作
本数据集作为so101_cup_bluecircle_1task主数据集的变体,其设计理念衍生出多项关于空间变异性机器人学习的重要工作。LeRobot社区基于此数据开发了用于评估视觉运动策略泛化能力的基准测试,通过对比模型在主数据集与变异数据集上的性能差异,揭示策略对目标位置变化的脆弱性。此外,研究者采用该数据训练了带注意力机制的隐式行为克隆模型,显著提升了对动态布局的适应性。数据集还催生了相关迁移学习研究,探索如何利用少量多样化示范数据快速微调预训练策略,为机器人领域的数据高效学习提供了新思路。
数据集最近研究
最新研究方向
在机器人操作领域,so101_cup_bluecircle_1task_var数据集通过引入目标位置与物体初始布局的双重随机性,推动了模仿学习在非结构化环境中的泛化能力研究。相较于传统固定场景的数据集,该变体集的20条遥操作演示刻意扩展了杯子起始范围并动态移动蓝色圆形目标区域,模拟了真实厨房场景中目标位置与物体摆放的不可预知性。这一设计直面机器人技能迁移中的关键瓶颈——当视觉锚点发生偏移时,策略网络如何保持任务执行的鲁棒性。结合LeRobot生态的标准化格式,该数据集为端到端模仿学习与隐式行为克隆等前沿方法提供了基准测试平台,其布局可视化分析更揭示了像素空间局部最优假象的潜在陷阱,对提升机器人从演示中学习的基础设施具有重要意义。
以上内容由遇见数据集搜集并总结生成
二维码
社区交流群
二维码
科研交流群
商业服务