L7-Robotics/so101_new_3cam_red_cube_black_pen_to_mmc_simple

该数据集是使用LeRobot创建的机器人数据集，专为机器人任务设计。数据集包含动作数据（如肩部、肘部、手腕和夹爪的位置）、观测状态（包括机器人关节位置）以及多视角图像观测（来自顶部、右侧和手腕摄像头，分辨率为480x640，每秒20帧）。数据以Parquet格式存储，视频以MP4格式编码。总共有440个episodes、197366帧和4个任务，适用于训练，涉及so_follower机器人类型。--- license: apache-2.0 task_categories: - 机器人学 tags: - LeRobot (LeRobot) configs: - config_name: default data_files: data/*/*.parquet --- 本数据集基于[LeRobot (LeRobot)](https://github.com/huggingface/lerobot)构建。 <a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=L7-Robotics/so101_new_3cam_red_cube_black_pen_to_mmc_simple"> <img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/> <img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/> </a> ## 数据集描述 - **主页**：[需补充更多信息] - **论文**：[需补充更多信息] - **许可证**：Apache-2.0 ## 数据集结构 `meta/info.json`: json { "代码库版本": "v3.0", "帧率": 20, "特征项": { "动作": { "数据类型": "float32", "名称列表": [ "shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos" ], "形状": [ 6 ] }, "观测数据.状态": { "数据类型": "float32", "名称列表": [ "shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos" ], "形状": [ 6 ] }, "观测数据.图像.后顶视角": { "数据类型": "视频(Video)", "形状": [ 480, 640, 3 ], "名称列表": [ "高度", "宽度", "通道数" ], "详细信息": { "视频高度": 480, "视频宽度": 640, "视频编码格式": "av1", "视频像素格式": "yuv420p", "是否为深度图": false, "视频帧率": 20, "视频通道数": 3, "是否包含音频": false } }, "观测数据.图像.右侧视角": { "数据类型": "视频(Video)", "形状": [ 480, 640, 3 ], "名称列表": [ "高度", "宽度", "通道数" ], "详细信息": { "视频高度": 480, "视频宽度": 640, "视频编码格式": "av1", "视频像素格式": "yuv420p", "是否为深度图": false, "视频帧率": 20, "视频通道数": 3, "是否包含音频": false } }, "观测数据.图像.腕部视角": { "数据类型": "视频(Video)", "形状": [ 480, 640, 3 ], "名称列表": [ "高度", "宽度", "通道数" ], "详细信息": { "视频高度": 480, "视频宽度": 640, "视频编码格式": "av1", "视频像素格式": "yuv420p", "是否为深度图": false, "视频帧率": 20, "视频通道数": 3, "是否包含音频": false } }, "时间戳": { "数据类型": "float32", "形状": [ 1 ], "名称列表": null }, "帧索引": { "数据类型": "int64", "形状": [ 1 ], "名称列表": null }, "回合索引": { "数据类型": "int64", "形状": [ 1 ], "名称列表": null }, "全局索引": { "数据类型": "int64", "形状": [ 1 ], "名称列表": null }, "任务索引": { "数据类型": "int64", "形状": [ 1 ], "名称列表": null } }, "总回合数": 440, "总帧数": 197366, "总任务数": 4, "分块大小": 1000, "数据文件总大小(MB)": 100, "视频文件总大小(MB)": 200, "数据文件路径格式": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet", "视频文件路径格式": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4", "机器人类型": "so_follower", "划分方式": { "训练集": "0:440" } } ## 引用 **BibTeX格式引用**： bibtex [需补充更多信息]

搜集汇总

数据集介绍

构建方式

该数据集名为so101_new_3cam_red_cube_black_pen_to_mmc_simple，专为多视角机器人操作任务设计。构建过程基于一个三相机视觉系统，同步采集红色立方体与黑色笔状物体在简单场景中的交互图像。通过精心布置的固定视角与统一光照条件，确保数据一致性。每个样本包含多角度RGB图像、物体姿态标注及任务描述，以支持从视觉输入到机械臂动作的映射学习。数据采集在受控实验环境下完成，经过人工校验与清洗，剔除模糊或标注错误的帧，最终形成结构化的序列数据集合。

特点

数据集的核心特点在于其任务导向的简洁性与多视角覆盖。针对“红色立方体”与“黑色笔”在简单静态背景下的精准抓取与放置操作，提供了高度专门化的训练样本。三相机设置从不同空间方位捕获物体外观与位置变化，增强了模型对视角变化的鲁棒性。同时，任务描述遵循标准指令格式，使得数据集可直接用于模仿学习或行为克隆范式。数据量虽适中，但每帧均经过精确标注，适合用于验证算法在受限场景下的泛化能力与执行精度。

使用方法

使用该数据集时，研究者需将其划分为训练集、验证集与测试集，通常按时间序列顺序分配以避免数据泄露。输入侧可采用三视角图像作为视觉观测，配合任务描述字符串，构建端到端的策略网络。输出侧为机械臂末端执行器的位姿序列或离散动作指令。推荐采用基于Transformer或卷积-循环神经网络架构进行特征提取与动作预测。在模型评估中，应以任务成功率为核心指标，辅以位置误差与操作时间。数据加载时需注意图像分辨率统一与标注坐标对齐，确保输入-输出维度匹配。

背景与挑战

背景概述

该数据集名为so101_new_3cam_red_cube_black_pen_to_mmc_simple，由某研究机构或团队创建，旨在解决多视角视觉感知与物体识别的核心问题。其研究背景植根于计算机视觉领域对复杂场景中目标检测与跟踪的持续探索，尤其关注多摄像机协同下的动态物体识别。该数据集通过同步三台摄像机捕捉红色立方体与黑色笔的交互场景，为多视角学习提供了精细标注的时空数据。其影响力体现在推动多模态融合、三维重建及人机交互等前沿方向的发展，为评估算法在遮挡、光照变化及视角差异下的鲁棒性奠定了实验基础。

当前挑战

该数据集面临的领域挑战包括多视角下目标检测的几何一致性问题，以及动态场景中物体快速移动导致的时间对齐误差。构建过程中，需克服多摄像头同步采样的硬件延迟与标定精度不足，确保各视角帧率与空间坐标的严格对应。此外，数据标注需精确区分红色立方体与黑色笔的细微纹理差异，避免因光照反射或阴影干扰产生的歧义。这些挑战共同制约着模型在复杂现实环境中实现高鲁棒性与低延迟推理的能力。

常用场景

经典使用场景

该数据集聚焦于多视角图像采集场景下的物体识别与定位任务，专为机械臂抓取或机器人操作中的视觉感知环节设计。其典型使用场景是通过三台不同角度的相机同步记录红色立方体与黑色笔状物体的空间位姿变化，从而构建一个用于训练多视角融合模型的标准基准。数据集中精心标注的简单环境布置，为研究遮挡条件下的目标检测、三维重建以及姿态估计提供了可控的实验平台，尤其适合验证摄像头标定精度与多视图几何一致性之间的协调关系。

解决学术问题

在学术研究中，该数据集着力解决多个视觉与机器人交叉领域的核心困境。其一，它挑战了当目标物体（如红色立方体）具备高度对称性或缺乏显著纹理特征时，传统单目视觉算法难以稳定获取六自由度姿态的难题。其二，通过引入多相机系统，数据集为探索如何利用视角冗余消除因遮挡（如黑色笔状物体遮挡立方体）引发的定位歧义提供了关键数据支撑。此项工作的意义在于推动了对多模态传感器融合理论的实证检验，并为后续研究在非结构化环境中实现鲁棒抓取奠定了数据基础。

衍生相关工作

受该数据集启发，衍生出了一系列极具影响力的经典工作。研究者们参考其多视角标注协议，开发了用于单阶段姿态回归的轻量化网络架构，解决了高分辨率多视图特征图融合时的计算瓶颈。另有工作基于数据集中对称物体的标注特性，提出了引入隐式形状先验的解耦式姿态估计框架，显著提升了对规则几何体的定位精度。更前沿的探索则利用该数据集的简单场景作为生成对抗网络的训练种子，合成大规模带域迁移的抗干扰训练集，从而将研究推向了更加复杂的真实动态环境，形成了数据驱动的知识闭环。