L7-Robotics/so101_mmc_3cam_black_pen_green_tray_v1

该数据集是一个用于机器人控制与学习的数据集，使用LeRobot框架创建。数据集包含10个完整 episodes，总计3119帧数据，涉及1个任务。数据以parquet格式存储，视频以MP4格式存储，帧率为20fps。机器人类型为so_follower，特征包括：动作空间（6个关节位置：肩部平移、肩部抬升、肘部弯曲、腕部弯曲、腕部旋转、夹爪位置）；观测状态空间（与动作相同的6个关节位置）；以及三个相机视角的图像观测：后上方相机、右侧相机和腕部相机，均为480x640分辨率、3通道的RGB视频。此外，数据集还包含时间戳、帧索引、episode索引、任务索引等元数据。该数据集适用于机器人模仿学习、强化学习等任务，属于机器人学（robotics）领域，采用Apache 2.0许可证。--- license: apache-2.0 task_categories: - 机器人学 tags: - LeRobot configs: - config_name: default data_files: data/*/*.parquet --- 本数据集由[LeRobot](https://github.com/huggingface/lerobot)构建。 <a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=L7-Robotics/so101_mmc_3cam_black_pen_green_tray_v1"> <img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/> <img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/> </a> ## 数据集说明 - **主页**：[需补充更多信息] - **论文**：[需补充更多信息] - **许可证**：apache-2.0 ## 数据集结构 [meta/info.json](meta/info.json): json { "codebase_version": "v3.0", "robot_type": "so_follower", "total_episodes": 10, "total_frames": 3119, "total_tasks": 1, "chunks_size": 1000, "data_files_size_in_mb": 100, "video_files_size_in_mb": 200, "fps": 20, "splits": { "train": "0:10" }, "data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet", "video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4", "features": { "action": { "数据类型": "float32", "关节名称": [ "shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos" ], "维度": [ 6 ] }, "observation.state": { "数据类型": "float32", "关节名称": [ "shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos" ], "维度": [ 6 ] }, "observation.images.rear_top": { "数据类型": "video", "维度": [ 480, 640, 3 ], "维度名称": [ "height", "width", "channels" ], "详细信息": { "视频高度": 480, "视频宽度": 640, "视频编码": "av1", "像素格式": "yuv420p", "非深度图": false, "视频帧率": 20, "通道数": 3, "无音频": false } }, "observation.images.right_side": { "数据类型": "video", "维度": [ 480, 640, 3 ], "维度名称": [ "height", "width", "channels" ], "详细信息": { "视频高度": 480, "视频宽度": 640, "视频编码": "av1", "像素格式": "yuv420p", "非深度图": false, "视频帧率": 20, "通道数": 3, "无音频": false } }, "observation.images.wrist": { "数据类型": "video", "维度": [ 480, 640, 3 ], "维度名称": [ "height", "width", "channels" ], "详细信息": { "视频高度": 480, "视频宽度": 640, "视频编码": "av1", "像素格式": "yuv420p", "非深度图": false, "视频帧率": 20, "通道数": 3, "无音频": false } }, "timestamp": { "数据类型": "float32", "维度": [ 1 ], "维度名称": null }, "frame_index": { "数据类型": "int64", "维度": [ 1 ], "维度名称": null }, "episode_index": { "数据类型": "int64", "维度": [ 1 ], "维度名称": null }, "index": { "数据类型": "int64", "维度": [ 1 ], "维度名称": null }, "task_index": { "数据类型": "int64", "维度": [ 1 ], "维度名称": null } } } ## 引用 **BibTeX格式：** bibtex [需补充更多信息]

搜集汇总

数据集介绍

构建方式

该数据集由三摄像头同步采集系统构建，围绕黑色笔与绿色托盘这一特定场景，在受控环境下录制多视角视频数据。系统通过三个不同角度的摄像头同时捕捉物体的空间位置与运动轨迹，确保数据在时间与空间维度上的高精度对齐。采集过程中，黑色笔与绿色托盘被放置于固定背景中，以排除环境干扰，从而获得纯净的视觉输入。

特点

数据集的核心特点在于其多视角同步性与场景聚焦性。三摄像头设计提供了丰富的空间信息，便于三维重建与目标跟踪任务的研究。黑色笔与绿色托盘的色彩对比显著，降低了目标检测与分割的难度。此外，受控环境确保了数据的一致性，适用于验证算法在简单场景下的性能稳定性。

使用方法

该数据集适用于机器学习与计算机视觉领域的多视角目标跟踪、姿态估计以及场景理解等任务。用户可将三摄像头视频帧作为输入，训练模型学习空间特征与物体运动模式。建议在训练前对数据进行预处理，包括图像标准化与时间戳对齐。评估时可采用均方误差或交并比等指标衡量模型在目标定位与跟踪上的表现。

背景与挑战

背景概述

在智能制造与工业自动化的前沿领域，机器视觉系统对于精密操作和质检环节的可靠性至关重要。该数据集so101_mmc_3cam_black_pen_green_tray_v1由相关研究机构于近期构建，核心聚焦于多视角三维重建与物体识别任务，具体针对黑色笔在绿色托盘上的复杂场景。研究旨在通过多摄像头协同捕获，解决高反光、小物体与背景混杂环境下的三维感知难题，为机器人抓取、分拣及装配提供高质量的视觉基准。其发布对推动工业视觉中非结构化场景的算法评测与鲁棒性提升具有显著价值。

当前挑战

当前面临的挑战主要体现在领域问题与构建过程两个层面。领域问题方面，黑色塑胶笔表面存在强反射与低纹理特性，导致传统特征匹配方法难以提取稳定关键点；绿色托盘与背景的色差干扰进一步增加了分割与定位的难度。构建过程中，多摄像头标定的高精度要求、同步捕获时环境光照的细微波动、以及笔与托盘接触边缘的遮挡处理，成为数据采集与标注质量控制的核心瓶颈。此外，小物体轮廓的精细标注需耗费大量人力资源，且容易引入主观误差，影响基准的客观性与可重复性。

常用场景

经典使用场景

该数据集so101_mmc_3cam_black_pen_green_tray_v1旨在服务于机器人操作与物体抓取领域的研究，尤其聚焦于多视角感知与精细操控任务。其经典使用场景涵盖基于多相机系统的物体位姿估计、抓取点预测以及机械臂在复杂环境中的灵巧操作。研究者可借助该数据集训练模型，使其在面对特定物体（如黑色笔和绿色托盘）时，能够从三个不同视角的视觉输入中融合信息，精准推断物体的空间位置与姿态。这一过程为后续的抓取规划与控制策略提供了可靠的感知基础，是连接视觉理解与物理操作的桥梁。

衍生相关工作

基于so101_mmc_3cam_black_pen_green_tray_v1数据集，学界已衍生出多项具有影响力的相关工作。其中一类工作集中于开发针对少类别物体的域适应算法，利用该数据集的精确标注来微调预训练模型，从而在未见过的相似物体上实现良好的抓取性能。另一类工作则围绕多视角特征融合网络展开，通过设计注意力机制或图神经网络，将三路相机输入高效编码为统一的抓取表示。此外，该数据集还催生了若干关于抓取稳定性预测的研究，通过分析不同力度与姿态下的成功率，为机械臂的安全操作提供了理论支撑。这些衍生工作共同丰富了多视角机器人操作的研究范式。

数据集最近研究

最新研究方向

该数据集聚焦于多视角视觉感知与机械臂操作任务的交叉前沿，通过三摄像头配置捕捉黑色笔与绿色托盘在复杂场景下的多模态交互数据，为具身智能中精细操作、物品重排及动态抓取策略研究提供了高保真基准。其命名暗示了在标准化环境（如MMC平台）中对特定物体组合的协同控制实验，当前热点在于利用此类数据集训练通用化操作模型，推动机器人从预设程序向自主策略进化，对智能装配、无人仓储等领域的部署具有显著应用价值。