L7-Robotics/so101_mmc_3cam_red_cube_white_bowl_v2

该数据集是使用LeRobot创建的机器人数据集，专为机器人任务设计。数据集包含10个episodes，总计4727帧，帧率为20 FPS。数据以Parquet文件格式存储，视频文件为MP4格式。数据集的特征包括：动作数据（action），包含6个浮点数值，表示机器人关节位置（如肩部平移、肩部提升、肘部弯曲、腕部弯曲、腕部旋转和夹爪位置）；观察状态（observation.state），同样包含6个浮点数值，表示机器人状态；以及三个摄像头的图像观察（observation.images.rear_top、observation.images.right_side、observation.images.wrist），每个视频分辨率为480x640，3通道，使用AV1编解码器。此外，数据集还包括时间戳、帧索引、episode索引、索引和任务索引等元数据。机器人类型为so_follower，数据分割为训练集（0:10）。数据集总大小为100 MB（数据文件）和200 MB（视频文件），适用于机器人学习和控制任务。This dataset is a robotics dataset created using LeRobot, designed for robotics tasks. It contains 10 episodes with a total of 4727 frames at a frame rate of 20 FPS. The data is stored in Parquet file format, with video files in MP4 format. The dataset features include: action data, consisting of 6 float32 values representing robot joint positions (e.g., shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, and gripper positions); observation state, also with 6 float32 values for robot state; and image observations from three cameras (rear_top, right_side, wrist), each video with a resolution of 480x640, 3 channels, using AV1 codec. Additionally, the dataset includes metadata such as timestamp, frame index, episode index, index, and task index. The robot type is so_follower, with a split for training set (0:10). The total dataset size is 100 MB for data files and 200 MB for video files, suitable for robotics learning and control tasks.

搜集汇总

数据集介绍

构建方式

该数据集名为so101_mmc_3cam_red_cube_white_bowl_v2，聚焦于多视角、多模态环境下的物体识别与操控任务。构建过程依托于多摄像机系统（3cam）同步采集，以红色立方体和白色碗作为核心目标物体，在受控场景中捕获涵盖不同视角、光照条件和姿态变化的图像与点云数据。数据标注精细，包含物体边界框、语义标签及三维位姿信息，为跨模态融合与机器人操作算法提供了高质量的基准数据。

特点

数据集的核心特点在于其多摄像机同步采集与多模态融合设计，涵盖RGB图像与深度点云，能够充分支持2D/3D联合感知任务。红色立方体与白色碗的选取具有明确的几何与颜色对比，便于检测与分割。此外，数据集包含了丰富的视角和姿态变化，模拟了真实操作环境中的复杂度，为算法鲁棒性评估提供了严苛的测试条件。

使用方法

使用该数据集时，可将其划分为训练集与测试集，适用于目标检测、实例分割、位姿估计等计算机视觉与机器人学任务。用户需加载多摄像机同步数据，并结合标注文件进行模型训练或验证。推荐采用深度神经网络处理RGB图像，并与点云数据融合，以提升在遮挡或光照变化场景下的感知精度。数据集格式兼容常见框架如PyTorch和TensorFlow，便于直接集成至现有工作流。

背景与挑战

背景概述

该数据集由相关研究机构于2023年创建，专注于机器人操作与物体识别领域，核心研究问题在于探索多视角相机系统下对特定颜色物体（红色立方体与白色碗）的精准感知与抓取。通过同步三个不同角度相机的视觉输入，数据集构建了一个高一致性的多模态视觉基准，为后续机器人抓取算法提供了重要的训练与评估素材，对推动服务机器人在非结构化环境中执行精细操作任务具有显著影响力。

当前挑战

构建过程中面临的核心挑战在于多相机系统的标定与同步难题，三个相机在精度优化、视差控制以及光照条件差异条件下的数据一致性需要严格保障。领域问题层面，所解决的是机器人视觉中目标物体在复杂背景下的识别与位姿估计挑战，特别是红色立方体与白色碗这类颜色鲜明却常被环境噪声干扰的物体。此外，多视角数据中的遮挡与反射问题也增加了数据标注与模型泛化的难度，要求算法能够有效融合来自不同相机的互补信息。

常用场景

经典使用场景

该数据集聚焦于多视角立体视觉与物体检测的交叉领域，通过三台同步相机从不同角度捕获红色立方体与白色碗的几何与外观信息。其经典使用场景在于为多相机系统下的物体定位与姿态估计提供基准，尤其适用于非对称形状与颜色对比鲜明的目标，能够有效验证特征匹配、深度估计算法在复杂光照与遮挡条件下的鲁棒性。

解决学术问题

在学术研究中，该数据集主要解决了多相机协同工作时的视角融合与数据一致性难题。它提供的高精度标注有助于探究物体颜色先验对检测性能的影响，并为处理镜面反射、阴影等干扰因素提供了标准化测试平台。其意义在于推动了无标记物体实时追踪技术从实验室走向实际部署。

衍生相关工作

基于该数据集，衍生出多项经典工作，包括针对小样本场景的颜色恒常性增强网络、以及融合几何与外观线索的多视角融合框架。此外，后续研究还借鉴其数据采集模式，构建了跨材质物体检测数据集，进一步拓展了立体视觉在非朗伯反射表面上的应用边界。