zoyo08/bcd3_color_sort_v1_20260529_231236

该数据集是一个机器人控制数据集，使用LeRobot工具创建。数据集包含机器人动作和状态观测数据，动作包括6个关节位置（肩部平移、肩部升降、肘部弯曲、手腕弯曲、手腕旋转、夹爪位置），状态观测同样包含这些关节位置。观测数据还包括来自手腕和顶部摄像头的视频图像，分辨率为480x640，帧率为30fps，使用AV1编码。数据集还包含时间戳、帧索引、回合索引、任务索引等元数据。总共有75个回合、26216帧，数据文件大小为100MB，视频文件大小为200MB，适用于机器人学习任务，如动作控制和视觉感知。This dataset is a robotics control dataset created using the LeRobot tool. It includes robot actions and state observations, with actions comprising 6 joint positions (shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, gripper position), and state observations similarly containing these joint positions. Observations also include video images from wrist and top cameras, with a resolution of 480x640, a frame rate of 30fps, and AV1 encoding. The dataset additionally includes metadata such as timestamps, frame indices, episode indices, and task indices. It consists of 75 episodes and 26216 frames, with data files sized at 100MB and video files at 200MB, suitable for robotics learning tasks like action control and visual perception.

搜集汇总

数据集介绍

构建方式

该数据集依托于LeRobot框架构建，旨在服务于机器人操作任务的模仿学习研究。数据采集自“so_follower”型机器人执行颜色分拣任务的过程，共包含75个完整操作回合，总帧数达26,216帧，帧率为30 FPS。数据以Parquet格式存储结构化信息，并辅以MP4视频文件记录视觉观测。构建时，每1000帧数据被划分为一个数据块，确保高效存取。数据集遵循Apache-2.0开源协议，便于学术与工业界广泛使用。

特点

本数据集的核心特色在于其多模态融合的设计。它不仅记录了机器人6维关节空间的精确动作指令（包含肩部、肘部及腕部各自由度的位置与夹爪状态），还同步提供了腕部与顶部两个视角的高清视频流（640×480分辨率，AV1编码）。这种结构让研究者能够将低维运动控制信号与高维视觉信息紧密关联，为训练具备视觉感知能力的模仿学习模型提供了坚实基础。此外，数据集中包含了清晰的时间戳、帧索引及任务标签，极大便利了时序建模与场景理解的深入研究。

使用方法

研究者可借助LeRobot库便捷地加载与使用该数据集。通过指定数据集标识符并调用相关API，即可获取已预处理的观测状态、动作序列及视频帧。数据集默认将全部75个回合划分为训练集，适用于离线模仿学习算法的基准测试。用户可进一步利用其提供的可视化工具，直观检验数据质量与模型表现。对于进阶应用，可根据动作空间与视觉输入结构，设计并训练端到端的策略网络，从而在仿真或真实机器人上复现颜色分拣任务。

背景与挑战

背景概述

该数据集创建于2026年5月29日，由研究人员zoyo08利用LeRobot框架采集生成，聚焦于机器人操作领域的颜色分拣任务。核心研究问题在于如何通过模仿学习使机器人掌握精细的物体分拣技能，涉及六自由度机械臂（so_follower）的关节位置控制与夹爪协同操作。数据集包含75个演示片段、逾2.6万帧时序数据，并提供了腕部和顶部双视角视觉信息（640×480分辨率，30fps），为多模态感知与运动控制的联合建模提供了基础。作为LeRobot生态中的典型示例，该数据集填补了低成本机器人平台上颜色分拣任务的标准化数据空白，推动了可复现的机器人学习研究。

当前挑战

领域问题方面，颜色分拣任务需解决机器人对动态环境中颜色目标的高精度识别与抓取，涉及视觉感知（如光照变化下的颜色恒常性）、运动规划（六自由度逆解算）及夹爪力控的协同挑战。构建过程中，数据采集依赖遥操作（LeRobot框架）获取人类演示，面临示教者行为一致性控制、高帧率视频（30fps）与关节状态（6维向量）的时空对齐难题。此外，数据量有限（仅75个片段）且机器人硬件差异（如不同so_follower构型）可能导致策略泛化困难，而双摄像头（avi编码）的压缩参数（CRF=30）也可能引入视觉信息损失，影响模型对精细颜色特征的习得。

常用场景

经典使用场景

在机器人学习与操作领域，bcd3_color_sort_v1_20260529_231236数据集凭借其精细的动作序列与多视角视觉观测，成为模仿学习与行为克隆研究的理想数据源。该数据集记录了机械臂完成颜色分拣任务的全部轨迹，包含肩部、肘部、腕部及夹爪的六维关节动作指令，以及腕部和顶部两个视角的RGB视频流。研究者可借此训练机器人从视觉输入直接映射到连续动作的策略网络，尤其适用于端到端的模仿学习范式，为复杂精细操作技能的获取提供了兼具丰富性与可重复性的基准数据。

衍生相关工作

围绕该数据集已衍生了多项经典工作，例如基于扩散策略的多模态动作生成模型，通过将视觉观测编码为条件噪声序列实现了更平滑的轨迹输出；还有利用数据集中的多视角信息构建隐式空间表征的对比学习框架，显著提升了机械臂在遮挡条件下的操作鲁棒性。此外，研究者基于该数据发展了高效的预训练-微调策略，使用基础模型在大规模异构数据上学习通用操作表征，再通过本数据集少量样本即可适配特定颜色分拣任务，为低资源场景下的机器人技能迁移树立了标杆范例。

数据集最近研究

最新研究方向

该数据集聚焦于机器人颜色分拣任务的模仿学习研究，利用LeRobot框架采集了75个演示片段，涵盖约2.6万帧高保真视觉与关节状态数据。当前，基于示教学习的机器人精细操作已成为具身智能领域的前沿热点，尤其在大模型与机器人结合的浪潮下，此类高质量、多模态的数据集对于训练机器人从人类演示中泛化复杂技能至关重要。bcd3_color_sort_v1通过提供两路摄像头（顶部与腕部）的同步视觉流及6自由度关节轨迹，为研究颜色分拣这一典型感知-动作闭环任务提供了标准化基准，有力推动了低成本、可复现的机器人学习范式发展，对于工业分拣自动化与家庭服务场景具有深远意义。