eval_thenewcolourmatchs

这是一个关于机器人学的数据集，包含了一个机器人的动作和观察状态数据，以及正面和手腕的图像信息。数据集共有1个剧集，751帧，1个任务，2个视频，1个片段，每个片段大小为1000，帧率为30。数据集按照Apache-2.0许可发布。

原始信息汇总

数据集概述

基本信息

• 名称: eval_thenewcolourmatchs
• 许可证: Apache-2.0
• 任务类别: 机器人学
• 标签: LeRobot

数据集结构

• 总任务数: 1
• 总视频数: 2
• 总帧数: 751
• 总片段数: 1
• 片段大小: 1000
• 帧率: 30 fps
• 数据格式: Parquet
• 数据路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征描述

动作特征

• 名称: action
• 数据类型: float32
• 形状: [6]
• 关节名称:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

观测特征

状态观测

• 名称: observation.state
• 数据类型: float32
• 形状: [6]
• 关节名称:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

前视图像观测

• 名称: observation.images.front
• 数据类型: video
• 形状: [480, 640, 3]
• 视频信息:
  • 高度: 480
  • 宽度: 640
  • 编解码器: av1
  • 像素格式: yuv420p
  • 深度图: false
  • 帧率: 30
  • 通道数: 3
  • 音频: false

腕部图像观测

• 名称: observation.images.wrist
• 数据类型: video
• 形状: [480, 640, 3]
• 视频信息:
  • 高度: 480
  • 宽度: 640
  • 编解码器: av1
  • 像素格式: yuv420p
  • 深度图: false
  • 帧率: 30
  • 通道数: 3
  • 音频: false

元数据特征

• timestamp: float32, 形状[1]
• frame_index: int64, 形状[1]
• episode_index: int64, 形状[1]
• index: int64, 形状[1]
• task_index: int64, 形状[1]

技术信息

• 代码库版本: v2.1
• 机器人类型: so101_follower
• 数据分割: train: 0:1

创建信息

• 创建工具: LeRobot (https://github.com/huggingface/lerobot)

搜集汇总

数据集介绍

构建方式

在机器人技术领域，eval_thenewcolourmatchs数据集依托LeRobot框架构建，采用结构化数据采集策略。该数据集通过so101_follower型机器人记录单次任务执行的连续交互数据，包含751帧以30fps采样的多模态信息。数据以分块形式存储于Parquet文件中，每个数据块涵盖关节状态、图像观测及时间戳等同步信息，确保了时序一致性与高效存取。

特点

本数据集的核心特点在于其多模态融合与精细标注。提供六自由度关节动作指令及对应状态反馈，同时集成前视与腕部双视角彩色视频流，分辨率达640×480。数据维度涵盖机械臂控制所需的全部底层信号，且视频均采用AV1编码压缩以平衡质量与存储效率。帧索引与任务标识符的嵌入进一步支持了分段分析与跨任务研究。

使用方法

研究者可通过加载Parquet格式的数据块重构完整交互序列，利用动作-观测配对数据训练模仿学习或强化学习模型。视频流可通过指定路径解码，结合时间戳实现多传感器对齐。该数据集适用于机器人技能迁移、视觉运动策略优化等研究方向，其标准化结构亦兼容主流机器人学习框架的直接调用与扩展。

背景与挑战

背景概述

eval_thenewcolourmatchs数据集诞生于机器人技术蓬勃发展的时代背景下，由LeRobot研究团队基于Apache 2.0开源协议构建。该数据集聚焦于机器人操作与控制领域，专门采集了SO101型跟随机器人的多模态交互数据，包含751帧高精度时序记录与双视角视觉信息。其核心价值在于为机器人模仿学习与行为克隆提供真实世界的动作-观测配对数据，通过记录六自由度机械臂的关节位置与视觉感知，推动机器人精细操作能力的发展。

当前挑战

该数据集致力于解决机器人视觉运动控制中的动作-感知协同建模难题，其构建过程面临多重挑战：需同步采集高维机械臂动作数据与多视角视频流，确保时序精确对齐；处理480p分辨率视频的实时编码与存储压力；在有限 episode 中保持任务执行的连贯性与数据多样性。此外，深度模型需同时解析关节运动轨迹与视觉上下文，对跨模态融合算法提出较高要求。

常用场景

经典使用场景

在机器人操作学习领域，该数据集通过记录机械臂关节位置与多视角视觉信息，为模仿学习算法提供高质量的演示数据。研究者可利用其包含的前置摄像头与腕部摄像头视频流，结合六自由度机械臂的动作轨迹，训练端到端的视觉运动策略网络，实现精细化的物体抓取与操作任务。

解决学术问题

该数据集有效解决了机器人模仿学习中多模态感知与运动控制的协同优化问题。通过提供同步的视觉观测与关节运动数据，支持研究者探索高维视觉输入到连续动作空间的映射机制，显著提升了基于视觉的机械臂控制策略的泛化能力与样本效率，推动了行为克隆与逆强化学习算法的发展。

衍生相关工作

基于该数据集的特性，衍生出多项关于多视角视觉特征融合、时空动作预测的经典研究。例如采用双流网络架构同步处理前置与腕部视觉信息的工作，以及结合时空注意力机制的长时序动作生成模型，这些成果显著提升了复杂操作任务中动作预测的准确性与鲁棒性。