bi_red_tomato

该数据集是使用LeRobot创建的，主要用于机器人技术领域。数据集包含162个 episodes，总计151743帧，数据以parquet文件格式存储。数据集结构包括动作数据、观察状态、多个视角的图像数据（左前、右前、右顶），以及时间戳、帧索引、episode索引等元数据。动作和观察状态数据均为12维浮点数组，分别对应左右机械臂的各个关节位置。图像数据为480x640分辨率的RGB视频，帧率为30fps。数据集总大小为100MB（数据文件）和200MB（视频文件），适用于机器人控制、行为模仿等任务。

原始信息汇总

数据集概述

基本信息

• 数据集名称: bi_red_tomato
• 创建工具: LeRobot (https://github.com/huggingface/lerobot)
• 任务类别: 机器人学
• 标签: LeRobot
• 许可证: Apache 2.0

数据集统计

• 总任务数: 1
• 总情节数: 162
• 总帧数: 151743
• 帧率: 30 FPS
• 数据块大小: 1000
• 数据文件总大小: 100 MB
• 视频文件总大小: 200 MB
• 代码库版本: v3.0
• 机器人类型: bi_so_follower

数据集结构

• 数据分割: 训练集 (0:162)
• 数据文件路径模式: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件路径模式: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

数据特征

动作

• 数据类型: float32
• 形状: [12]
• 特征名称:
  • left_shoulder_pan.pos
  • left_shoulder_lift.pos
  • left_elbow_flex.pos
  • left_wrist_flex.pos
  • left_wrist_roll.pos
  • left_gripper.pos
  • right_shoulder_pan.pos
  • right_shoulder_lift.pos
  • right_elbow_flex.pos
  • right_wrist_flex.pos
  • right_wrist_roll.pos
  • right_gripper.pos

观测状态

• 数据类型: float32
• 形状: [12]
• 特征名称: 与动作特征相同

观测图像

left_left_front

• 数据类型: video
• 形状: [480, 640, 3]
• 视频信息:
  • 高度: 480
  • 宽度: 640
  • 编解码器: av1
  • 像素格式: yuv420p
  • 是否为深度图: false
  • 帧率: 30
  • 通道数: 3
  • 包含音频: false

right_right_front

• 数据类型: video
• 形状: [480, 640, 3]
• 视频信息: 与 left_left_front 相同

right_top

• 数据类型: video
• 形状: [480, 640, 3]
• 视频信息: 与 left_left_front 相同

元数据

• 时间戳: float32, 形状 [1]
• 帧索引: int64, 形状 [1]
• 情节索引: int64, 形状 [1]
• 索引: int64, 形状 [1]
• 任务索引: int64, 形状 [1]

可视化

• 可视化空间: https://huggingface.co/spaces/lerobot/visualize_dataset?path=taetae77/bi_red_tomato

引用信息

• 主页: [More Information Needed]
• 论文: [More Information Needed]
• BibTeX 引用: [More Information Needed]

搜集汇总

数据集介绍

构建方式

在机器人操作领域，高质量的数据集对于推动模仿学习与强化学习算法的进步至关重要。bi_red_tomato数据集依托LeRobot开源框架构建，通过双机械臂平台（bi_so_follower）采集了162个完整任务片段，总计包含151,743帧数据。数据以分块形式组织，每个块包含1000帧，并以Parquet格式高效存储，同时配套保存了多视角的视觉视频流，确保了动作序列与观测状态在时间上的精确对齐。

特点

该数据集的核心特征在于其多维度的异构数据融合。它不仅精确记录了双机械臂共12个关节的位置控制动作与状态，还同步提供了来自三个不同视角的RGB视频观测，分辨率均为640x480，帧率为30 FPS。数据结构设计严谨，包含时间戳、帧索引与片段索引等元信息，支持对长序列任务进行细粒度分析。这种动作、状态与多视角视觉的同步记录，为开发端到端的机器人策略模型提供了丰富的监督信号。

使用方法

为便于研究者使用，数据集已预先划分为训练集。用户可通过加载Parquet文件直接访问结构化的动作、状态及元数据列。配套的视频文件则独立存储，可通过元数据中提供的路径键进行关联读取。该数据集适用于机器人模仿学习、行为克隆以及基于视觉的强化学习等研究场景。借助LeRobot生态系统提供的可视化工具，用户能够直观地回放任务执行过程，从而深入理解数据分布与任务语义。

背景与挑战

背景概述

在机器人学习领域，模仿学习与视觉运动控制是推动智能体在复杂物理环境中执行精细操作的关键研究方向。bi_red_tomato数据集由LeRobot项目团队构建，专注于双手机器人操作任务的数据采集。该数据集收录了162个完整任务片段，涵盖超过15万帧的多视角视觉观测与12维关节动作数据，旨在为机器人模仿学习与策略泛化提供高质量的真实世界交互轨迹。其核心研究问题聚焦于如何利用多模态感知数据训练机器人执行灵巧的双手协调操作，从而推动家庭服务与工业自动化场景中机器人自主能力的提升。

当前挑战

该数据集致力于解决机器人模仿学习中从视觉观察到连续动作映射的挑战，尤其强调在动态非结构化环境下双手机器人的精细操作与任务泛化能力。构建过程中的挑战主要体现在多传感器数据的同步与对齐，需确保来自多个摄像头的视频流与机器人关节状态在时间戳上精确匹配。此外，数据采集涉及高维连续动作空间与长时序依赖，要求记录系统具备高吞吐量与低延迟特性，以保持操作轨迹的连贯性与真实性。数据标注与清洗亦需应对真实环境中的噪声干扰与异常值，确保后续学习模型的鲁棒性。

常用场景

经典使用场景

在机器人学习领域，bi_red_tomato数据集以其丰富的双臂机器人操作记录，为模仿学习与强化学习算法提供了宝贵的训练资源。该数据集通过记录机器人执行单一任务时的关节位置、图像观测及时间序列数据，使得研究者能够构建端到端的策略模型，模拟人类示教行为，从而优化机器人在复杂环境中的自主决策能力。

衍生相关工作

基于该数据集的结构化多模态特性，衍生研究常聚焦于视觉-动作联合建模、跨模态表示学习以及分层强化学习框架。经典工作包括利用其序列数据训练时空预测模型，或结合模仿学习与自监督方法，提升机器人在未见任务中的泛化性能，为后续大规模机器人数据集的构建提供了范式参考。

数据集最近研究

最新研究方向

在机器人操作学习领域，bi_red_tomato数据集凭借其丰富的双臂机器人动作与多视角视觉观测数据，正成为模仿学习与强化学习算法验证的重要资源。该数据集记录了机器人执行特定任务时的关节位置与实时图像，为研究端到端策略学习提供了结构化基准。当前前沿探索聚焦于如何利用此类多模态数据提升模型在复杂环境中的泛化能力，尤其是在动态场景下的双臂协调控制问题。随着开源机器人社区如LeRobot的活跃，此类高质量真实世界数据集的共享加速了算法从仿真到实际应用的迁移，推动了家庭服务与工业自动化中灵巧操作技术的进步。