taetae77/bi_red_tomato

---
license: apache-2.0
task_categories:
- robotics
tags:
- LeRobot
configs:
- config_name: default
data_files: data/*/*.parquet
---

This dataset was created using [LeRobot](https://github.com/huggingface/lerobot).

<a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=taetae77/bi_red_tomato">
<img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/>
<img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/>
</a>

## Dataset Description

- **Homepage:** [More Information Needed]
- **Paper:** [More Information Needed]
- **License:** apache-2.0

## Dataset Structure

[meta/info.json](meta/info.json):
```json
{
"codebase_version": "v3.0",
"robot_type": "bi_so_follower",
"total_episodes": 304,
"total_frames": 302309,
"total_tasks": 1,
"chunks_size": 1000,
"data_files_size_in_mb": 100,
"video_files_size_in_mb": 200,
"fps": 30,
"splits": {
"train": "0:304"
},
"data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet",
"video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4",
"features": {
"action": {
"dtype": "float32",
"names": [
"left_shoulder_pan.pos",
"left_shoulder_lift.pos",
"left_elbow_flex.pos",
"left_wrist_flex.pos",
"left_wrist_roll.pos",
"left_gripper.pos",
"right_shoulder_pan.pos",
"right_shoulder_lift.pos",
"right_elbow_flex.pos",
"right_wrist_flex.pos",
"right_wrist_roll.pos",
"right_gripper.pos"
],
"shape": [
12
]
},
"observation.state": {
"dtype": "float32",
"names": [
"left_shoulder_pan.pos",
"left_shoulder_lift.pos",
"left_elbow_flex.pos",
"left_wrist_flex.pos",
"left_wrist_roll.pos",
"left_gripper.pos",
"right_shoulder_pan.pos",
"right_shoulder_lift.pos",
"right_elbow_flex.pos",
"right_wrist_flex.pos",
"right_wrist_roll.pos",
"right_gripper.pos"
],
"shape": [
12
]
},
"observation.images.left_left_front": {
"dtype": "video",
"shape": [
480,
640,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 480,
"video.width": 640,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false
}
},
"observation.images.right_right_front": {
"dtype": "video",
"shape": [
480,
640,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 480,
"video.width": 640,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false
}
},
"observation.images.right_top": {
"dtype": "video",
"shape": [
480,
640,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 480,
"video.width": 640,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false
}
},
"timestamp": {
"dtype": "float32",
"shape": [
1
],
"names": null
},
"frame_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"episode_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"task_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
}
}
}
```

## Citation

**BibTeX:**

```bibtex
[More Information Needed]
```

搜集汇总

数据集介绍

构建方式

在机器人学领域，数据驱动的策略学习日益成为研究焦点，bi_red_tomato数据集依托LeRobot平台构建，专注于双臂仿人机器人操作任务。该数据集通过实际机器人交互采集，涵盖304个完整任务片段，总计超过30万帧数据，以30帧每秒的速率记录。数据以分块Parquet文件形式存储，每块包含1000帧，确保了高效的数据管理与读取。采集过程中同步记录了机器人的关节位置状态、多视角视觉图像及时间戳索引，为后续的离线强化学习与模仿学习提供了丰富的多模态交互轨迹。

使用方法

研究人员可通过HuggingFace数据集库直接加载bi_red_tomato数据集，利用其预定义的数据拆分方案进行模型训练与验证。数据读取时可灵活选择所需模态，例如单独使用关节状态进行动力学建模，或结合多视角图像实现视觉运动策略学习。数据集提供的视频文件与结构化数据可通过标准管道进行解码与预处理，支持批量加载以适配不同规模的训练需求。此外，数据集兼容LeRobot生态系统中的可视化工具，便于研究者直观分析机器人行为轨迹与任务执行过程，为算法开发与实验验证提供完整的技术支撑。

背景与挑战

背景概述

在机器人学领域，模仿学习与视觉运动控制的研究日益深入，旨在使机器人能够通过观察与交互来执行复杂任务。bi_red_tomato数据集由LeRobot项目构建，专注于双手机器人操作任务，其核心研究问题在于如何利用多视角视觉观测与高维动作数据，实现精准的物体操控与任务执行。该数据集通过记录304个任务片段，涵盖超过30万帧的多摄像头视频及对应的关节位置信息，为机器人模仿学习算法的训练与评估提供了丰富的真实世界交互数据，推动了具身智能在动态环境中的适应性研究。

当前挑战

该数据集旨在解决机器人操作任务中的视觉运动策略学习挑战，特别是在非结构化环境中实现精确的双臂协调控制。构建过程中面临多传感器数据同步与对齐的复杂性，需确保来自不同摄像头的视频流与机器人关节状态在时间上精确匹配。此外，大规模高维数据的存储与处理要求高效的数据压缩与组织方案，以平衡数据质量与访问效率。真实世界数据的采集还涉及环境变异性与任务一致性的平衡，确保数据集既能反映操作多样性，又保持足够的结构化以支持模型泛化。

常用场景

经典使用场景

在机器人学习领域，bi_red_tomato数据集以其丰富的双机械臂操作记录，成为模仿学习与强化学习算法验证的经典资源。该数据集收录了304个完整任务片段，涵盖超过30万帧的高频视觉与关节状态数据，为研究者提供了从多视角视频到精确动作映射的完整轨迹。其结构化存储格式便于高效加载与批处理，常被用于训练端到端的策略网络，以模拟真实场景中双臂协调抓取与操控的复杂行为。

解决学术问题

该数据集有效应对了机器人学中样本效率低下与仿真到现实迁移的挑战。通过提供大规模真实世界采集的双臂操作数据，它支持了无需昂贵物理交互的数据驱动方法发展。研究者可利用其解决多模态感知融合、时序动作预测以及跨任务泛化等核心问题，显著降低了在实体机器人上试错的风险与成本，推动了模仿学习与离线强化学习在复杂操作任务中的理论进展。

实际应用

在工业自动化与辅助机器人领域，bi_red_tomato数据集的实际价值体现在其能够指导双臂协作系统的开发。例如，在装配线分拣、精密部件处理或家庭服务机器人中，基于该数据训练的模型可提升系统对动态环境的适应能力与操作柔顺性。数据集包含的关节位置与多相机视角信息，为实际部署提供了可靠的感知-动作对应基准，助力实现更智能、更安全的机器人应用。

数据集最近研究

最新研究方向

在机器人学领域，双机械臂协同操作正成为提升自动化系统灵活性与智能水平的关键路径。bi_red_tomato数据集以其丰富的多视角视觉流与高维关节状态记录，为模仿学习与强化学习算法提供了宝贵的训练资源。当前研究热点聚焦于如何利用此类多模态数据，开发端到端的控制策略，使机器人能够从视觉观察中直接推断出精细的动作序列，从而在动态环境中实现诸如物体抓取、装配等复杂任务。这一方向不仅推动了具身智能的发展，也为工业自动化与家庭服务机器人的实际应用奠定了数据基础，具有显著的工程价值与学术意义。