Orchestra-Bench
收藏资源简介：
Orchestra-Bench 是一个面向三机器人高级协作规划的英文多模态数据集。该数据集旨在支持高层次的协同规划任务，每个样本包含来自同一场景中三个不同位置的视图、一个广泛的用户请求，以及为每个机器人分配的一个协调文本子任务。数据集共包含 12,000 个样本，覆盖 24 个场景类别（每类 500 个样本），其中 17 个室外类别（8,500 个样本）和 7 个室内类别（3,500 个样本）。图像来源为 3,334 个不同的真实视频帧，共 36,000 张图像引用，每个样本提供三个不同的地面视角（ground_1、ground_2、ground_3）。室外场景来自 EgoSchema 数据集中的 14 个源场景，提供 7,000 个样本。所有图像均为真实视频帧，无合成或透视变换的鸟瞰图。数据以 JSONL 格式存储，主文件为 manifest.jsonl，每条记录包含唯一标识符、场景类别、环境类型、场景描述、源场景、协作模式、视图列表（每个视图包含 robot_id、view_type、image 路径、source_video、timestamp_seconds）、用户任务以及每个机器人的子任务。每个机器人子任务均包含明确的移动动作，规划涉及导航、观察、路线检查、盲区覆盖、报告和相互引导等高级别指令，而非底层控制或轨迹。图像路径相对于数据集根目录。多个记录可复用同一源帧，但每个记录中的三视图组合是唯一的。该数据集由北京大学计算机学院 Hao Tang 团队与北京人工智能研究院（BAAI）联合研究创建。
Orchestra-Bench is an English multimodal dataset for high-level collaborative planning of three robots. The dataset is designed to support high-level cooperative planning tasks, where each sample contains views from three different positions in the same scene, a broad user request, and a coordinated text subtask assigned to each robot. The dataset contains a total of 12,000 samples, covering 24 scene categories (500 samples per category), including 17 outdoor categories (8,500 samples) and 7 indoor categories (3,500 samples). The images are sourced from 3,334 different real video frames, with a total of 36,000 image references, and each sample provides three different ground-level perspectives (ground_1, ground_2, ground_3). Outdoor scenes come from 14 source scenes in the EgoSchema dataset, providing 7,000 samples. All images are real video frames, without synthetic or perspective-transformed birds-eye views. The data is stored in JSONL format, with the main file being manifest.jsonl. Each record contains a unique identifier, scene category, environment type, scene description, source scene, collaboration mode, view list (each view includes robot_id, view_type, image path, source_video, timestamp_seconds), user task, and subtasks for each robot. Each robot subtask includes explicit movement actions, and the planning involves high-level instructions such as navigation, observation, route checking, blind area coverage, reporting, and mutual guidance, rather than low-level control or trajectories. Image paths are relative to the dataset root directory. Multiple records can reuse the same source frame, but the combination of three views in each record is unique. The dataset was created by the Hao Tang team from the School of Computer Science, Peking University, in collaboration with the Beijing Academy of Artificial Intelligence (BAAI).
数据集概述：Orchestra-Bench
Orchestra-Bench 是一个面向三机器人高层协作规划的英文多模态数据集。每个样本提供同一场景中三个不同位置的视角图像、一个宽泛的用户请求，以及为每个机器人分配的协调文本子任务。
核心规模
- 总计 12,000 个样本，覆盖 24 个场景类别，每类 500 个样本
- 包含 36,000 个图像引用，基于 3,334 个唯一提取的视频帧
- 每个样本含三个不同的地面视角：
ground_1、ground_2、ground_3 - 场景分布：17 个室外类别（8,500 样本）、7 个室内类别（3,500 样本）
- 数据来源：EgoSchema 贡献 14 个室外源场景，共 7,000 个样本
- 使用真实视频帧，不含合成或透视变换的鸟瞰图
场景分布
| 环境 | 样本数 |
|---|---|
| 室外 | 8,500 |
| 室内 | 3,500 |
室外场景涵盖公园路径、公园路口、建筑入口、高尔夫球场、网球场、草坪设备场、花园工作区、夜间道路、运动场、住宅道路、公共广场、花园小径、人行道、城市步道、草地、泥地等。室内场景包括办公室与实验室、零售与餐饮、卧室、厨房、客厅、浴室、走廊。
数据格式
主文件为 manifest.jsonl，每行包含：
id/scene_class/environment：识别与分类信息scene_description：场景文字描述source_scene：源场景引用collaboration_pattern：协作模式描述views：三个地面视角的图像路径、源视频及时间戳user_task：英文用户任务描述subtasks：三机器人的高层协调子任务，包含明确的移动动作，覆盖导航、观察、路线检查、盲区覆盖、报告与相互引导等，不涉及底层控制或轨迹
图像路径相对于数据集仓库根目录，允许不同记录复用同一源帧，但每条记录的三视角组合唯一。
使用示例
python from datasets import load_dataset
dataset = load_dataset( "BAAI/Orchestra-Bench", data_files="manifest.jsonl", split="train", ) print(dataset[0])
来源说明
该数据集由北京大学计算机学院 Hao Tang 团队与北京人工智能研究院（BAAI）联合研究成果。
