MMSI-Video-Bench
收藏资源简介：
MMSI-Video-Bench是一个全面的视频空间智能基准测试数据集，包含多项选择题、视觉问答和视频文本到文本任务。数据集包括每个问题对应的关键帧（frames.zip）、原始视频数据（videos.zip，可选）、问题描述中使用的参考图像（ref_images.zip）以及MMSI-Video-Bench的标注文件（mmsivideo.json）。每个样本包含问题ID、问题类型、参考图像列表、原始问题文本、选项、关键帧列表、视频段信息、系统提示、任务提示、用户提示、格式提示和正确答案。数据集用于评估模型在视频空间智能任务中的表现，并提供了详细的评估指南和模型排行榜。
MMSI-Video-Bench is a comprehensive benchmark dataset for video spatial intelligence, encompassing multiple-choice questions, visual question answering (VQA), and video text-to-text generation tasks. The dataset provides key frames corresponding to each question (frames.zip), raw video data (videos.zip, optional), reference images used in the question descriptions (ref_images.zip), and the annotation file of MMSI-Video-Bench (mmsivideo.json). Each sample includes question ID, question type, list of reference images, original question text, answer options, list of key frames, video segment information, system prompt, task prompt, user prompt, format prompt, and correct answer. This dataset is designed to evaluate model performance on video spatial intelligence tasks, and also provides detailed evaluation guidelines and a model leaderboard.
MMSI-Video-Bench 数据集概述
基本信息
- 数据集名称: MMSI-Video-Bench
- 主页: https://rbler1234.github.io/MMSI-VIdeo-Bench.github.io/
- 论文: 未提供链接
- 代码仓库: https://github.com/InternRobotics/MMSI-Video-Bench
- 许可协议: CC
- 任务类别: 多项选择、视觉问答、视频文本到文本
- 语言: 英语
- 数据规模: 1K < n < 10K
数据集描述
MMSI-Video-Bench 是一个用于评估视频空间智能的综合性基准测试。数据集包含以下文件：
frames.zip: 包含每个问题对应的所有关键帧。videos.zip: 包含所有原始视频数据（可选）。ref_images.zip: 包含问题描述中使用的参考图像。mmsivideo.json: 对应 MMSI-Video-Bench 的标注文件。
数据样本格式
每个样本采用以下JSON格式： python { "id": "question_0004", "type": "Planning", // 问题类型（例如：空间构建、运动理解、规划、预测、跨视图推理） "ref_images": ["question_0004/image_content_1.png"], // 与问题关联的参考图像列表 "ori_question": "原始问题文本；可能包含如<image>的占位符，指示参考图像的显示位置", "options": ["选项A", "..."], // 多项选择选项 "frames_list": [["question_0004/dl3dv_0015_0/00:00.00_frame_1.00_0.jpg", "..."]], // 对应视频片段的关键帧列表 "video_list": [{"path": "question_0004/dl3dv_0015_0.mp4", "start": 0.0, "end": 30.0, "base_fps": 1.0}], // 对应视频片段的信息列表 "system_prompt": "系统提示词", "task_prompt": "任务提示词", "user_prompt": "用户提示词", "format_prompt": "格式提示词", "ground_truth": "D" // 正确答案 }
评估
评估指南请参考代码仓库：https://github.com/InternRobotics/MMSI-Video-Bench。
排行榜
数据集提供了多个设置和子基准的模型性能排行榜。
Uniform-50 设置
- 最佳模型: Gemini 3 pro (37.97%)
- 人类基准: 96.40%
- 随机猜测基准: 24.10%
Sufficient-Coverage 设置
- 最佳模型: O3 (37.34%)
- 人类基准: 96.4%
- 随机猜测基准: 24.10%
机器人子基准
- 最佳模型: Gemini 3 Pro (40.20%)
室内场景感知子基准
- 最佳模型: GPT-5 (41.68%)
接地子基准
- 最佳模型: Gemini 2.5 Flash (38.81%)
注意: 对于三个子基准，我们取每个模型在两个设置中的较高分以便展示。
