jayzhu486/StreamingBench-Slice
收藏Hugging Face2026-04-04 更新2026-04-12 收录
下载链接：
https://hf-mirror.com/datasets/jayzhu486/StreamingBench-Slice
下载链接
链接失效反馈官方服务：
资源简介：
---
task_categories:
- question-answering
language:
- en
size_categories:
- 1K<n<10K
dataset_info:
- config_name: Real_Time_Visual_Understanding
features:
- name: question_id
dtype: string
- name: task_type
dtype: string
- name: question
dtype: string
- name: time_stamp
dtype: string
- name: answer
dtype: string
- name: options
dtype: string
- name: frames_required
dtype: string
- name: temporal_clue_type
dtype: string
splits:
- name: Real_Time_Visual_Understanding
num_examples: 2500
- config_name: Sequential_Question_Answering
features:
- name: question_id
dtype: string
- name: task_type
dtype: string
- name: question
dtype: string
- name: time_stamp
dtype: string
- name: answer
dtype: string
- name: options
dtype: string
- name: frames_required
dtype: string
- name: temporal_clue_type
dtype: string
splits:
- name: Sequential_Question_Answering
num_examples: 250
- config_name: Contextual_Understanding
features:
- name: question_id
dtype: string
- name: task_type
dtype: string
- name: question
dtype: string
- name: time_stamp
dtype: string
- name: answer
dtype: string
- name: options
dtype: string
- name: frames_required
dtype: string
- name: temporal_clue_type
dtype: string
splits:
- name: Contextual_Understanding
num_examples: 500
- config_name: Omni_Source_Understanding
features:
- name: question_id
dtype: string
- name: task_type
dtype: string
- name: question
dtype: string
- name: time_stamp
dtype: string
- name: answer
dtype: string
- name: options
dtype: string
- name: frames_required
dtype: string
- name: temporal_clue_type
dtype: string
splits:
- name: Omni_Source_Understanding
num_examples: 1000
- config_name: Proactive_Output
features:
- name: question_id
dtype: string
- name: task_type
dtype: string
- name: question
dtype: string
- name: time_stamp
dtype: string
- name: ground_truth_time_stamp
dtype: string
- name: ground_truth_output
dtype: string
- name: frames_required
dtype: string
- name: temporal_clue_type
dtype: string
splits:
- name: Proactive_Output
num_examples: 250
configs:
- config_name: Real_Time_Visual_Understanding
data_files:
- split: Real_Time_Visual_Understanding
path: StreamingBench/Real_Time_Visual_Understanding.csv
- config_name: Sequential_Question_Answering
data_files:
- split: Sequential_Question_Answering
path: StreamingBench/Sequential_Question_Answering.csv
- config_name: Contextual_Understanding
data_files:
- split: Contextual_Understanding
path: StreamingBench/Contextual_Understanding.csv
- config_name: Omni_Source_Understanding
data_files:
- split: Omni_Source_Understanding
path: StreamingBench/Omni_Source_Understanding.csv
- config_name: Proactive_Output
data_files:
- split: Proactive_Output
path: StreamingBench/Proactive_Output_50.csv
- split: Proactive_Output_250
path: StreamingBench/Proactive_Output.csv
---
# StreamingBench: Assessing the Gap for MLLMs to Achieve Streaming Video Understanding
<div align="center">
<img src="./figs/icon.png" width="100%" alt="StreamingBench Banner">
<div style="margin: 30px 0">
<a href="https://streamingbench.github.io/" style="margin: 0 10px">🏠 Project Page</a> |
<a href="https://arxiv.org/abs/2411.03628" style="margin: 0 10px">📄 arXiv Paper</a> |
<a href="https://huggingface.co/datasets/mjuicem/StreamingBench" style="margin: 0 10px">📦 Dataset</a> |
<a href="https://streamingbench.github.io/#leaderboard" style="margin: 0 10px">🏅Leaderboard</a>
</div>
</div>
**StreamingBench** evaluates **Multimodal Large Language Models (MLLMs)** in real-time, streaming video understanding tasks. 🌟
------
[**NEW!** 2025.05.15] 🔥: [Seed1.5-VL](https://github.com/ByteDance-Seed/Seed1.5-VL) achieved ALL model SOTA with a score of 82.80 on the Proactive Output.
[**NEW!** 2025.03.17] ⭐: [ViSpeeker](https://arxiv.org/abs/2503.12769) achieved Open-Source SOTA with a score of 61.60 on the Omni-Source Understanding.
[**NEW!** 2025.01.14] 🚀: [MiniCPM-o 2.6](https://github.com/OpenBMB/MiniCPM-o) achieved Streaming SOTA with a score of 66.01 on the Overall benchmark.
[**NEW!** 2025.01.06] 🏆: [Dispider](https://github.com/Mark12Ding/Dispider) achieved Streaming SOTA with a score of 53.12 on the Overall benchmark.
[**NEW!** 2024.12.09] 🎉: [InternLM-XComposer2.5-OmniLive](https://github.com/InternLM/InternLM-XComposer) achieved 73.79 on Real-Time Visual Understanding.
------
## 🎞️ Overview
As MLLMs continue to advance, they remain largely focused on offline video comprehension, where all frames are pre-loaded before making queries. However, this is far from the human ability to process and respond to video streams in real-time, capturing the dynamic nature of multimedia content. To bridge this gap, **StreamingBench** introduces the first comprehensive benchmark for streaming video understanding in MLLMs.
### Key Evaluation Aspects
- 🎯 **Real-time Visual Understanding**: Can the model process and respond to visual changes in real-time?
- 🔊 **Omni-source Understanding**: Does the model integrate visual and audio inputs synchronously in real-time video streams?
- 🎬 **Contextual Understanding**: Can the model comprehend the broader context within video streams?
### Dataset Statistics
- 📊 **900** diverse videos
- 📝 **4,500** human-annotated QA pairs
- ⏱️ Five questions per video at different timestamps
#### 🎬 Video Categories
<div align="center">
<img src="./figs/StreamingBench_Video.png" width="80%" alt="Video Categories">
</div>
#### 🔍 Task Taxonomy
<div align="center">
<img src="./figs/task_taxonomy.png" width="80%" alt="Task Taxonomy">
</div>
## 🔬 Experimental Results
### Performance of Various MLLMs on StreamingBench
- All Context
<div align="center">
<img src="./figs/result_1.png" width="80%" alt="Task Taxonomy">
</div>
- 60 seconds of context preceding the query time
<div align="center">
<img src="./figs/result_2.png" width="80%" alt="Task Taxonomy">
</div>
- Comparison of Main Experiment vs. 60 Seconds of Video Context
- <div align="center">
<img src="./figs/heatmap.png" width="80%" alt="Task Taxonomy">
</div>
### Performance of Different MLLMs on the Proactive Output Task
*"≤ xs" means that the answer is considered correct if the actual output time is within x seconds of the ground truth.*
<div align="center">
<img src="./figs/po.png" width="80%" alt="Task Taxonomy">
</div>
## 📝 Citation
```bibtex
@article{lin2024streaming,
title={StreamingBench: Assessing the Gap for MLLMs to Achieve Streaming Video Understanding},
author={Junming Lin and Zheng Fang and Chi Chen and Zihao Wan and Fuwen Luo and Peng Li and Yang Liu and Maosong Sun},
journal={arXiv preprint arXiv:2411.03628},
year={2024}
}
```
https://arxiv.org/abs/2411.03628
task_categories:
- 问答任务
language:
- 英语
size_categories:
- 1000 < 样本数量 < 10000
dataset_info:
- config_name: 实时视觉理解（Real_Time_Visual_Understanding）
features:
- name: 问题ID（question_id）
dtype: 字符串类型
- name: 任务类型（task_type）
dtype: 字符串类型
- name: 问题（question）
dtype: 字符串类型
- name: 时间戳（time_stamp）
dtype: 字符串类型
- name: 答案（answer）
dtype: 字符串类型
- name: 选项（options）
dtype: 字符串类型
- name: 所需帧（frames_required）
dtype: 字符串类型
- name: 时间线索类型（temporal_clue_type）
dtype: 字符串类型
splits:
- name: 实时视觉理解（Real_Time_Visual_Understanding）
num_examples: 2500
- config_name: 序列问答（Sequential_Question_Answering）
features:
- name: 问题ID（question_id）
dtype: 字符串类型
- name: 任务类型（task_type）
dtype: 字符串类型
- name: 问题（question）
dtype: 字符串类型
- name: 时间戳（time_stamp）
dtype: 字符串类型
- name: 答案（answer）
dtype: 字符串类型
- name: 选项（options）
dtype: 字符串类型
- name: 所需帧（frames_required）
dtype: 字符串类型
- name: 时间线索类型（temporal_clue_type）
dtype: 字符串类型
splits:
- name: 序列问答（Sequential_Question_Answering）
num_examples: 250
- config_name: 上下文理解（Contextual_Understanding）
features:
- name: 问题ID（question_id）
dtype: 字符串类型
- name: 任务类型（task_type）
dtype: 字符串类型
- name: 问题（question）
dtype: 字符串类型
- name: 时间戳（time_stamp）
dtype: 字符串类型
- name: 答案（answer）
dtype: 字符串类型
- name: 选项（options）
dtype: 字符串类型
- name: 所需帧（frames_required）
dtype: 字符串类型
- name: 时间线索类型（temporal_clue_type）
dtype: 字符串类型
splits:
- name: 上下文理解（Contextual_Understanding）
num_examples: 500
- config_name: 全源理解（Omni_Source_Understanding）
features:
- name: 问题ID（question_id）
dtype: 字符串类型
- name: 任务类型（task_type）
dtype: 字符串类型
- name: 问题（question）
dtype: 字符串类型
- name: 时间戳（time_stamp）
dtype: 字符串类型
- name: 答案（answer）
dtype: 字符串类型
- name: 选项（options）
dtype: 字符串类型
- name: 所需帧（frames_required）
dtype: 字符串类型
- name: 时间线索类型（temporal_clue_type）
dtype: 字符串类型
splits:
- name: 全源理解（Omni_Source_Understanding）
num_examples: 1000
- config_name: 主动输出（Proactive_Output）
features:
- name: 问题ID（question_id）
dtype: 字符串类型
- name: 任务类型（task_type）
dtype: 字符串类型
- name: 问题（question）
dtype: 字符串类型
- name: 时间戳（time_stamp）
dtype: 字符串类型
- name: 真实时间戳（ground_truth_time_stamp）
dtype: 字符串类型
- name: 真实输出（ground_truth_output）
dtype: 字符串类型
- name: 所需帧（frames_required）
dtype: 字符串类型
- name: 时间线索类型（temporal_clue_type）
dtype: 字符串类型
splits:
- name: 主动输出（Proactive_Output）
num_examples: 250
configs:
- config_name: 实时视觉理解（Real_Time_Visual_Understanding）
data_files:
- split: 实时视觉理解（Real_Time_Visual_Understanding）
path: StreamingBench/Real_Time_Visual_Understanding.csv
- config_name: 序列问答（Sequential_Question_Answering）
data_files:
- split: 序列问答（Sequential_Question_Answering）
path: StreamingBench/Sequential_Question_Answering.csv
- config_name: 上下文理解（Contextual_Understanding）
data_files:
- split: 上下文理解（Contextual_Understanding）
path: StreamingBench/Contextual_Understanding.csv
- config_name: 全源理解（Omni_Source_Understanding）
data_files:
- split: 全源理解（Omni_Source_Understanding）
path: StreamingBench/Omni_Source_Understanding.csv
- config_name: 主动输出（Proactive_Output）
data_files:
- split: 主动输出（Proactive_Output）
path: StreamingBench/Proactive_Output_50.csv
- split: 250样本主动输出（Proactive_Output_250）
path: StreamingBench/Proactive_Output.csv
# StreamingBench：评估多模态大语言模型的流式视频理解差距
<div align="center">
<img src="./figs/icon.png" width="100%" alt="StreamingBench 横幅">
<div style="margin: 30px 0">
<a href="https://streamingbench.github.io/" style="margin: 0 10px">🏠 项目主页</a> |
<a href="https://arxiv.org/abs/2411.03628" style="margin: 0 10px">📄 arXiv 论文</a> |
<a href="https://huggingface.co/datasets/mjuicem/StreamingBench" style="margin: 0 10px">📦 数据集</a> |
<a href="https://streamingbench.github.io/#leaderboard" style="margin: 0 10px">🏅 排行榜</a>
</div>
</div>
**StreamingBench** 用于评估**多模态大语言模型（Multimodal Large Language Model, MLLM）**的实时流式视频理解任务。🌟
------
[**2025.05.15 新增！**] 🔥: [Seed1.5-VL](https://github.com/ByteDance-Seed/Seed1.5-VL) 在主动输出任务上以82.80的得分斩获全模型SOTA（当前最佳性能）。
[**2025.03.17 新增！**] ⭐: [ViSpeeker](https://arxiv.org/abs/2503.12769) 在全源理解任务上以61.60的得分达成开源模型SOTA。
[**2025.01.14 新增！**] 🚀: [MiniCPM-o 2.6](https://github.com/OpenBMB/MiniCPM-o) 在全基准测试集上以66.01的得分拿下流式任务SOTA。
[**2025.01.06 新增！**] 🏆: [Dispider](https://github.com/Mark12Ding/Dispider) 在全基准测试集上以53.12的得分拿下流式任务SOTA。
[**2024.12.09 新增！**] 🎉: [InternLM-XComposer2.5-OmniLive](https://github.com/InternLM/InternLM-XComposer) 在实时视觉理解任务上取得73.79的得分。
------
## 🎞️ 概述
随着多模态大语言模型的持续发展，当前主流模型仍主要聚焦于离线视频理解任务，即所有视频帧均在发起查询前预加载完毕。但这与人类实时处理流式视频内容、捕捉动态多媒体信息的能力相去甚远。为填补这一差距，**StreamingBench** 推出了首个面向多模态大语言模型的流式视频理解综合基准测试集。
### 核心评估维度
- 🎯 **实时视觉理解**：模型能否实时处理并响应视觉内容变化？
- 🔊 **全源理解**：模型能否在实时视频流中同步整合视觉与音频输入？
- 🎬 **上下文理解**：模型能否理解视频流中的整体上下文信息？
### 数据集统计信息
- 📊 共计900条多样化视频
- 📝 共计4500条人工标注的问答对
- ⏱️ 每个视频在不同时间戳下对应5个问题
#### 🎬 视频分类
<div align="center">
<img src="./figs/StreamingBench_Video.png" width="80%" alt="视频分类">
</div>
#### 🔍 任务分类体系
<div align="center">
<img src="./figs/task_taxonomy.png" width="80%" alt="任务分类体系">
</div>
## 🔬 实验结果
### 各类多模态大语言模型在StreamingBench上的性能表现
- 全上下文设置
<div align="center">
<img src="./figs/result_1.png" width="80%" alt="性能对比">
</div>
- 查询时间前60秒上下文设置
<div align="center">
<img src="./figs/result_2.png" width="80%" alt="性能对比">
</div>
- 主实验与60秒视频上下文设置的性能对比
<div align="center">
<img src="./figs/heatmap.png" width="80%" alt="热力图">
</div>
### 不同模型在主动输出任务上的性能表现
*"≤ xs" 表示：若模型实际输出时间与真实时间的差值在x秒以内，则判定答案正确。*
<div align="center">
<img src="./figs/po.png" width="80%" alt="主动输出任务结果">
</div>
## 📝 引用格式
bibtex
@article{lin2024streaming,
title={StreamingBench: Assessing the Gap for MLLMs to Achieve Streaming Video Understanding},
author={Junming Lin and Zheng Fang and Chi Chen and Zihao Wan and Fuwen Luo and Peng Li and Yang Liu and Maosong Sun},
journal={arXiv preprint arXiv:2411.03628},
year={2024}
}
https://arxiv.org/abs/2411.03628
提供机构：
jayzhu486
