M3-Bench
收藏资源简介：
M3-Bench是一个长视频问答数据集，旨在评估多模态代理在长期记忆中进行推理的能力。该数据集包含两个子集：M3-Bench-robot，包含100个从机器人第一人称视角记录的实景视频；M3-Bench-web，包含929个网络来源的视频，涵盖更广泛的内容和场景。
M3-Bench is a long-form video question answering dataset designed to evaluate the reasoning capabilities of multimodal agents when performing inference based on long-term memory. The dataset comprises two subsets: M3-Bench-robot, which contains 100 real-world videos recorded from a first-person perspective of a robot; and M3-Bench-web, which includes 929 videos sourced from the web, covering a wider range of content and scenarios.
M3-Bench 数据集概述
数据集简介
- 名称：M3-Bench
- 类型：长视频问答数据集
- 目的：评估多模态代理在长期记忆基础上的推理能力
数据集组成
- M3-Bench-robot：
- 包含100个真实世界视频
- 从机器人第一人称视角录制
- M3-Bench-web：
- 包含929个网络来源视频
- 覆盖更广泛的内容和场景
数据内容
- 每个实例包含：
- 一个长视频（模拟代理的感知输入）
- 一系列开放式问答对
- 问答任务设计目标：
- 评估多模态代理构建一致可靠长期记忆的能力
- 评估基于记忆的有效推理能力
数据获取
- M3-Bench-robot视频：
- 下载地址：https://huggingface.co/datasets/ByteDance-Seed/M3-Bench/tree/main/videos/robot
- M3-Bench-web视频：
- 通过
data/annotations/web.json中的video_url获取
- 通过
可选数据
- 中间输出：
- 下载地址：https://huggingface.co/datasets/ByteDance-Seed/M3-Bench/tree/main/intermediate_outputs
- 记忆图：
- 下载地址：https://huggingface.co/datasets/ByteDance-Seed/M3-Bench/tree/main/memory_graphs
相关模型
- M3-Agent-Memorization模型：
- 下载地址：https://huggingface.co/ByteDance-Seed/M3-Agent-Memorization
- M3-Agent-Control模型：
- 下载地址：https://huggingface.co/ByteDance-Seed/M3-Agent-Control
引用
BibTeX @misc{long2025seeing, title={Seeing, Listening, Remembering, and Reasoning: A Multimodal Agent with Long-Term Memory}, author={Lin Long, Yichen He, Wentao Ye, Yiyuan Pan, Yuan Lin, Hang Li, Junbo Zhao, Wei Li}, year={2025}, eprint={2508.09736}, archivePrefix={arXiv}, primaryClass={cs.CV} }
