有没有相关的论文或文献参考？
这个数据集是基于什么背景创建的？
数据集的作者是谁？
能帮我联系到这个数据集的作者吗？
这个数据集如何下载？
TemporalBench|视频理解数据集|时间理解数据集
收藏arXiv2024-10-16 更新2024-10-16 收录
下载链接：
https://TemporalBench.github.io/
下载链接
链接失效反馈资源简介：
TemporalBench是一个专注于评估多模态视频模型细粒度时间理解能力的新基准数据集。该数据集由约10,000个视频问答对组成，这些问答对来源于约2,000个高质量的人工标注，详细描述了视频片段中的时间动态。数据集的内容涵盖了从细粒度动作理解到长视频理解的多种任务，旨在解决现有视频基准在时间理解评估上的不足。数据集的创建过程包括从现有视频基准中收集视频片段，并通过亚马逊机械土耳其工人进行详细标注，然后利用大型语言模型生成负样本并进行筛选。TemporalBench的应用领域广泛，包括视频问答、视频字幕生成、长视频理解等，旨在推动模型在时间推理能力上的研究。
提供机构：
微软研究院
创建时间：
2024-10-15
AI搜集汇总
数据集介绍
构建方式
TemporalBench的构建方式基于对视频中细粒度时间动态的深入理解。该数据集包含约10,000个视频问答对，这些问答对源自约2,000个高质量的人工注释，详细描述了视频片段中的时间动态。通过这种方式，TemporalBench提供了一个独特的测试平台，用于评估各种时间理解和推理能力，如动作频率、运动幅度、事件顺序等。此外，它还支持对视频问答和字幕生成等多种任务的评估，涵盖了从短到长的视频理解，以及多模态视频嵌入模型和文本生成模型。
使用方法
TemporalBench的使用方法多样，可用于评估多模态视频模型在细粒度视频问答、视频字幕生成、长视频理解等任务上的表现。具体而言，研究人员可以通过提供详细的正字幕和相关的负字幕，评估模型在区分细微时间差异上的能力。此外，该数据集还可用于视频文本匹配和检索任务，以及从详细文本描述中进行视频定位。通过这些任务，TemporalBench旨在推动多模态视频模型在时间推理能力上的进一步发展。
背景与挑战
背景概述
TemporalBench，由威斯康星大学麦迪逊分校和微软研究院等机构的研究人员共同开发，旨在评估多模态视频模型对视频中细粒度时间动态的理解能力。该数据集包含约10,000个视频问答对，源自约2,000个高质量的人工标注，详细描述了视频片段中的时间动态。TemporalBench的推出填补了现有视频基准在评估模型时间理解能力方面的不足，为视频问答、视频字幕生成等任务提供了独特的测试平台。
当前挑战
TemporalBench面临的挑战包括：1) 解决现有视频基准在细粒度时间标注方面的缺失，这导致模型难以真正理解视频内容的时间动态；2) 在构建过程中，研究人员需要克服语言模型在多选题回答中的偏差问题，提出了多重二元准确性（MBA）来纠正这一偏差。此外，当前最先进的模型如GPT-4o在TemporalBench上的问答准确率仅为38.5%，显示出人类与AI在时间理解上的显著差距。
常用场景
经典使用场景
TemporalBench 数据集的经典使用场景在于评估多模态视频模型对视频中细粒度时间动态的理解能力。该数据集通过约 10,000 个视频问答对，涵盖了从约 2,000 个高质量人类注释中提取的细粒度时间动态信息，为模型提供了独特的测试平台，以评估其在动作频率、运动幅度、事件顺序等方面的理解和推理能力。此外，TemporalBench 还支持视频问答和字幕生成等多种任务的评估，适用于短视频和长视频的理解，以及多模态视频嵌入模型和文本生成模型的评估。
解决学术问题
TemporalBench 数据集解决了现有视频基准在评估模型时间理解能力方面的不足。由于缺乏细粒度的时间注释，现有视频基准大多类似于静态图像基准，无法有效评估模型对视频内容的时间理解。TemporalBench 通过提供详细的细粒度时间注释，填补了这一空白，使得研究人员能够更准确地评估和改进模型在视频理解中的时间推理能力。这不仅推动了多模态视频模型的发展，也为相关领域的学术研究提供了新的方向和挑战。
实际应用
TemporalBench 数据集在实际应用中具有广泛的前景，特别是在需要细粒度时间理解的视频分析领域。例如，在活动识别、长期动作预测、自动驾驶和机器人感知等应用中，模型需要能够理解和推理视频中的时间动态。通过使用 TemporalBench 进行模型训练和评估，可以显著提升这些应用中的模型性能，从而在实际场景中实现更精确和可靠的视频分析和决策。
数据集最近研究
最新研究方向
在多模态视频模型领域，TemporalBench数据集的最新研究方向聚焦于细粒度的时间理解评估。该数据集通过约10,000个视频问答对，源自约2,000个高质量的人工标注，详细描述了视频片段中的时间动态。这使得TemporalBench成为评估模型在动作频率、运动幅度、事件顺序等时间理解能力的独特测试平台。此外，该数据集还支持视频问答和字幕生成等任务的评估，涵盖短视频和长视频理解，以及多模态视频嵌入模型和文本生成模型。研究表明，即使是如GPT-4o这样的最先进模型，在TemporalBench上的问答准确率也仅为38.5%，显示出人类与AI在时间理解上的显著差距。这一研究方向旨在推动模型在时间推理能力上的进一步发展。
相关研究论文
- 1TemporalBench: Benchmarking Fine-grained Temporal Understanding for Multimodal Video Models微软研究院 · 2024年
以上内容由AI搜集并总结生成
数据主题
5,000+
优质数据集
54 个
任务类型
进入经典数据集
热门数据集
AIS数据集
该研究使用了多个公开的AIS数据集，这些数据集经过过滤、清理和统计分析。数据集涵盖了多种类型的船舶，并提供了关于船舶位置、速度和航向的关键信息。数据集包括来自19,185艘船舶的AIS消息，总计约6.4亿条记录。
github 收录
LibriSpeech
LibriSpeech 是一个大约 1000 小时的 16kHz 英语朗读语音语料库，由 Vassil Panayotov 在 Daniel Povey 的协助下编写。数据来自 LibriVox 项目的已读有声读物，并经过仔细分割和对齐。
OpenDataLab 收录
HotpotQA
HotpotQA 是收集在英语维基百科上的问答数据集，包含大约 113K 众包问题，这些问题的构建需要两篇维基百科文章的介绍段落才能回答。数据集中的每个问题都带有两个黄金段落，以及这些段落中的句子列表，众包工作人员认为这些句子是回答问题所必需的支持事实。 HotpotQA 提供了多种推理策略，包括涉及问题中缺失实体的问题、交叉问题（什么满足属性 A 和属性 B？）和比较问题，其中两个实体通过一个共同属性进行比较等。在少文档干扰设置中，QA 模型有 10 个段落，保证能找到黄金段落；在开放域全维基设置中，模型只给出问题和整个维基百科。模型根据其答案准确性和可解释性进行评估，其中前者被测量为具有完全匹配 (EM) 和 unigram F1 的预测答案和黄金答案之间的重叠，后者关注预测的支持事实句子与人类注释的匹配程度（Supporting Fact EM/F1)。该数据集还报告了一个联合指标，它鼓励系统同时在两项任务上表现良好。 来源：通过迭代查询生成回答复杂的开放域问题
OpenDataLab 收录
FLIR Dataset
该数据集主要提供三种类型的热成像图像：训练集包含8862张热成像图像，验证集包含1366张热成像图像，视频集包含4224张热成像图像。这些图像被用于训练YOLOv3检测器，并在验证集上报告了mAP。视频集用于跟踪检测到的对象。
github 收录
中国区域交通网络数据集
该数据集包含中国各区域的交通网络信息，包括道路、铁路、航空和水路等多种交通方式的网络结构和连接关系。数据集详细记录了各交通节点的位置、交通线路的类型、长度、容量以及相关的交通流量信息。
data.stats.gov.cn 收录