lmms-lab/CVRR-ES

---
license: mit
dataset_info:
- config_name: continuity_and_object_instance_count
features:
- name: Q
dtype: string
- name: A
dtype: string
- name: DimensionName
dtype: string
- name: VideoID
dtype: string
splits:
- name: test
num_bytes: 42923
num_examples: 177
download_size: 19160
dataset_size: 42923
- config_name: fine_grained_action_understanding
features:
- name: Q
dtype: string
- name: A
dtype: string
- name: DimensionName
dtype: string
- name: VideoID
dtype: string
splits:
- name: test
num_bytes: 53455
num_examples: 230
download_size: 23040
dataset_size: 53455
- config_name: interpretation_of_social_context
features:
- name: Q
dtype: string
- name: A
dtype: string
- name: DimensionName
dtype: string
- name: VideoID
dtype: string
splits:
- name: test
num_bytes: 79195
num_examples: 280
download_size: 36688
dataset_size: 79195
- config_name: interpretation_of_visual_context
features:
- name: Q
dtype: string
- name: A
dtype: string
- name: DimensionName
dtype: string
- name: VideoID
dtype: string
splits:
- name: test
num_bytes: 72726
num_examples: 273
download_size: 32451
dataset_size: 72726
- config_name: multiple_actions_in_a_single_video
features:
- name: Q
dtype: string
- name: A
dtype: string
- name: DimensionName
dtype: string
- name: VideoID
dtype: string
splits:
- name: test
num_bytes: 73245
num_examples: 318
download_size: 29207
dataset_size: 73245
- config_name: non_existent_actions_with_existent_scene_depictions
features:
- name: Q
dtype: string
- name: A
dtype: string
- name: DimensionName
dtype: string
- name: VideoID
dtype: string
splits:
- name: test
num_bytes: 45259
num_examples: 138
download_size: 22787
dataset_size: 45259
- config_name: non_existent_actions_with_non_existent_scene_depictions
features:
- name: Q
dtype: string
- name: A
dtype: string
- name: DimensionName
dtype: string
- name: VideoID
dtype: string
splits:
- name: test
num_bytes: 46799
num_examples: 144
download_size: 22604
dataset_size: 46799
- config_name: partial_actions
features:
- name: Q
dtype: string
- name: A
dtype: string
- name: DimensionName
dtype: string
- name: VideoID
dtype: string
splits:
- name: test
num_bytes: 47285
num_examples: 206
download_size: 22203
dataset_size: 47285
- config_name: time_order_understanding
features:
- name: Q
dtype: string
- name: A
dtype: string
- name: DimensionName
dtype: string
- name: VideoID
dtype: string
splits:
- name: test
num_bytes: 36777
num_examples: 152
download_size: 17770
dataset_size: 36777
- config_name: understanding_emotional_context
features:
- name: Q
dtype: string
- name: A
dtype: string
- name: DimensionName
dtype: string
- name: VideoID
dtype: string
splits:
- name: test
num_bytes: 83666
num_examples: 292
download_size: 37302
dataset_size: 83666
- config_name: unusual_and_physically_anomalous_activities
features:
- name: Q
dtype: string
- name: A
dtype: string
- name: DimensionName
dtype: string
- name: VideoID
dtype: string
splits:
- name: test
num_bytes: 57262
num_examples: 190
download_size: 27769
dataset_size: 57262
configs:
- config_name: continuity_and_object_instance_count
data_files:
- split: test
path: continuity_and_object_instance_count/test-*
- config_name: fine_grained_action_understanding
data_files:
- split: test
path: fine_grained_action_understanding/test-*
- config_name: interpretation_of_social_context
data_files:
- split: test
path: interpretation_of_social_context/test-*
- config_name: interpretation_of_visual_context
data_files:
- split: test
path: interpretation_of_visual_context/test-*
- config_name: multiple_actions_in_a_single_video
data_files:
- split: test
path: multiple_actions_in_a_single_video/test-*
- config_name: non_existent_actions_with_existent_scene_depictions
data_files:
- split: test
path: non_existent_actions_with_existent_scene_depictions/test-*
- config_name: non_existent_actions_with_non_existent_scene_depictions
data_files:
- split: test
path: non_existent_actions_with_non_existent_scene_depictions/test-*
- config_name: partial_actions
data_files:
- split: test
path: partial_actions/test-*
- config_name: time_order_understanding
data_files:
- split: test
path: time_order_understanding/test-*
- config_name: understanding_emotional_context
data_files:
- split: test
path: understanding_emotional_context/test-*
- config_name: unusual_and_physically_anomalous_activities
data_files:
- split: test
path: unusual_and_physically_anomalous_activities/test-*
---

许可证：MIT协议
数据集信息：
- 配置名称：连续性与物体实例计数（continuity_and_object_instance_count）
特征字段：
- 问题（Q）：数据类型为字符串
- 答案（A）：数据类型为字符串
- 维度名称（DimensionName）：数据类型为字符串
- 视频ID（VideoID）：数据类型为字符串
划分集：
- 测试集（test）：字节数为42923，样本数量为177
下载大小：19160字节，数据集总大小：42923字节
- 配置名称：细粒度动作理解（fine_grained_action_understanding）
特征字段：
- 问题（Q）：数据类型为字符串
- 答案（A）：数据类型为字符串
- 维度名称（DimensionName）：数据类型为字符串
- 视频ID（VideoID）：数据类型为字符串
划分集：
- 测试集（test）：字节数为53455，样本数量为230
下载大小：23040字节，数据集总大小：53455字节
- 配置名称：社会语境解读（interpretation_of_social_context）
特征字段：
- 问题（Q）：数据类型为字符串
- 答案（A）：数据类型为字符串
- 维度名称（DimensionName）：数据类型为字符串
- 视频ID（VideoID）：数据类型为字符串
划分集：
- 测试集（test）：字节数为79195，样本数量为280
下载大小：36688字节，数据集总大小：79195字节
- 配置名称：视觉语境解读（interpretation_of_visual_context）
特征字段：
- 问题（Q）：数据类型为字符串
- 答案（A）：数据类型为字符串
- 维度名称（DimensionName）：数据类型为字符串
- 视频ID（VideoID）：数据类型为字符串
划分集：
- 测试集（test）：字节数为72726，样本数量为273
下载大小：32451字节，数据集总大小：72726字节
- 配置名称：单视频多动作理解（multiple_actions_in_a_single_video）
特征字段：
- 问题（Q）：数据类型为字符串
- 答案（A）：数据类型为字符串
- 维度名称（DimensionName）：数据类型为字符串
- 视频ID（VideoID）：数据类型为字符串
划分集：
- 测试集（test）：字节数为73245，样本数量为318
下载大小：29207字节，数据集总大小：73245字节
- 配置名称：场景存在但动作不存在的样本（non_existent_actions_with_existent_scene_depictions）
特征字段：
- 问题（Q）：数据类型为字符串
- 答案（A）：数据类型为字符串
- 维度名称（DimensionName）：数据类型为字符串
- 视频ID（VideoID）：数据类型为字符串
划分集：
- 测试集（test）：字节数为45259，样本数量为138
下载大小：22787字节，数据集总大小：45259字节
- 配置名称：场景与动作均不存在的样本（non_existent_actions_with_non_existent_scene_depictions）
特征字段：
- 问题（Q）：数据类型为字符串
- 答案（A）：数据类型为字符串
- 维度名称（DimensionName）：数据类型为字符串
- 视频ID（VideoID）：数据类型为字符串
划分集：
- 测试集（test）：字节数为46799，样本数量为144
下载大小：22604字节，数据集总大小：46799字节
- 配置名称：局部动作理解（partial_actions）
特征字段：
- 问题（Q）：数据类型为字符串
- 答案（A）：数据类型为字符串
- 维度名称（DimensionName）：数据类型为字符串
- 视频ID（VideoID）：数据类型为字符串
划分集：
- 测试集（test）：字节数为47285，样本数量为206
下载大小：22203字节，数据集总大小：47285字节
- 配置名称：时间顺序理解（time_order_understanding）
特征字段：
- 问题（Q）：数据类型为字符串
- 答案（A）：数据类型为字符串
- 维度名称（DimensionName）：数据类型为字符串
- 视频ID（VideoID）：数据类型为字符串
划分集：
- 测试集（test）：字节数为36777，样本数量为152
下载大小：17770字节，数据集总大小：36777字节
- 配置名称：情感语境理解（understanding_emotional_context）
特征字段：
- 问题（Q）：数据类型为字符串
- 答案（A）：数据类型为字符串
- 维度名称（DimensionName）：数据类型为字符串
- 视频ID（VideoID）：数据类型为字符串
划分集：
- 测试集（test）：字节数为83666，样本数量为292
下载大小：37302字节，数据集总大小：83666字节
- 配置名称：异常物理行为识别（unusual_and_physically_anomalous_activities）
特征字段：
- 问题（Q）：数据类型为字符串
- 答案（A）：数据类型为字符串
- 维度名称（DimensionName）：数据类型为字符串
- 视频ID（VideoID）：数据类型为字符串
划分集：
- 测试集（test）：字节数为57262，样本数量为190
下载大小：27769字节，数据集总大小：57262字节
配置项：
- 配置名称：连续性与物体实例计数（continuity_and_object_instance_count）
数据文件：
- 划分集：测试集（test），路径：continuity_and_object_instance_count/test-*
- 配置名称：细粒度动作理解（fine_grained_action_understanding）
数据文件：
- 划分集：测试集（test），路径：fine_grained_action_understanding/test-*
- 配置名称：社会语境解读（interpretation_of_social_context）
数据文件：
- 划分集：测试集（test），路径：interpretation_of_social_context/test-*
- 配置名称：视觉语境解读（interpretation_of_visual_context）
数据文件：
- 划分集：测试集（test），路径：interpretation_of_visual_context/test-*
- 配置名称：单视频多动作理解（multiple_actions_in_a_single_video）
数据文件：
- 划分集：测试集（test），路径：multiple_actions_in_a_single_video/test-*
- 配置名称：场景存在但动作不存在的样本（non_existent_actions_with_existent_scene_depictions）
数据文件：
- 划分集：测试集（test），路径：non_existent_actions_with_existent_scene_depictions/test-*
- 配置名称：场景与动作均不存在的样本（non_existent_actions_with_non_existent_scene_depictions）
数据文件：
- 划分集：测试集（test），路径：non_existent_actions_with_non_existent_scene_depictions/test-*
- 配置名称：局部动作理解（partial_actions）
数据文件：
- 划分集：测试集（test），路径：partial_actions/test-*
- 配置名称：时间顺序理解（time_order_understanding）
数据文件：
- 划分集：测试集（test），路径：time_order_understanding/test-*
- 配置名称：情感语境理解（understanding_emotional_context）
数据文件：
- 划分集：测试集（test），路径：understanding_emotional_context/test-*
- 配置名称：异常物理行为识别（unusual_and_physically_anomalous_activities）
数据文件：
- 划分集：测试集（test），路径：unusual_and_physically_anomalous_activities/test-*

原始信息汇总

数据集概述

数据集配置

continuity_and_object_instance_count

• 特征:
  • Q: string
  • A: string
  • DimensionName: string
  • VideoID: string
• 分割:
  • test:
    • 字节数: 42923
    • 样本数: 177
• 下载大小: 19160
• 数据集大小: 42923
• 数据文件:
  • test: continuity_and_object_instance_count/test-*

fine_grained_action_understanding

• 特征:
  • Q: string
  • A: string
  • DimensionName: string
  • VideoID: string
• 分割:
  • test:
    • 字节数: 53455
    • 样本数: 230
• 下载大小: 23040
• 数据集大小: 53455
• 数据文件:
  • test: fine_grained_action_understanding/test-*

interpretation_of_social_context

• 特征:
  • Q: string
  • A: string
  • DimensionName: string
  • VideoID: string
• 分割:
  • test:
    • 字节数: 79195
    • 样本数: 280
• 下载大小: 36688
• 数据集大小: 79195
• 数据文件:
  • test: interpretation_of_social_context/test-*

interpretation_of_visual_context

• 特征:
  • Q: string
  • A: string
  • DimensionName: string
  • VideoID: string
• 分割:
  • test:
    • 字节数: 72726
    • 样本数: 273
• 下载大小: 32451
• 数据集大小: 72726
• 数据文件:
  • test: interpretation_of_visual_context/test-*

multiple_actions_in_a_single_video

• 特征:
  • Q: string
  • A: string
  • DimensionName: string
  • VideoID: string
• 分割:
  • test:
    • 字节数: 73245
    • 样本数: 318
• 下载大小: 29207
• 数据集大小: 73245
• 数据文件:
  • test: multiple_actions_in_a_single_video/test-*

non_existent_actions_with_existent_scene_depictions

• 特征:
  • Q: string
  • A: string
  • DimensionName: string
  • VideoID: string
• 分割:
  • test:
    • 字节数: 45259
    • 样本数: 138
• 下载大小: 22787
• 数据集大小: 45259
• 数据文件:
  • test: non_existent_actions_with_existent_scene_depictions/test-*

non_existent_actions_with_non_existent_scene_depictions

• 特征:
  • Q: string
  • A: string
  • DimensionName: string
  • VideoID: string
• 分割:
  • test:
    • 字节数: 46799
    • 样本数: 144
• 下载大小: 22604
• 数据集大小: 46799
• 数据文件:
  • test: non_existent_actions_with_non_existent_scene_depictions/test-*

partial_actions

• 特征:
  • Q: string
  • A: string
  • DimensionName: string
  • VideoID: string
• 分割:
  • test:
    • 字节数: 47285
    • 样本数: 206
• 下载大小: 22203
• 数据集大小: 47285
• 数据文件:
  • test: partial_actions/test-*

time_order_understanding

• 特征:
  • Q: string
  • A: string
  • DimensionName: string
  • VideoID: string
• 分割:
  • test:
    • 字节数: 36777
    • 样本数: 152
• 下载大小: 17770
• 数据集大小: 36777
• 数据文件:
  • test: time_order_understanding/test-*

understanding_emotional_context

• 特征:
  • Q: string
  • A: string
  • DimensionName: string
  • VideoID: string
• 分割:
  • test:
    • 字节数: 83666
    • 样本数: 292
• 下载大小: 37302
• 数据集大小: 83666
• 数据文件:
  • test: understanding_emotional_context/test-*

unusual_and_physically_anomalous_activities

• 特征:
  • Q: string
  • A: string
  • DimensionName: string
  • VideoID: string
• 分割:
  • test:
    • 字节数: 57262
    • 样本数: 190
• 下载大小: 27769
• 数据集大小: 57262
• 数据文件:
  • test: unusual_and_physically_anomalous_activities/test-*

搜集汇总

数据集介绍

构建方式

在视频理解领域，复杂推理能力的评估对多模态大模型提出了严峻挑战。CVRR-ES数据集正是为攻克这一难题而生，其构建方式别具匠心。该数据集由11个独立子集构成，每个子集聚焦于一种特定的视频推理维度，例如连续性判断、细粒度动作理解、社交情境解读、视觉情境解析、单视频多动作识别、场景与动作的虚实对应、部分动作推理、时间顺序理解、情绪语境把握以及异常活动检测。每个样本包含问题（Q）、答案（A）、维度名称和视频ID四个字段，所有子集均以测试集形式提供，数据规模从138到318个样本不等，总样本量约2400条。这种模块化设计使得模型能在不同推理维度上被精准评估。

特点

该数据集的核心特点在于其精细化的推理维度划分与高度针对性的评估能力。不同于传统视频问答数据集仅关注表层事实，CVRR-ES深入挖掘了视频理解中的11个关键推理瓶颈，包括对连续性、时间顺序、动作完整性、场景合理性等高级认知能力的考察。每个子集均独立成体系，维度名称清晰标识了评估方向，如'non_existent_actions_with_existent_scene_depictions'专门测试模型对矛盾信息的处理能力。这种结构不仅提供了多维度的性能剖析，还允许研究者定向诊断模型的薄弱环节，为多模态推理研究提供了前所未有的精细度与深度。

使用方法

使用CVRR-ES数据集进行模型评估时，需通过Hugging Face的datasets库加载指定子集。用户可根据研究目标选择单一配置，如'continuity_and_object_instance_count'，或遍历所有11个配置进行综合评估。每个配置均包含test分片，加载后可直接获取QA对与元数据。具体操作时，调用load_dataset('lmms-lab/CVRR-ES', 'fine_grained_action_understanding', split='test')即可获得相应数据。模型需以视频ID关联的视频内容作为输入，回答对应问题，最终通过各子集的准确率指标衡量模型在不同推理维度上的表现。该流程简洁高效，便于集成至现有评估管线中。

背景与挑战

背景概述

在视频理解领域，现有基准大多聚焦于常规动作识别与场景分类，对于复杂认知维度的评估仍显不足。由lmms-lab研究团队于近期构建的CVRR-ES数据集，旨在系统性地检验多模态大模型在视频推理中的高阶能力。该数据集围绕十一个核心维度设计，包括连续性理解、细粒度动作解析、社会情境解读、视觉上下文推理、多动作共现、虚构动作与场景判别、部分动作识别、时间顺序推理、情感语境感知及异常活动检测，共计约2400个测试样本。每个样本均采用问答形式，要求模型在理解视频内容的基础上进行精确推断。这一架构不仅弥补了传统视频基准在认知层次上的空白，也为评估模型在现实复杂场景中的泛化性能提供了严谨的测试平台，对推动视频理解研究向更深层次的语义推理迈进具有重要启示。

当前挑战

CVRR-ES数据集所面临的挑战主要源于其对模型认知能力的严苛要求。在领域问题层面，传统视频理解模型往往依赖表面视觉特征，而该数据集要求模型掌握连续性、时间顺序、情感语境等抽象概念，这超越了简单的动作识别范畴，对模型的时空推理与常识理解构成显著考验。例如，模型需区分真实存在与虚构的动作场景，或理解不完整动作的语义，这要求其具备强大的反事实推理与补全能力。在数据集构建过程中，挑战同样突出：如何设计涵盖多元认知维度的问答对，确保每个维度的样本具有区分度与代表性，避免歧义与偏见；同时，视频素材的选取需平衡自然场景与人为构造内容，以维持生态效度。此外，标注过程需严格定义各维度的评判标准，这对标注人员的专业素养提出较高要求，也增加了数据质量控制与一致性维护的难度。

常用场景

经典使用场景

在视频理解与人工智能的交叉领域中，CVRR-ES数据集以其精细的维度划分，成为评估多模态大模型在复杂视频推理任务上表现的核心基准。该数据集涵盖了连续性感知、细粒度动作理解、社会情境解读、视觉情境解析、单视频多动作识别、不存在动作与存在/不存在场景的辨析、部分动作识别、时间顺序理解、情感语境解读以及异常物理活动等十一个子任务，为研究者提供了系统化检验模型在时空推理、因果推断与常识理解能力上的标准化测试平台。

解决学术问题

该数据集的构建有效填补了现有视频问答基准在反事实推理、动作-场景一致性判断以及社会情感理解等深层次认知维度上的空白。它解决了学术界长期面临的如何量化评估模型对视频中隐含逻辑矛盾、时间错位与社交动态的感知能力这一关键难题。通过引入非存在动作与场景描绘的对抗性样本，CVRR-ES推动了从浅层模式匹配向深层语义推理的研究范式转变，其细粒度的维度设计为分析模型在不同认知层面的缺陷提供了可解释的诊断工具。

衍生相关工作

CVRR-ES的发布催生了一系列围绕视频推理鲁棒性与可解释性的经典工作。研究者基于其维度设计提出了对抗性视频问答框架，通过构建反事实样本与时空扰动来系统检验模型的脆弱性；亦有工作将其作为核心评估集，发展出融合因果图与神经符号推理的新型多模态架构。此外，该数据集还启发了面向情感动态建模的跨模态注意力机制研究，以及针对时间顺序错乱检测的序列对比学习范式，显著推动了视频认知科学在人工智能领域的理论深化与方法创新。