agentic-vbench-europarl

European Parliament speaker-turn task materials 数据集是一个用于AgenticVBench提案的基准研究数据集，核心名称为europarl-2026-single-market-speaker-turn-ledger。该数据集旨在支持与欧洲议会辩论中发言者转换相关的任务研究。数据集包含两个主要组成部分：视频文件debate.mp4，记录了2026年5月20日在斯特拉斯堡举行的欧洲议会全体辩论片段（时间区间09:59:32-12:07:14），视频时长为7,662秒，分辨率为1920x1080，编码格式为H.264，音频仅包含原始发言席的单声道AAC轨道，不包含任何口译音轨；压缩包roster.tar.gz，内包含JSON格式的名册文件roster.json、79个经过评分的官方欧洲议会议员肖像图像，以及663个来自可用任期目录的非发言官方议员干扰项图像。数据集未提供真实姓名映射和答案密钥。所有材料均来源于欧洲议会官方渠道，包括辩论页面、官方视频点播、发言者列表和议员目录API。数据集版权归欧盟所有，使用需遵守欧洲议会法律通知和视听服务条款，允许为欧盟信息与教育目的进行部分复制和编辑。该数据集专门发布用于可复现的基准研究和教育用途。European Parliament speaker-turn task materials is a benchmark research dataset for the AgenticVBench proposal, with the core name europarl-2026-single-market-speaker-turn-ledger. This dataset is designed to support research on tasks related to speaker-turn transitions in European Parliament debates. The dataset consists of two main components: 1) a video file debate.mp4, which records a segment of the European Parliament plenary debate held in Strasbourg on May 20, 2026 (time interval 09:59:32-12:07:14), with a duration of 7,662 seconds, a resolution of 1920x1080, encoded in H.264 format, and audio containing only a mono AAC track from the original speaking position without any interpretation tracks; 2) a compressed package roster.tar.gz, containing a JSON-format roster file roster.json, 79 scored official European Parliament member portrait images, and 663 non-speaking official member distractor images from the available term directory. The dataset does not provide real-name mappings or answer keys. All materials are sourced from official European Parliament channels, including debate pages, official video-on-demand, speaker lists, and member directory APIs. The dataset copyright belongs to the European Union, and use must comply with the European Parliament legal notice and audiovisual service terms, allowing partial reproduction and editing for EU information and educational purposes. This dataset is specifically released for reproducible benchmark research and educational use.

原始信息汇总

数据集概述：AgenticVBench European Parliament Speaker-Turn Materials

• 数据集名称：AgenticVBench European Parliament Speaker-Turn Materials
• 来源：欧洲议会（European Parliament）2026年5月20日斯特拉斯堡全体会议辩论片段
• 许可证：其他（需遵守欧盟官方条款）

数据集内容

数据集中包含两个主要文件：

1. debate.mp4

   • 视频文件，分辨率为1920×1080，时长7,662秒（约2小时7分42秒）。
   • 包含一条H.264视频流和一条单声道AAC地板音频流（仅原始会场音频，不含同声传译音轨）。
   • 对应2026年5月20日斯特拉斯堡全体会议辩论时间段 09:59:32–12:07:14。
   • SHA-256 校验值：fef8b986d03d35d2d61b2ed8104f130dbc125f95cfee8704cee121cc5a2f4e8e

2. roster.tar.gz

   • 压缩包，包含 roster.json 文件、79张已评分的官方欧洲议会议员（MEP）肖像、663张未发言的官方MEP干扰项肖像（来自可用第10届任期目录），以及86条经过脱敏处理的官方演讲稿摘录（顺序已打乱）。
   • SHA-256 校验值：6ea23c93142c12d985c6cf81256fb4d9caa3e7482c96b15709d2847326d2a467

注意：数据集中不包含真实姓名映射表和答案密钥。

官方来源链接

• 辩论页面：https://www.europarl.europa.eu/plenary/en/debate-details.html?date=20260520&detailBy=date
• 官方最终VOD公共ID：20260520-0900-PLENARY
• 官方运行发言名单：https://www.europarl.europa.eu/plenary/en/previousDebate/pdf.html?internalEPId=2017076952270&sessionDay=2026-05-20
• 官方MEP目录API：https://data.europarl.europa.eu/api/v2/meps

使用条件与版权

• 版权声明：© 欧洲联盟，2026 — 来源：欧洲议会。
• 授权范围：
  • 根据欧盟法律声明，允许部分复制，但需附上完整来源链接并注明来源。
  • 视听服务条款允许将其他视频材料编辑用于欧盟信息和教育目的。
• 用户责任：用户需自行遵守当前源条款，包括：
  • 法律声明：https://www.europarl.europa.eu/portal/en/legal-notice
  • 多媒体中心使用条款：https://www.europarl.europa.eu/website/multimedia-centre/en/about_us.html
• 用途说明：本数据集仅用于可复现的基准研究和教育目的，不授予超出官方源条件的任何权利。

搜集汇总

数据集介绍

构建方式

该数据集源于欧洲议会2026年5月20日斯特拉斯堡全体会议的一场辩论，聚焦于单一市场议题下的发言人轮次识别任务。构建过程中，研究人员截取了当日辩论视频中09:59:32至12:07:14的片段，共计7662秒，分辨率达1920x1080，仅保留原始会场音频轨道。为配合任务需求，数据集额外整合了79张经评分校准的欧洲议会议员官方肖像、663张作为干扰项的非发言人画像，以及86条经过脱敏处理的官方演讲摘录。所有素材均通过SHA-256哈希校验以确保数据完整性，并严格遵循欧洲议会法律声明与视听服务条款，仅用于可复现的基准研究与教育目的。

使用方法

该数据集适用于语音活动检测、说话人识别、说话人日志及多模态人物身份推理等任务的模型训练与评测。使用时可从debate.mp4中提取视频帧与单声道音频流，结合roster.tar.gz中的肖像与语音摘录构建样本-标签对。模型需在给定视频时间窗口内，根据画面中出现的人物及其对应的音频特征，推断出发言者身份。任务设计强调时序对齐与多模态融合能力，研究者可依据官方议会发言列表进行结果验证，但需自行获取映射关系以规避数据污染。评测指标建议包括准确率、查准率、查全率及帧级错误率等通用标准。

背景与挑战

背景概述

AgenticVBench European Parliament Speaker-Turn Materials 数据集创建于2026年，由欧洲议会官方数据支撑，聚焦于多模态智能体在复杂场景下的说话人识别任务。该数据集以欧洲议会2026年5月20日斯特拉斯堡全体会议为背景，整合了长达两小时零八分钟的高清辩论视频、79位发言议员的官方肖像及663位非发言议员的干扰项，旨在评估智能体对演讲者身份、发言时序及多模态线索的联合推理能力。其核心研究问题在于模拟真实政治辩论中多源异构信息的融合与身份验证，为智能体在会议纪要生成、发言者跟踪等下游任务提供标准化测试基准，对推动多模态智能体在政治、法律及媒体领域的应用具有重要影响力。

当前挑战

数据集面临的挑战主要体现在三个层面：首先，领域问题层面，说话人识别需应对议会辩论中频繁的发言交替、多语种口音差异、背景噪声干扰及摄像机多角度切换，这对智能体的鲁棒性和实时性提出严苛要求；其次，构建过程中，需从官方冗长的流媒体视频中精确提取发言人时段，并通过MEP目录API匹配肖像与身份，同时平衡真实发言者与干扰项的数量，以避免模型过拟合；最后，数据版权与隐私保护要求严格，无法公开真实姓名映射和答案键，限制了数据集的完全开源与跨机构复现验证。

常用场景

经典使用场景

AgenticVBench European Parliament Speaker-Turn Materials数据集专为多模态智能体系统的评估而构建，其经典使用场景集中于视频与音频联合理解下的说话人识别与角色分配任务。该数据集提供了一段长达两小时的欧洲议会实时辩论视频，涵盖高分辨率画面与会场原始音频，并辅以包含79名评分官员肖像及663名干扰项议员的标准化花名册。研究者利用这些素材，可模拟智能体在复杂多人对话环境中追踪发言者轮次、匹配面部与语音身份，从而检验模型在时序对齐、跨模态关联及鲁棒识别方面的综合能力。

解决学术问题

该数据集直面智能体系统在真实场景中的两大核心学术难题：其一，如何在持续约两小时的长视频中准确识别并记录每位发言者的身份，克服多人交替发言、面部遮挡及角度变化等干扰；其二，如何从包含数百名干扰项的候选名单中精确匹配发言者，避免因相似外貌或语音特征导致的误判。其意义在于，通过构建难以作弊的标准化评估基准（未公开真名映射与答案），促使研究者开发更鲁棒的跨模态对齐算法与说话人验证技术，进而推动智能体从实验室环境迈向会议室、法庭等动态多参与方的现实应用。

实际应用

在实际应用层面，该数据集模拟了议会、庭审、峰会等多方辩论场景，可用于训练数字助理或会议纪要系统自动识别发言顺序并关联发言人档案。例如，企业会议软件可借此提升参会者身份追踪的准确性，新闻媒体能快速提炼辩论中不同议员的核心观点，而司法记录系统则能自动化归档庭审发言。此外，该数据集的构建方式（含干扰项与多模态引用）为智能体在实际部署前提供了严格的压力测试，确保其在嘈杂环境或高并发场景下仍能稳定执行身份验证任务。

数据集最近研究

最新研究方向

该数据集聚焦于多模态智能体系统在复杂场景下的细粒度时序感知与身份对齐能力评估，其核心创新在于将欧洲议会真实议程中的多语种辩论视频、高分辨率议员肖像库及官方发言摘要整合为标准化测评基准。伴随2026年欧洲议会关于单一市场议题的史无前例长时段辩论（逾两小时），研究者可借此前沿探索智能体在动态多人场景中同步追踪发言者身份、理解连续辩论逻辑、并跨越视觉-音频-文本异构模态实现精确指代消除的突破性能力。数据集通过剔除同声传译声道、保留纯会议厅原声的设计，更逼近真实多语言政治辩论中的噪声与韵律特征，为构建可信赖的议会级会议智能分析系统提供了关键验证场域，其蕴含的实时多说话者交叠检测、异构数据流时序对齐等挑战，正推动多模态智能体从静态识别向动态推理的范式跃迁。