Paper2Video

Paper2Video是一个包含101篇论文与其对应的作者录制演讲视频、幻灯片和演讲者元数据的基准数据集。数据集涵盖了机器学习、计算机视觉和自然语言处理等多个领域，每篇论文平均包含13.3K个词（3.3K个tokens）、44.7个图表和28.7页内容，提供了多模态长文档输入。数据集旨在解决学术演示视频生成中的多模态长上下文理解、多轮代理任务、个性化演讲者合成和时空定位等挑战。Paper2Video is a benchmark dataset consisting of 101 academic papers paired with their corresponding author-recorded presentation videos, slides, and speaker metadata. The dataset covers multiple research fields including machine learning, computer vision, and natural language processing. On average, each paper contains 13.3K words (3.3K tokens), 44.7 figures and tables, and 28.7 pages of content, providing multi-modal long-document inputs. This dataset is designed to address core challenges in academic presentation video generation, such as multi-modal long-context understanding, multi-turn agent tasks, personalized speaker synthesis, and spatiotemporal localization.

搜集汇总

数据集介绍

构建方式

在学术视频生成研究领域，Paper2Video基准通过精心筛选101篇来自机器学习、计算机视觉和自然语言处理领域的会议论文构建而成。该数据集以作者录制的原始演示视频为核心，配套收集了完整的幻灯片文件、演讲者肖像及语音样本，构建过程严格遵循多模态数据对齐原则。为确保数据质量，研究团队从YouTube和SlidesLive平台系统采集素材，并通过作者个人网站补充缺失的元数据，最终形成包含论文全文、演示视频和演讲者身份信息的完整数据对。

使用方法

研究者在运用该数据集时，可通过其配套的四项评估指标系统开展全面评测。Meta Similarity指标通过视觉语言模型比对生成内容与人工制作素材的相似度；PresentArena采用视频大语言模型进行双序对比评估；PresentQuiz通过论文衍生问题检验知识传递效果；IP Memory则模拟学术会议场景评估作品影响力留存。实际应用中，研究者可将生成系统输出的幻灯片、字幕、语音等内容与数据集中的基准样本进行多维度比对，从而客观衡量生成质量与人类水平的差距。

背景与挑战

背景概述

Paper2Video数据集由新加坡国立大学Show实验室于2025年提出，旨在解决学术交流中视频制作的高成本问题。该数据集包含101篇科研论文与作者录制的演示视频、幻灯片及讲者元数据的配对资源，核心研究聚焦于自动化生成学术演示视频，以替代传统耗时数小时的人工制作流程。其创新性在于首次构建了多模态长文档输入与视频输出的标准基准，推动了人工智能在科研传播领域的应用，为学术视频生成任务提供了可靠的评估基础。

当前挑战

该数据集应对的领域挑战包括多模态长上下文理解，即科研论文包含密集文本、图表和公式，需精确提取关键信息；多通道协调生成，涉及幻灯片、字幕、语音和讲者视频的时空对齐；以及缺乏专门评估指标，传统视频生成指标难以衡量知识传递效果。构建过程中的挑战源于数据收集复杂性，如完整元数据（讲者肖像、语音样本）的获取与校对，以及多模态数据的高质量配对与标注，确保基准的严谨性与覆盖面。

常用场景

经典使用场景

在学术交流领域，Paper2Video数据集为自动化学术演示视频生成提供了基准测试平台。该数据集包含101篇研究论文与作者录制的演示视频配对，涵盖机器学习、计算机视觉和自然语言处理等多个子领域。研究人员利用这一数据集训练和评估多模态代理框架，实现从论文到演示视频的端到端生成，包括幻灯片设计、字幕生成、语音合成和演讲者渲染等关键环节。

解决学术问题

该数据集有效解决了学术演示视频生成中的三大核心挑战：长文本多模态理解问题，通过处理平均包含13.3K单词和44.7张图的论文内容；多通道协调问题，实现了幻灯片、字幕、语音和演讲者画面的时空对齐；评估标准缺失问题，提出了元相似性、演示竞技场、演示测验和知识产权记忆四项专门评估指标，为学术视频质量提供了量化标准。

实际应用

在实际应用层面，Paper2Video支撑的自动化系统显著提升了学术传播效率。研究机构可利用该技术快速生成会议投稿视频，教育机构能自动化制作课程讲解材料，科技公司则可批量生产技术文档演示。实验表明，基于该数据集开发的PaperTalker框架将视频制作时间缩短至传统方法的六分之一，同时保持与人工制作相当的信息传达效果。

数据集最近研究

最新研究方向

在学术交流视频自动化生成领域，Paper2Video数据集推动了多模态长文档理解与智能体协同框架的前沿探索。该研究聚焦于从科研论文生成演示视频的超级问题，通过整合幻灯片布局优化、时空对齐的光标轨迹生成以及个性化演讲者合成等关键技术，突破了传统自然视频生成模型在长上下文处理与多通道协调方面的局限。关联的热点事件包括AI4Research范式的兴起及多智能体在学术工作流中的应用扩展，其影响在于显著降低了科研传播的劳动力成本，为可扩展的学术交流自动化奠定了实践基础。

相关研究论文

• 通过

  新加坡国立大学 · 2025年