peterlrm/OpenS2V-Eval
收藏资源简介：
OpenS2V-Nexus 是一个用于主题到视频生成（Subject-to-Video Generation）的大规模数据集和基准测试。它包含 OpenS2V-5M 子集，该子集经过高质量过滤，涵盖约 500 万个样本，用于训练视频生成模型。此外，数据集还包括 OpenS2V-Eval 基准测试，提供 180 个提示，分为七个主要类别（融合真实和合成数据），并引入三个自动评估指标（NexusScore、NaturalScore、GmeScore）来量化生成视频的主题一致性、自然性和文本相关性。该数据集旨在支持对主题到视频生成模型的全面评估和比较。
--- language: - 英语 license: - CC BY 4.0 size_categories: - 100万 < 样本数量 < 1000万 task_categories: - 文本转视频 tags: - 主题转视频（subject-to-video） - 文本转视频（text-to-video） - 图像转视频（image-to-video） - 视频生成（video-generation） - 大规模（large-scale） - 基准测试集（benchmark） - 评测（evaluation） configs: - config_name: 默认（default） data_files: - split: 开放域（open_domain） path: Open-Domain_Eval.json - split: 人类域（human_domain） path: Human-Domain_Eval.json - split: 单域（single_domain） path: Single-Domain_Eval.json - split: 困难样本开发集（dev_hard_case） path: Hard-Case_Dev_Eval/Hard-Case_Dev_Eval.json --- <div align=center> <img src="https://github.com/PKU-YuanGroup/OpenS2V-Nexus/blob/main/__assets__/OpenS2V-Nexus_logo.png?raw=true" width="300px"> </div> <h2 align="center"> <a href="https://pku-yuangroup.github.io/OpenS2V-Nexus/">OpenS2V-Nexus：面向主题转视频生成的细粒度基准测试集与百万级数据集</a></h2> <h5 align="center"> 如果您喜欢本项目，请在GitHub上点亮⭐以获取最新更新。</h5> <p style="color:red; font-size:25px"> 我们已发布高质量的OpenS2V-5M子集。该子集并非仅包含30万条样本——我们对全部500万条数据进行了全量过滤。您可点击<a href="https://github.com/PKU-YuanGroup/OpenS2V-Nexus/blob/main/data_process/README.md#step-7---fetch-high-quality-subset" style="color:red">此处</a>了解更多细节，点击<a href="https://huggingface.co/datasets/BestWishYsh/OpenS2V-5M/tree/main/Jsons/mask_and_bbox_High-Quality" style="color:red">此处</a>进行下载。 </p> <p style="color:red; font-size:25px"> 关于在训练阶段如何使用OpenS2V-5M，我们在此处提供了一个演示数据加载器<a href="https://github.com/PKU-YuanGroup/OpenS2V-Nexus/tree/main/data_process/demo_dataloader.py" style="color:red">demo dataloader</a>。您也可以参考<a href="https://github.com/bytedance/BindWeave" style="color:red">BindWeave代码</a>，该项目正是使用OpenS2V-5M进行训练的。 </p> ## ✨ 概述 **OpenS2V-Eval** 收录了覆盖7大主题转视频（S2V）类别的180条提示词，涵盖真实与合成测试数据。此外，为了精准对齐人类偏好与主题转视频基准测试集，我们提出了三项自动评测指标：**NexusScore**、**NaturalScore**与**GmeScore**，分别用于量化生成视频中的主题一致性、自然度与文本相关性。基于此框架，我们对18款具有代表性的S2V模型开展了全面评测，揭示了它们在不同内容场景下的优劣表现。 本基准测试集相关论文为：<a href="https://huggingface.co/papers/2505.20292">《OpenS2V-Nexus：面向主题转视频生成的细粒度基准测试集与百万级数据集》</a> ## 评测自定义模型 若需了解如何使用OpenS2V-Eval评测您的自定义模型，请参阅<a href="https://github.com/PKU-YuanGroup/OpenS2V-Nexus/tree/main/eval">此指南</a>。 ## 获取不同S2V模型生成的视频 若需查看各类S2V模型生成的视频详情，请参阅<a href="https://huggingface.co/datasets/BestWishYsh/OpenS2V-Eval/tree/main/Results">此链接</a>。 ## 项目说明 - **仓库地址**：[代码](https://github.com/PKU-YuanGroup/OpenS2V-Nexus)、[项目主页](https://pku-yuangroup.github.io/OpenS2V-Nexus/)、[数据集](https://huggingface.co/datasets/BestWishYsh/OpenS2V-5M)、[基准测试集](https://huggingface.co/datasets/BestWishYsh/OpenS2V-Eval) - **论文链接**：[https://huggingface.co/papers/2505.20292](https://huggingface.co/papers/2505.20292) - **联系方式**：[袁盛海（Shenghai Yuan）](shyuan-cs@hotmail.com) ## 引用声明 如果您的研究中用到了我们的论文与代码，请考虑点亮⭐并引用我们的工作。 BibTeX @article{yuan2025opens2v, title={OpenS2V-Nexus: A Detailed Benchmark and Million-Scale Dataset for Subject-to-Video Generation}, author={Yuan, Shenghai and He, Xianyi and Deng, Yufan and Ye, Yang and Huang, Jinfa and Lin, Bin and Luo, Jiebo and Yuan, Li}, journal={arXiv preprint arXiv:2505.20292}, year={2025} }
