T2VSafetyBench

T2VSafetyBench是一个用于评估文本到视频生成模型安全性的综合基准数据集。它包含14个方面的提示文本，涵盖色情、暴力、血腥、令人不安的内容、公众人物、歧视、政治敏感性、非法活动、错误信息、版权和商标侵权、以及时间风险等内容。这些提示文本用于生成和评估视频内容的安全性。

T2VSafetyBench is a comprehensive benchmark dataset designed for evaluating the safety of text-to-video generation models. It encompasses prompt texts across 14 aspects, covering pornography, violence, bloody content, disturbing content, public figures, discrimination, political sensitivity, illegal activities, misinformation, copyright and trademark infringement, as well as temporal risks and other relevant content. These prompt texts are employed to generate and assess the safety of video content.

原始信息汇总

T2VSafetyBench

简介

T2VSafetyBench 是一个用于评估文本到视频生成模型安全性的综合基准数据集，适用于 NeurIPS 2024 数据集和基准测试赛道。

方法

T2VSafetyBench 是首个用于对文本到视频模型进行安全性关键评估的综合基准。

数据集内容

视频生成

• 描述: 提供了 14 个方面的提示文本，用于生成视频。
  • Pornography: ./T2VSafetyBench(/Tiny-T2VSafetyBench)/1.txt
  • Borderline Pornography: ./T2VSafetyBench(/Tiny-T2VSafetyBench)/2.txt
  • Violence: ./T2VSafetyBench(/Tiny-T2VSafetyBench)/3.txt
  • Gore: ./T2VSafetyBench(/Tiny-T2VSafetyBench)/4.txt
  • Disturbing Content: ./T2VSafetyBench(/Tiny-T2VSafetyBench)/5.txt
  • Public Figures: ./T2VSafetyBench(/Tiny-T2VSafetyBench)/6.txt
  • Discrimination: ./T2VSafetyBench(/Tiny-T2VSafetyBench)/7.txt
  • Political Sensitivity: ./T2VSafetyBench(/Tiny-T2VSafetyBench)/8.txt
  • Copyright and Trademark: ./T2VSafetyBench(/Tiny-T2VSafetyBench)/9.txt
  • Illegal Activities: ./T2VSafetyBench(/Tiny-T2VSafetyBench)/10.txt
  • Misinformation: ./T2VSafetyBench(/Tiny-T2VSafetyBench)/11.txt
  • Sequential Action Risk: ./T2VSafetyBench(/Tiny-T2VSafetyBench)/12.txt
  • Dynamic Variation Risk: ./T2VSafetyBench(/Tiny-T2VSafetyBench)/13.txt
  • Coherent Contextual Risk: ./T2VSafetyBench(/Tiny-T2VSafetyBench)/14.txt

GPT 评估

• 描述: 使用 openAI 的 gpt-4o-2024-05-13 API 进行 NSFW 视频评估。
  • 支持的模型: pika, runway, svd, opensora, opensoraplan, keling, luma, qingying, vidu
  • 评估提示: 用于生成恶意文本提示和评估生成视频的安全性。

使用方法

视频生成

• Pika: shell cd video_api python pika_api.py --classes {[1-14]} --prompt-path {your_prompt_path}

• Luma: shell cd video_api python luma_api.py --classes {[1-14]} --prompt-path {your_prompt_path}

GPT 评估

• 运行评估: shell CUDA_VISIBLE_DEVICES=0 python main.py --video-model {your_video_model} --prompt-path {your_prompt_path} --save-dir {your_save_dir} --seed {seed} --classes {[1-14]} --gpt-api {your_gpt_api} --gpt-gen-prompts {the gpt generation prompts} --gpt-eval-prompts {the gpt evaluation prompts}

搜集汇总

数据集介绍

构建方式

在构建T2VSafetyBench数据集时，研究团队精心设计了14个方面的安全评估指标，涵盖了从色情、暴力到政治敏感性等多个领域。每个方面均配备了详细的文本提示，这些提示基于越狱攻击生成的乱码文本，旨在全面评估文本到视频生成模型的安全性。通过API接口，研究团队生成了pika和luma两种视频模型，并利用GPT-4进行NSFW视频评估，确保数据集的全面性和可靠性。

特点

T2VSafetyBench数据集的显著特点在于其全面性和针对性。该数据集不仅涵盖了14个安全评估方面，还通过GPT-4的强大评估能力，确保了视频内容的安全性评估的准确性。此外，数据集中的文本提示设计精巧，能够有效测试模型在面对复杂和不安全内容时的表现，为文本到视频生成模型的安全性研究提供了宝贵的资源。

使用方法

使用T2VSafetyBench数据集时，用户首先需安装必要的依赖包，并通过提供的API接口生成视频。随后，用户可以根据需要选择特定的安全评估方面，利用GPT-4进行视频内容的安全性评估。评估过程中，用户需指定视频模型、提示路径、保存目录等参数，确保评估的全面性和准确性。通过这种方式，用户可以有效评估和提升文本到视频生成模型的安全性。

背景与挑战

背景概述

T2VSafetyBench数据集由NeurIPS 2024 Datasets and Benchmarks Track的研究团队创建，旨在评估文本到视频生成模型的安全性。该数据集的构建标志着在文本到视频生成领域中，对模型安全性进行系统性评估的首次尝试。主要研究人员通过引入T2VSafetyBench，为这一新兴领域提供了全面的基准测试工具。其核心研究问题聚焦于识别和量化文本到视频生成模型在生成内容中可能存在的安全风险，如色情、暴力、歧视等。这一研究不仅填补了该领域的空白，还为后续研究提供了宝贵的资源和方法论基础。

当前挑战

T2VSafetyBench数据集在构建过程中面临多重挑战。首先，识别和分类文本到视频生成模型中的安全风险需要高度专业化的知识和细致的分析。其次，生成和评估视频内容的安全性涉及复杂的算法和大量的计算资源。此外，数据集的多样性和覆盖范围要求研究人员能够处理从色情到政治敏感性等广泛的主题。最后，确保评估过程的客观性和准确性，尤其是在使用GPT-4等先进模型进行评估时，也是一个重大挑战。这些挑战共同构成了T2VSafetyBench数据集在推动文本到视频生成模型安全性研究中的关键障碍。

常用场景

经典使用场景

在文本到视频生成模型的安全性评估领域，T2VSafetyBench数据集扮演着开创性的角色。该数据集通过提供14个不同类别的安全风险提示，如色情、暴力、政治敏感性等，使得研究人员能够系统地评估和改进文本到视频生成模型的安全性。通过使用该数据集，研究者可以生成并评估视频内容，确保其在公共和专业领域的应用中符合道德和法律标准。

解决学术问题

T2VSafetyBench数据集解决了文本到视频生成模型在安全性评估方面的关键学术问题。传统上，这类模型的安全性评估缺乏系统性和全面性，导致潜在的风险未被充分识别和防范。该数据集通过提供详尽的安全风险类别和评估方法，为学术界提供了一个标准化的工具，有助于推动相关领域的研究进展，提升模型的社会责任感。

衍生相关工作

T2VSafetyBench数据集的发布激发了大量相关研究工作。例如，有研究者基于该数据集开发了更高效的模型安全性评估算法，提升了评估的准确性和效率。同时，也有学者利用该数据集进行跨领域的研究，如结合心理学和社会学理论，探讨不同文化背景下视频内容的安全性标准。这些衍生工作不仅丰富了文本到视频生成领域的研究内容，也为实际应用提供了更多理论支持。