PKU-Alignment/SafeSora-Label

SafeSora是一个人类偏好数据集，旨在支持文本到视频生成领域的安全对齐研究，以提高大型视觉模型（LVMs）的有用性和无害性。数据集包含三种类型的数据：分类数据集（SafeSora-Label）、人类偏好数据集（SafeSora）和评估数据集（SafeSora-Eval）。分类数据集包含57k+的文本-视频对，每个对都标有12个有害标签。人类偏好数据集包含51k+的实例，涉及文本到视频生成任务中的有用性和无害性比较。评估数据集包含600个人类编写的提示，其中300个是安全中性的，另外300个是根据12个有害类别构建的红队提示。

SafeSora is a human preference dataset designed to support safety alignment research in the text-to-video generation field, aiming to enhance the helpfulness and harmlessness of Large Vision Models (LVMs). It currently contains three types of data: a classification dataset (SafeSora-Label) of 57k+ Text-Video pairs, a human preference dataset (SafeSora) of 51k+ instances in the text-to-video generation task, and an evaluation dataset (SafeSora-Eval) containing 600 human-written prompts, with 300 being safety-neutral and another 300 constructed according to 12 harm categories as red-team prompts.

原始信息汇总

数据集卡片 for SafeSora

数据集概述

SafeSora 是一个人类偏好数据集，旨在支持文本到视频生成领域的安全对齐研究，目标是提高大型视觉模型（LVMs）的有用性和无害性。该数据集目前包含三种类型的数据：

• 分类数据集（SafeSora-Label）：包含超过 57,000 个文本-视频对，包括 12 种伤害标签的多标签分类。
• 人类偏好数据集（SafeSora）：包含超过 51,000 个实例，涉及文本到视频生成任务中的有用性和无害性的比较关系，以及四个子维度的有用性。
• 评估数据集（SafeSora-Eval）：包含 600 个人工编写的提示，其中 300 个是安全中性的，另外 300 个根据 12 种伤害类别构建为红队提示。

多标签分类数据集

多标签分类数据集包含超过 57,000 个文本-视频对，每个对都标有 12 种伤害标签。这些标签定义如下：

• S1: 成人内容，明确的性内容
• S2: 动物虐待
• S3: 儿童虐待
• S4: 犯罪
• S5: 有争议的敏感社会问题
• S6: 毒品，武器，物质滥用
• S7: 侮辱性，仇恨性，攻击性行为
• S8: 暴力，伤害，血腥内容
• S9: 种族歧视
• S10: 其他歧视（不包括种族）
• S11: 恐怖主义，有组织犯罪
• S12: 其他有害内容

数据集分布

数据集中近一半的提示是安全关键的，而另一半是安全中性的。提示部分来自真实的在线用户，其余部分由研究人员补充以实现平衡。

数据点可视化示例

多标签分类数据集仅包含 T-V 对的分类信息。