STORAL
收藏arXiv2022-04-20 更新2024-06-21 收录
下载链接:
https://github.com/thu-coai/MoralStory
下载链接
链接失效反馈官方服务:
资源简介:
STORAL数据集由清华大学CoAI小组开发,包含4209个中文和1779个英文的道德故事。这些故事通过人工标注与道德配对,旨在测试机器理解和生成道德故事的能力。数据集强调故事与隐含道德之间的关联,涉及抽象概念理解和事件间话语关系的捕捉。STORAL的应用领域包括阅读理解和论文写作,旨在通过故事传达道德观念,解决机器在理解和生成道德故事方面的挑战。
The STORAL dataset was developed by the CoAI Group at Tsinghua University, comprising 4209 Chinese and 1779 English moral stories. Each story was manually annotated and paired with its corresponding moral implication, aiming to evaluate machines' ability to understand and generate moral stories. The dataset highlights the association between stories and their implicit moral connotations, covering the comprehension of abstract concepts and the extraction of discourse relations between events. Its application areas include reading comprehension and essay writing, with the goal of conveying moral concepts through stories and addressing the challenges faced by machines in understanding and generating moral stories.
提供机构:
清华大学
创建时间:
2022-04-20
搜集汇总
数据集介绍

构建方式
STORAL数据集的构建过程体现了严谨的学术规范与精细的人工标注流程。该数据集从多个公开网页收集原始文本,经过去重处理后,采用人工标注方式从每篇文本中分离出故事与寓意。标注过程中,标注者需依据明确的约束条件,如故事需具备清晰的开端与结尾、不得包含与主要情节无关的内容、不得直接陈述寓意论点,而寓意则需独立于故事具体角色、仅表达核心立场。对于不符合要求的样本,标注者进行了精细化修订或予以剔除,确保了数据的高质量与一致性。最终形成了包含中英文故事-寓意对的高质量语料库。
特点
STORAL数据集的核心特点在于其专注于故事与寓意之间的复杂关联,为道德叙事理解与生成研究提供了独特资源。该数据集涵盖了多样化的主题,通过潜在狄利克雷分布分析揭示了寓意在诚实、帮助、自省、面对困难与危险等多个维度的广泛分布。数据集中故事与寓意在词汇分布上呈现显著差异,寓意部分包含更多抽象概念与关系性词汇,而故事部分则富含具体实体与事件描述。这种结构特性使得STORAL能够有效支持对抽象概念理解、事件间话语关系捕捉以及价值偏好对齐等关键能力的评估。
使用方法
基于STORAL数据集,研究者可开展多项理解与生成任务的评估与模型开发。在理解任务方面,MOCPT要求模型从五个不同主题的候选寓意中选择正确项,以测试概念理解能力;MOPREF则需从一对反义候选寓意中识别正确项,以评估价值偏好对齐能力。在生成任务方面,ST2MO要求根据给定故事生成其寓意,而MO2ST则需根据给定的寓意、故事开头与提纲生成连贯的故事。为提升模型性能,论文提出了一种检索增强算法,通过从训练集中检索相关概念或事件作为额外指导信息。数据集的官方划分已为训练、验证与测试集提供了标准分割,便于模型训练与评估。
背景与挑战
背景概述
STORAL数据集由清华大学CoAI研究组于2022年构建,旨在推动机器对道德故事的理解与生成研究。该数据集包含中英文双语的人类撰写故事与对应寓意,核心研究问题聚焦于如何建立故事情节与隐含道德观念之间的语义关联。其创新性在于首次系统性地将抽象道德概念与具体叙事事件相结合,为自然语言处理领域提供了评估机器价值对齐与概念推理能力的重要基准。该数据集的发布显著促进了叙事理解、伦理计算与可控文本生成等方向的交叉研究,成为道德叙事智能领域的关键资源之一。
当前挑战
该数据集主要面临两方面的挑战:在领域问题层面,机器需克服抽象道德概念理解、故事事件间话语关系建模以及叙事价值偏好对齐三大难题,例如从‘团结就是力量’等寓意中提取概念网络,并关联故事中角色行为与结局的因果对比。在构建过程中,挑战体现在原始文本中故事与寓意常无明确边界,需通过人工标注解耦;同时需设计严格约束确保故事不显式论证寓意、寓意不涉及具体角色,并过滤违背伦理原则的内容。此外,双语数据规模差异与道德主题的多样性也增加了数据质量控制的复杂度。
常用场景
经典使用场景
在自然语言处理领域,STORAL数据集为道德故事的理解与生成任务提供了基准评估平台。该数据集通过精心标注的中英文故事-寓意对,支撑了四项核心任务:寓意概念理解(MOCPT)要求模型从多个候选寓意中识别与故事匹配的选项;价值偏好对齐(MOPREF)则测试模型捕捉故事隐含价值取向的能力;故事到寓意生成(ST2MO)需要从叙事中提炼普适性道德准则;寓意到故事生成(MO2ST)则要求构建情节连贯且能传达特定寓意的叙事文本。这些任务共同推动了机器在抽象概念与具体事件间建立语义关联的研究进展。
实际应用
该数据集在教育技术领域具有重要应用价值,可支撑智能道德教育系统的开发,例如自动生成寓教于乐的故事辅助儿童德育。在内容创作领域,能够辅助编剧和作家进行道德主题叙事的情节构建与寓意提炼。此外,在跨文化研究方面,其中英文平行语料为比较不同文化背景下道德叙事模式提供了数据基础。在人工智能伦理评估中,STORAL可作为测试机器价值对齐能力的基准工具,帮助检测生成文本是否符合社会道德规范。
衍生相关工作
基于STORAL数据集衍生的经典工作主要集中在三个方面:一是检索增强算法研究,如RA-T5通过检索训练集中相关概念提升生成质量;二是跨任务迁移学习框架,将道德理解能力应用于阅读理解、议论文生成等下游任务;三是多模态扩展研究,结合视觉叙事数据探索道德寓意的跨模态表征。这些工作推动了叙事生成模型从单纯的情节连贯性向价值导向生成的范式转变,并为构建具有道德认知能力的人工智能系统提供了方法论基础。
以上内容由遇见数据集搜集并总结生成



