Touché23-ValueEval

Touché23-ValueEval数据集由包豪斯大学创建，旨在识别论点背后的人类价值观。该数据集包含9324条来自多种来源的论点，如宗教文本、政治讨论、报纸社论等，每条论点由3名众包工作者标注54种价值观。数据集扩展自Webis-ArgValues-22，增加了数据量和文化多样性，支持跨文化价值检测模型的开发。数据集适用于大规模数据集支持的社会科学研究、论证评估、目标受众的论证生成或选择，以及识别争议话题双方的对立和共享价值观。The Touché23-ValueEval dataset, developed by Bauhaus University, is designed to identify human values underlying arguments. It comprises 9,324 arguments sourced from diverse materials including religious texts, political discussions, newspaper editorials and more. Each argument is annotated with 54 distinct value categories by three crowdworkers. As an extension of the Webis-ArgValues-22 dataset, Touché23-ValueEval has expanded data scale and enhanced cultural diversity, supporting the development of cross-cultural value detection models. This dataset is applicable to large-scale dataset-driven social science research, argumentation evaluation, target-audience-oriented argument generation or selection, as well as the identification of opposing and shared values held by both sides of controversial topics.

搜集汇总

数据集介绍

构建方式

在论证分析领域，理解人类价值观对于揭示说服力背后的深层动因至关重要。为此，Touché23-ValueEval数据集应运而生，它从六个迥异的来源精心收集了9324条论证，涵盖宗教典籍、政治讨论、自由文本论辩、报纸社论以及在线民主平台。其中约半数论证继承自Webis-ArgValues-22数据集，其余则从IBM-ArgQ-Rank-30kArgs、欧洲未来会议、Group Discussion Ideas等新源补充。为确保数据纯净，团队对每条论证进行编码纠错、统一标点，并手动调整句式以保持结构一致。最终，每条论证由三名众包标注员依据54项价值观进行标注，并通过MACE算法融合为可靠的真值标签。

特点

该数据集的核心亮点在于其多维度的丰富性。它不仅在规模上扩展至9324条论证，更在文化多样性上实现突破，引入了来自伊斯兰文本、中国问答社区和美国新闻社论等跨地域、跨时代的语料。这种异质性使得价值分布呈现出鲜明差异：例如，欧洲未来会议数据侧重“客观性”，而《纽约时报》社论中“个人安全”占比逾30%。此外，94%的论证被赋予至少两个价值观标签，平均每条论证关联2.6个价值类别，这种多标签特性精准反映了现实论证中价值观交织的复杂性，为模型训练提供了更具挑战性的基准。

使用方法

数据集精心划分为训练集、验证集和测试集，并确保相同结论的论证不会被分割到不同集合中，以防止数据泄露。主数据集适用于标准机器学习流程，而补充数据集（如知乎、纳赫吉·巴拉加）则专用于评估模型在跨领域、跨文化场景下的泛化能力。研究人员可直接加载论证的“前提-结论-立场”三元组，利用BERT等预训练模型进行多标签分类。基线实验表明，尽管分类难度因标签分布稀疏化而提升，但更大规模的数据集显著提升了模型的F1分数，尤其适用于探索价值观检测的鲁棒性方法。

背景与挑战

背景概述

人类价值观的识别在计算语言学领域具有深远意义，它能够揭示论辩性文本中隐含的价值取向，为跨文化沟通、论据生成与评估提供理论支撑。Touché23-ValueEval数据集由魏玛包豪斯大学、莱布尼茨汉诺威大学等机构的研究人员于2023年创建，旨在弥补既有数据集Webis-ArgValues-22在规模与文化多样性上的不足。该数据集汇集了来自宗教文本、政治讨论、自由论据、报纸社论及在线民主平台等六个迥异来源的9324条论据，并经由众包标注了54种人类价值观。其核心研究问题在于探索自动化识别论据背后价值体系的可行路径，为人工智能系统理解人类价值优先级差异奠定基础。该数据集在SemEval 2023任务4中作为基准，推动了跨文化价值检测模型的发展，对论辩分析与社会科学研究产生了显著影响。

当前挑战

Touché23-ValueEval数据集面临多重挑战。在领域问题层面，价值观识别任务需应对价值观的广泛多样性、论据中价值观的隐含表达以及概念界定的模糊性，这些因素使得模型难以准确捕捉细微的价值差异。此外，不同文化背景下的价值优先级差异增加了跨文化检测的难度。在构建过程中，数据集面临来源异质性带来的标注一致性挑战，例如宗教文本与新闻社论在论据风格与道德推理上的显著差异。为确保标注质量，研究人员需筛选众包标注者并采用MACE算法融合标注结果，但文化背景的单一性（标注者均来自西方）可能导致对非西方文本中价值观的误判。同时，数据集虽扩充了规模，但分类难度因标签分布变化而提升，需依赖更复杂的模型如BERT以提升性能。

常用场景

经典使用场景

在计算语言学的广阔领域中，Touché23-ValueEval数据集被广泛用于自动识别论据背后的人类价值。研究者们利用该数据集训练和评估机器学习模型，以从多样化的文本来源——包括宗教经典、政治辩论、自由文本论据、报纸社论和在线民主平台——中提取出隐含的价值取向。该数据集涵盖了54种具体价值和20个价值类别，为多标签分类任务提供了丰富的标注资源。其经典使用场景在于构建能够理解论据中价值维度的智能系统，从而揭示不同文化、历史背景下的价值优先级差异。

实际应用

在实际应用中，Touché23-ValueEval赋能了多种价值导向的智能系统。例如，在论据搜索引擎中，系统可根据用户的价值偏好（如重视安全或自由）筛选和排序论据；在个性化论据生成中，模型能够针对特定受众生成契合其价值体系的论证内容。此外，该数据集还被用于在线民主平台中识别对立与共享价值，促进更具包容性的公共讨论。通过分析社交媒体或新闻评论中的价值分布，相关技术还可辅助社会科学研究，实现大规模的价值图谱绘制。

衍生相关工作

Touché23-ValueEval衍生了一系列重要的后续工作。其作为SemEval 2023任务4（ValueEval）的核心数据，吸引了全球团队开发多标签分类、跨领域泛化等前沿方法。基于该数据集，研究者提出了融合价值分类与论据质量评估的联合模型，以及利用提示学习增强价值识别的零样本方法。此外，该数据集还催生了面向特定文化（如波斯语、中文）的价值检测扩展研究，以及探索价值与情感、立场之间交互关系的多任务学习框架。这些工作共同推动了价值计算这一新兴研究方向的发展。