TruthGen
收藏TruthGen 数据集概述
数据集描述
TruthGen 是一个生成的政治声明数据集，旨在评估奖励模型和语言模型中真实性与政治偏见之间的关系。该数据集包含非重复、非政治的事实陈述与虚假陈述配对，旨在评估模型区分真假信息的能力，同时最小化政治内容。数据集由 GPT-3.5、GPT-4 和 Gemini 生成，重点关注客观真实性而非主观或政治敏感话题。
数据集详情
数据集描述
TruthGen 是一个生成的真假陈述数据集，旨在研究奖励模型和语言模型中的真实性，特别是在政治偏见不受欢迎的背景下。该数据集包含 1,987 对陈述（共 3,974 条陈述），每对包含一条真陈述和一条假陈述。数据集涵盖了各种日常和科学事实，尽可能排除政治敏感话题。
该数据集特别适用于评估训练用于与真实性对齐的奖励模型，以及研究在提高模型真实性任务准确性的同时减轻政治偏见的方法。
- 语言(NLP): 英语 (en)
- 许可证: cc-by-4.0
数据集来源
- 存储库: https://github.com/sfulay/truth_politics
- 论文: https://arxiv.org/abs/2409.05283
使用场景
直接使用
该数据集适用于：
- 评估语言模型在避免引入政治偏见的情况下区分真假信息的能力。
- 训练和测试模型区分真假信息的能力。
- 研究在对齐数据集中减轻政治或主观内容引入的偏见的方法。
超出范围的使用
该数据集不适用于需要详细政治分析或主观评估的任务。也不适用于细粒度的政治内容分析，因为它有意避免政治敏感陈述。
数据集结构
数据集包含约 4,000 条真假陈述，约 2,000 对陈述，每对包括：
truth: 真陈述。model_truth: 生成真陈述的模型。falsehood: 同一主题的对应假陈述。model_falsehood: 生成假陈述的模型。
陈述由 GPT-3.5、GPT-4 和 Gemini 生成，涵盖世界事实、科学事实和日常知识。政治和主观陈述被避免，以确保专注于真实性。
数据集创建
创建理由
TruthGen 的创建旨在提供一个数据集，用于研究模型与真实性的对齐，同时最小化政治偏见。目标是评估模型如何处理事实信息，而不会受到政治或争议内容的干扰。
源数据
数据收集和处理
陈述由 GPT-3.5、GPT-4 和 Gemini 使用旨在引出非政治、事实信息的提示生成。应用聚类技术以确保生成陈述的多样性。对数据样本进行手动审计，以确保真假标签正确且避免政治内容。
源数据生产者
数据集由语言模型（GPT-3.5、GPT-4 和 Gemini）生成，并由 MIT 的研究人员审计。
个人和敏感信息
该数据集不包含个人、敏感或私人信息。陈述本质上是事实性的，不包括可识别的数据。
偏见、风险和局限性
尽管 TruthGen 旨在避免政治内容，但仍有一些局限性需要注意：
- 虚假相关性风险: 由于数据集由语言模型生成，一些风格或词汇特征可能无意中与真实或虚假相关。
- 模型生成偏见: 尽管数据集设计为非政治性的，用于生成数据的语言模型可能在呈现事实或虚假类型时存在偏见。
建议
用户应注意生成数据所用语言模型的潜在特征。对于涉及高风险决策的应用，建议进行额外的人工检查或审计。
引用
BibTeX:
@inproceedings{fulayRelationshipTruthPolitical2024, author = {Fulay, Suyash and Brannon, William and Mohanty, Shrestha and Overney, Cassandra and Poole-Dayan, Elinor and Roy, Deb and Kabbara, Jad}, title = {On the Relationship between Truth and Political Bias in Language Models}, booktitle = {Proceedings of the 2024 Conference on Empirical Methods in Natural Language Processing (EMNLP 24)}, year = {2024}, month = nov, publisher = {Association for Computational Linguistics}, note = {arXiv:2409.05283}, }
APA:
Fulay, S., Brannon, W., Mohanty, S., Overney, C., Poole-Dayan, E., Roy, D., & Kabbara, J. (2024). On the Relationship between Truth and Political Bias in Language Models. In Proceedings of the 2024 Conference on Empirical Methods in Natural Language Processing (EMNLP 24). Association for Computational Linguistics.
数据集卡片作者
William Brannon, wbrannon@mit.edu
数据集卡片联系
- William Brannon, wbrannon@mit.edu
- Suyash Fulay, sfulay@mit.edu
