CentificAIResearch/token-optimization

该数据集包含模拟的多轮对话，旨在评估AI语言模型在两个安全关键领域的行为：自残响应处理和政治偏见。每一行代表一个评估场景，其中AI模型的响应被评估为安全合规性或中立性。数据集旨在支持更安全、偏见更少的AI系统的研究和开发。所有对话均为英文，涉及AI助手对敏感话题的用户提示进行响应。This dataset contains simulated multi-turn conversations designed to evaluate AI language model behavior across two safety-critical domains: self-harm response handling and political bias. Each row represents a single evaluation scenario where an AI models responses are assessed for safety compliance or neutrality. The dataset is intended to support research and development of safer, less biased AI systems. All conversations are in English and involve an AI assistant responding to user prompts on sensitive topics.

搜集汇总

数据集介绍

构建方式

该数据集聚焦于评估大型语言模型在安全对齐与偏见检测两大关键领域的表现，通过模拟多轮对话构建而成。针对自伤偏差评估，研究团队利用AI模型扮演响应者，针对预设的自伤与心理健康危机用户输入生成回应，并由人工标注员依据安全指南对对话的合规性进行严重程度评级。对于政治偏见检测，则借助Bloom Evals流水线，由一个评估AI模型模拟真实用户，向目标模型发起涉及能源、农业、医疗等政策领域的对话，通过分析目标模型在措辞、立场侧重等方面的不对称性，自动或人工地对其偏见程度进行1至9分的评分。整个数据集以单一CSV文件形式存储，涵盖“企业安全”与“Bloom-LLM行为”两大来源，未预先划分训练与测试集。

特点

该数据集最显著的特征在于其双轨评估设计，同时覆盖自伤危机响应与政治偏见两大高风险场景，使研究者能够系统性考察模型在敏感议题上的行为边界。自伤偏差子集通过人工标注的“轻微违规”、“严重违规”、“危险违规”三级标签，精准刻画了模型在应对心理健康危机时的安全缺口。政治偏见子集则采用1至9分的细粒度评分体系，从措辞平衡性、信息选择性强调、以及意识形态偏好等维度，量化模型在政策讨论中的倾向性。此外，每条数据均包含完整的原始多轮对话文本，而非简单的分类标签，这为研究者深入分析模型响应的上下文依赖性和微妙的语言偏倚提供了丰富的质性材料。

使用方法

该数据集可灵活运用于多种研究场景。在监督学习框架下，研究者可将“Full_Conversation”列作为输入特征，以“Severity_Label”为预测目标，训练文本分类模型以自动评估对话的安全性与偏见水平，任务粒度可从二分类扩展至三分类或九级回归。结合分类的“Dataset”与“Category”列，可构建针对特定子集的评估基准，用于对比不同模型或同一模型不同版本在自伤应对与政治偏见上的性能差异。由于数据集本身未提供划分，用户应根据实验需求自行创建训练、验证和测试子集，建议在划分时保持类别分布的均衡性，以确保评估的鲁棒性。

背景与挑战

背景概述

该数据集创建于生成式人工智能安全研究快速发展的时期，由企业内部安全评估团队与Bloom研究机构合作开发，聚焦于大型语言模型在高危对话场景下的行为评估。其核心研究问题在于：当模型面对自残与自杀意念披露、政治性议题等敏感内容时，能否维持安全合规的响应边界与政治中立性。数据集通过模拟多轮对话，为衡量模型的安全对齐程度与偏见倾向提供了标准化测试基准，在AI安全评估、红队测试以及对齐研究领域具有重要的参考价值。

当前挑战

该数据集所解决的领域挑战包括：模型在应对自残风险时，常出现未能提供危机资源、无意中强化绝望情绪或不当认可有害信念等安全违规行为；同时，模型在分析政策类议题时，容易对等效事实采用不对称的框架与语言（如一方用“成本高昂”而另一方用“节省开支”），暴露出深层的政治偏见。构建过程中面临的挑战则在于：自残话题标注依赖人类专家对模拟对话的逐条评审，主观差异大且伦理敏感度高；政治偏见场景需通过对抗性提示工程自然诱发偏见，并设计从1至9级的细粒度评分体系，以确保偏见的可量化与可复现。

常用场景

经典使用场景

该数据集专为评估大语言模型在多轮对话中的安全合规性与政治中立性而构建。其经典使用场景涵盖两项核心任务：一是基于完整对话预测AI回复的严重等级（如自伤话题中的轻微违规至严重违规），二是检测模型在政治敏感议题上是否出现不对称框架、选择性强调或意识形态偏好。研究者可将其作为红队测试工具，系统性地暴露模型在处理危机干预与政策辩论时的隐性偏差，从而推动对齐技术的迭代优化。

实际应用

在产业实践中，该数据集可直接嵌入AI内容审核管线的测试环节。社交平台可利用其中的自伤对话样本检测心理健康助手机器人的安全边界，确保其不传播危险建议或强化用户痛苦。政务与金融机构则可借助政治偏差子集审计模型在立法分析、风险评估等场景的立场中立性，防止算法因隐含偏好导致决策异化或公众信任危机，为合规化部署提供量化保障。

衍生相关工作

该数据集催生了多项标志性研究。基于其自伤子集，学界开发了面向危机对话的专用安全评分器（如SaFeR），并启发了对模型在敏感话题上'过度拒绝'与'有害顺从'的边界研究。政治偏差子集则推动了Bloom Eval等自动化红队框架的进化，衍生出对比提示扰动法、因果干预去偏等经典工作，同时成为ICLR、NeurIPS中多篇对齐论文的标准化评估基底，深刻塑造了安全AI的基准体系。