llm-values/self_response_Qwen__Qwen1.5_72B_answers

--- dataset_info: features: - name: prompt ID dtype: int64 - name: language dtype: string - name: topic dtype: string - name: labels sequence: string - name: original prompt dtype: string - name: translated prompt dtype: string - name: 'answer: Qwen/Qwen1.5-72B - original' dtype: string - name: 'answer: Qwen/Qwen1.5-72B - translated' dtype: string - name: pos priming phrase 0 - original dtype: string - name: 'pos priming phrase 0, answer: Yes - original' dtype: string - name: pos priming phrase 0, answer Yes logprob - original dtype: float64 - name: 'pos priming phrase 0, answer: No - original' dtype: string - name: pos priming phrase 0, answer No logprob - original dtype: float64 - name: pos priming phrase 1 - original dtype: string - name: 'pos priming phrase 1, answer: Yes - original' dtype: string - name: pos priming phrase 1, answer Yes logprob - original dtype: float64 - name: 'pos priming phrase 1, answer: No - original' dtype: string - name: pos priming phrase 1, answer No logprob - original dtype: float64 - name: pos priming phrase 2 - original dtype: string - name: 'pos priming phrase 2, answer: Yes - original' dtype: string - name: pos priming phrase 2, answer Yes logprob - original dtype: float64 - name: 'pos priming phrase 2, answer: No - original' dtype: string - name: pos priming phrase 2, answer No logprob - original dtype: float64 - name: neg priming phrase 0 - original dtype: string - name: 'neg priming phrase 0, answer: Yes - original' dtype: string - name: neg priming phrase 0, answer Yes logprob - original dtype: float64 - name: 'neg priming phrase 0, answer: No - original' dtype: string - name: neg priming phrase 0, answer No logprob - original dtype: float64 - name: neg priming phrase 1 - original dtype: string - name: 'neg priming phrase 1, answer: Yes - original' dtype: string - name: neg priming phrase 1, answer Yes logprob - original dtype: float64 - name: 'neg priming phrase 1, answer: No - original' dtype: string - name: neg priming phrase 1, answer No logprob - original dtype: float64 - name: neg priming phrase 2 - original dtype: string - name: 'neg priming phrase 2, answer: Yes - original' dtype: string - name: neg priming phrase 2, answer Yes logprob - original dtype: float64 - name: 'neg priming phrase 2, answer: No - original' dtype: string - name: neg priming phrase 2, answer No logprob - original dtype: float64 - name: pos priming phrase 0 - translated dtype: string - name: 'pos priming phrase 0, answer: Yes - translated' dtype: string - name: pos priming phrase 0, answer Yes logprob - translated dtype: float64 - name: 'pos priming phrase 0, answer: No - translated' dtype: string - name: pos priming phrase 0, answer No logprob - translated dtype: float64 - name: pos priming phrase 1 - translated dtype: string - name: 'pos priming phrase 1, answer: Yes - translated' dtype: string - name: pos priming phrase 1, answer Yes logprob - translated dtype: float64 - name: 'pos priming phrase 1, answer: No - translated' dtype: string - name: pos priming phrase 1, answer No logprob - translated dtype: float64 - name: pos priming phrase 2 - translated dtype: string - name: 'pos priming phrase 2, answer: Yes - translated' dtype: string - name: pos priming phrase 2, answer Yes logprob - translated dtype: float64 - name: 'pos priming phrase 2, answer: No - translated' dtype: string - name: pos priming phrase 2, answer No logprob - translated dtype: float64 - name: neg priming phrase 0 - translated dtype: string - name: 'neg priming phrase 0, answer: Yes - translated' dtype: string - name: neg priming phrase 0, answer Yes logprob - translated dtype: float64 - name: 'neg priming phrase 0, answer: No - translated' dtype: string - name: neg priming phrase 0, answer No logprob - translated dtype: float64 - name: neg priming phrase 1 - translated dtype: string - name: 'neg priming phrase 1, answer: Yes - translated' dtype: string - name: neg priming phrase 1, answer Yes logprob - translated dtype: float64 - name: 'neg priming phrase 1, answer: No - translated' dtype: string - name: neg priming phrase 1, answer No logprob - translated dtype: float64 - name: neg priming phrase 2 - translated dtype: string - name: 'neg priming phrase 2, answer: Yes - translated' dtype: string - name: neg priming phrase 2, answer Yes logprob - translated dtype: float64 - name: 'neg priming phrase 2, answer: No - translated' dtype: string - name: neg priming phrase 2, answer No logprob - translated dtype: float64 splits: - name: self_response_Qwen__Qwen1.5_72B_answers num_bytes: 941312 num_examples: 701 download_size: 355235 dataset_size: 941312 configs: - config_name: default data_files: - split: self_response_Qwen__Qwen1.5_72B_answers path: data/self_response_Qwen__Qwen1.5_72B_answers-* ---数据集信息： 特征： - 名称：提示词ID（prompt ID），数据类型：int64 - 名称：语言（language），数据类型：字符串 - 名称：主题（topic），数据类型：字符串 - 名称：标签（labels），数据类型：字符串序列 - 名称：原始提示词（original prompt），数据类型：字符串 - 名称：翻译后提示词（translated prompt），数据类型：字符串 - 名称：答案：Qwen/Qwen1.5-72B - 原始版本，数据类型：字符串 - 名称：答案：Qwen/Qwen1.5-72B - 翻译版本，数据类型：字符串 - 名称：正向引导短语0 - 原始版本（pos priming phrase 0 - original），数据类型：字符串 - 名称：正向引导短语0，答案：是 - 原始版本（pos priming phrase 0, answer: Yes - original），数据类型：字符串 - 名称：正向引导短语0，答案为是的对数概率 - 原始版本（pos priming phrase 0, answer Yes logprob - original），数据类型：float64 - 名称：正向引导短语0，答案：否 - 原始版本（pos priming phrase 0, answer: No - original），数据类型：字符串 - 名称：正向引导短语0，答案为否的对数概率 - 原始版本（pos priming phrase 0, answer No logprob - original），数据类型：float64 - 名称：正向引导短语1 - 原始版本（pos priming phrase 1 - original），数据类型：字符串 - 名称：正向引导短语1，答案：是 - 原始版本（pos priming phrase 1, answer: Yes - original），数据类型：字符串 - 名称：正向引导短语1，答案为是的对数概率 - 原始版本（pos priming phrase 1, answer Yes logprob - original），数据类型：float64 - 名称：正向引导短语1，答案：否 - 原始版本（pos priming phrase 1, answer: No - original），数据类型：字符串 - 名称：正向引导短语1，答案为否的对数概率 - 原始版本（pos priming phrase 1, answer No logprob - original），数据类型：float64 - 名称：正向引导短语2 - 原始版本（pos priming phrase 2 - original），数据类型：字符串 - 名称：正向引导短语2，答案：是 - 原始版本（pos priming phrase 2, answer: Yes - original），数据类型：字符串 - 名称：正向引导短语2，答案为是的对数概率 - 原始版本（pos priming phrase 2, answer Yes logprob - original），数据类型：float64 - 名称：正向引导短语2，答案：否 - 原始版本（pos priming phrase 2, answer: No - original），数据类型：字符串 - 名称：正向引导短语2，答案为否的对数概率 - 原始版本（pos priming phrase 2, answer No logprob - original），数据类型：float64 - 名称：负向引导短语0 - 原始版本（neg priming phrase 0 - original），数据类型：字符串 - 名称：负向引导短语0，答案：是 - 原始版本（neg priming phrase 0, answer: Yes - original），数据类型：字符串 - 名称：负向引导短语0，答案为是的对数概率 - 原始版本（neg priming phrase 0, answer Yes logprob - original），数据类型：float64 - 名称：负向引导短语0，答案：否 - 原始版本（neg priming phrase 0, answer: No - original），数据类型：字符串 - 名称：负向引导短语0，答案为否的对数概率 - 原始版本（neg priming phrase 0, answer No logprob - original），数据类型：float64 - 名称：负向引导短语1 - 原始版本（neg priming phrase 1 - original），数据类型：字符串 - 名称：负向引导短语1，答案：是 - 原始版本（neg priming phrase 1, answer: Yes - original），数据类型：字符串 - 名称：负向引导短语1，答案为是的对数概率 - 原始版本（neg priming phrase 1, answer Yes logprob - original），数据类型：float64 - 名称：负向引导短语1，答案：否 - 原始版本（neg priming phrase 1, answer: No - original），数据类型：字符串 - 名称：负向引导短语1，答案为否的对数概率 - 原始版本（neg priming phrase 1, answer No logprob - original），数据类型：float64 - 名称：负向引导短语2 - 原始版本（neg priming phrase 2 - original），数据类型：字符串 - 名称：负向引导短语2，答案：是 - 原始版本（neg priming phrase 2, answer: Yes - original），数据类型：字符串 - 名称：负向引导短语2，答案为是的对数概率 - 原始版本（neg priming phrase 2, answer Yes logprob - original），数据类型：float64 - 名称：负向引导短语2，答案：否 - 原始版本（neg priming phrase 2, answer: No - original），数据类型：字符串 - 名称：负向引导短语2，答案为否的对数概率 - 原始版本（neg priming phrase 2, answer No logprob - original），数据类型：float64 - 名称：正向引导短语0 - 翻译版本（pos priming phrase 0 - translated），数据类型：字符串 - 名称：正向引导短语0，答案：是 - 翻译版本（pos priming phrase 0, answer: Yes - translated），数据类型：字符串 - 名称：正向引导短语0，答案为是的对数概率 - 翻译版本（pos priming phrase 0, answer Yes logprob - translated），数据类型：float64 - 名称：正向引导短语0，答案：否 - 翻译版本（pos priming phrase 0, answer: No - translated），数据类型：字符串 - 名称：正向引导短语0，答案为否的对数概率 - 翻译版本（pos priming phrase 0, answer No logprob - translated），数据类型：float64 - 名称：正向引导短语1 - 翻译版本（pos priming phrase 1 - translated），数据类型：字符串 - 名称：正向引导短语1，答案：是 - 翻译版本（pos priming phrase 1, answer: Yes - translated），数据类型：字符串 - 名称：正向引导短语1，答案为是的对数概率 - 翻译版本（pos priming phrase 1, answer Yes logprob - translated），数据类型：float64 - 名称：正向引导短语1，答案：否 - 翻译版本（pos priming phrase 1, answer: No - translated），数据类型：字符串 - 名称：正向引导短语1，答案为否的对数概率 - 翻译版本（pos priming phrase 1, answer No logprob - translated），数据类型：float64 - 名称：正向引导短语2 - 翻译版本（pos priming phrase 2 - translated），数据类型：字符串 - 名称：正向引导短语2，答案：是 - 翻译版本（pos priming phrase 2, answer: Yes - translated），数据类型：字符串 - 名称：正向引导短语2，答案为是的对数概率 - 翻译版本（pos priming phrase 2, answer Yes logprob - translated），数据类型：float64 - 名称：正向引导短语2，答案：否 - 翻译版本（pos priming phrase 2, answer: No - translated），数据类型：字符串 - 名称：正向引导短语2，答案为否的对数概率 - 翻译版本（pos priming phrase 2, answer No logprob - translated），数据类型：float64 - 名称：负向引导短语0 - 翻译版本（neg priming phrase 0 - translated），数据类型：字符串 - 名称：负向引导短语0，答案：是 - 翻译版本（neg priming phrase 0, answer: Yes - translated），数据类型：字符串 - 名称：负向引导短语0，答案为是的对数概率 - 翻译版本（neg priming phrase 0, answer Yes logprob - translated），数据类型：float64 - 名称：负向引导短语0，答案：否 - 翻译版本（neg priming phrase 0, answer: No - translated），数据类型：字符串 - 名称：负向引导短语0，答案为否的对数概率 - 翻译版本（neg priming phrase 0, answer No logprob - translated），数据类型：float64 - 名称：负向引导短语1 - 翻译版本（neg priming phrase 1 - translated），数据类型：字符串 - 名称：负向引导短语1，答案：是 - 翻译版本（neg priming phrase 1, answer: Yes - translated），数据类型：字符串 - 名称：负向引导短语1，答案为是的对数概率 - 翻译版本（neg priming phrase 1, answer Yes logprob - translated），数据类型：float64 - 名称：负向引导短语1，答案：否 - 翻译版本（neg priming phrase 1, answer: No - translated），数据类型：字符串 - 名称：负向引导短语1，答案为否的对数概率 - 翻译版本（neg priming phrase 1, answer No logprob - translated），数据类型：float64 - 名称：负向引导短语2 - 翻译版本（neg priming phrase 2 - translated），数据类型：字符串 - 名称：负向引导短语2，答案：是 - 翻译版本（neg priming phrase 2, answer: Yes - translated），数据类型：字符串 - 名称：负向引导短语2，答案为是的对数概率 - 翻译版本（neg priming phrase 2, answer Yes logprob - translated），数据类型：float64 - 名称：负向引导短语2，答案：否 - 翻译版本（neg priming phrase 2, answer: No - translated），数据类型：字符串 - 名称：负向引导短语2，答案为否的对数概率 - 翻译版本（neg priming phrase 2, answer No logprob - translated），数据类型：float64 子集： - 名称：self_response_Qwen__Qwen1.5_72B_answers，字节数：941312，样本数量：701 下载大小：355235，数据集总大小：941312 配置项： - 配置名称：默认（default），数据文件： - 子集：self_response_Qwen__Qwen1.5_72B_answers，路径：data/self_response_Qwen__Qwen1.5_72B_answers-*

原始信息汇总

数据集概述

数据集特征

• prompt ID: 整数类型
• language: 字符串类型
• topic: 字符串类型
• labels: 字符串序列
• original prompt: 字符串类型
• translated prompt: 字符串类型
• answer: Qwen/Qwen1.5-72B - original: 字符串类型
• answer: Qwen/Qwen1.5-72B - translated: 字符串类型
• pos priming phrase 0 - original: 字符串类型
• pos priming phrase 0, answer: Yes - original: 字符串类型
• pos priming phrase 0, answer Yes logprob - original: 浮点数类型
• pos priming phrase 0, answer: No - original: 字符串类型
• pos priming phrase 0, answer No logprob - original: 浮点数类型
• pos priming phrase 1 - original: 字符串类型
• pos priming phrase 1, answer: Yes - original: 字符串类型
• pos priming phrase 1, answer Yes logprob - original: 浮点数类型
• pos priming phrase 1, answer: No - original: 字符串类型
• pos priming phrase 1, answer No logprob - original: 浮点数类型
• pos priming phrase 2 - original: 字符串类型
• pos priming phrase 2, answer: Yes - original: 字符串类型
• pos priming phrase 2, answer Yes logprob - original: 浮点数类型
• pos priming phrase 2, answer: No - original: 字符串类型
• pos priming phrase 2, answer No logprob - original: 浮点数类型
• neg priming phrase 0 - original: 字符串类型
• neg priming phrase 0, answer: Yes - original: 字符串类型
• neg priming phrase 0, answer Yes logprob - original: 浮点数类型
• neg priming phrase 0, answer: No - original: 字符串类型
• neg priming phrase 0, answer No logprob - original: 浮点数类型
• neg priming phrase 1 - original: 字符串类型
• neg priming phrase 1, answer: Yes - original: 字符串类型
• neg priming phrase 1, answer Yes logprob - original: 浮点数类型
• neg priming phrase 1, answer: No - original: 字符串类型
• neg priming phrase 1, answer No logprob - original: 浮点数类型
• neg priming phrase 2 - original: 字符串类型
• neg priming phrase 2, answer: Yes - original: 字符串类型
• neg priming phrase 2, answer Yes logprob - original: 浮点数类型
• neg priming phrase 2, answer: No - original: 字符串类型
• neg priming phrase 2, answer No logprob - original: 浮点数类型
• pos priming phrase 0 - translated: 字符串类型
• pos priming phrase 0, answer: Yes - translated: 字符串类型
• pos priming phrase 0, answer Yes logprob - translated: 浮点数类型
• pos priming phrase 0, answer: No - translated: 字符串类型
• pos priming phrase 0, answer No logprob - translated: 浮点数类型
• pos priming phrase 1 - translated: 字符串类型
• pos priming phrase 1, answer: Yes - translated: 字符串类型
• pos priming phrase 1, answer Yes logprob - translated: 浮点数类型
• pos priming phrase 1, answer: No - translated: 字符串类型
• pos priming phrase 1, answer No logprob - translated: 浮点数类型
• pos priming phrase 2 - translated: 字符串类型
• pos priming phrase 2, answer: Yes - translated: 字符串类型
• pos priming phrase 2, answer Yes logprob - translated: 浮点数类型
• pos priming phrase 2, answer: No - translated: 字符串类型
• pos priming phrase 2, answer No logprob - translated: 浮点数类型
• neg priming phrase 0 - translated: 字符串类型
• neg priming phrase 0, answer: Yes - translated: 字符串类型
• neg priming phrase 0, answer Yes logprob - translated: 浮点数类型
• neg priming phrase 0, answer: No - translated: 字符串类型
• neg priming phrase 0, answer No logprob - translated: 浮点数类型
• neg priming phrase 1 - translated: 字符串类型
• neg priming phrase 1, answer: Yes - translated: 字符串类型
• neg priming phrase 1, answer Yes logprob - translated: 浮点数类型
• neg priming phrase 1, answer: No - translated: 字符串类型
• neg priming phrase 1, answer No logprob - translated: 浮点数类型
• neg priming phrase 2 - translated: 字符串类型
• neg priming phrase 2, answer: Yes - translated: 字符串类型
• neg priming phrase 2, answer Yes logprob - translated: 浮点数类型
• neg priming phrase 2, answer: No - translated: 字符串类型
• neg priming phrase 2, answer No logprob - translated: 浮点数类型

数据集分割

• self_response_Qwen__Qwen1.5_72B_answers:
  • 字节数: 941312
  • 示例数: 701

数据集大小

• 下载大小: 355235字节
• 数据集大小: 941312字节

配置

• default:
  • 数据文件路径: data/self_response_Qwen__Qwen1.5_72B_answers-*

搜集汇总

数据集介绍

构建方式

该数据集源自大型语言模型Qwen1.5-72B对一系列提示（prompt）的自我回答，旨在探究模型在价值观对齐任务中的行为特征。构建过程首先收集了涵盖多种语言和主题的原始提示，并为其提供翻译版本。随后，针对每个原始与翻译提示，分别引入了三条正向启动短语（pos priming phrase）和三条负向启动短语（neg priming phrase），以调节模型的回答倾向。对于每条启动短语，数据集记录了模型输出“Yes”或“No”的具体回答及其对数概率（logprob），从而构建出一个包含启动效应、语言变体与模型响应概率的多维结构化数据矩阵。

特点

该数据集的一个显著特点在于其精细的对比实验设计，通过正负启动短语的对照，能够系统评估语言提示对模型价值判断的偏向性影响。数据集同时收录了原始语言与翻译语言的响应，支持跨语言一致性分析。所有回答均附带对数概率值，为量化模型决策的置信度提供了精确指标。此外，数据集覆盖了701个示例，每个示例包含丰富的字段，如提示ID、主题、标签及多种启动条件下的完整响应记录，使其成为研究大型语言模型在价值观引导下行为可塑性的宝贵资源。

使用方法

使用该数据集时，研究人员可首先通过加载HuggingFace上的对应配置（config_name为default），访问`self_response_Qwen__Qwen1.5_72B_answers`分割中的数据。典型应用包括分析正向与负向启动短语对模型回答分布的影响差异，或比较原始语言与翻译语言下的响应一致性。利用对数概率字段，可进一步计算模型偏好的强度或进行概率校准研究。数据集的字段结构清晰，便于使用Python的pandas或HuggingFace Datasets库进行筛选、分组与统计建模，从而深入探索语言模型在伦理对齐任务中的表现机制。

背景与挑战

背景概述

在大型语言模型（LLM）伦理对齐领域，评估模型对价值观敏感提示的响应一致性是核心挑战之一。llm-values/self_response_Qwen__Qwen1.5_72B_answers数据集由LLM-Values团队创建，旨在系统性地探究Qwen1.5-72B模型在不同语言和主题下，面对正向与负向启动短语时的回答倾向。该数据集收录了701条精心设计的提示，覆盖多语言场景，并记录了模型在原始与翻译版本下的响应及对数概率，为研究LLM的价值对齐、启动效应及跨语言鲁棒性提供了量化基础。其发布推动了可解释AI与伦理评估领域的发展，使研究者能够更精确地剖析模型在价值判断中的隐性偏差。

当前挑战

当前数据集面临的核心挑战源于LLM价值对齐的复杂性。其一，模型对启动短语的敏感性可能导致响应不稳定，正向与负向启动下回答的差异需通过对数概率进行细粒度量化，但如何区分有意偏差与随机波动仍是难题。其二，构建过程中需确保多语言翻译的语义保真度与主题覆盖的均衡性，避免因翻译失真或主题稀疏引入系统性误差。此外，701条样本的规模限制了泛化能力，跨模型与跨文化场景的迁移性验证尚待完善。这些挑战要求后续研究在启动效应建模、数据增强及多语言伦理基准设计上取得突破。

常用场景

经典使用场景

在大语言模型对齐与安全性评估领域，该数据集被广泛用于探究模型对价值敏感提示的响应稳定性。通过设计正负向启动短语（priming phrase），研究者能够系统性地考察模型在不同语境暗示下对同一伦理议题的态度偏移，从而揭示其潜在的价值倾向与行为一致性。这一范式为量化模型价值观的鲁棒性提供了标准化工具。

实际应用

在实际应用中，该数据集可服务于AI伦理审查与模型安全部署前的压力测试。企业或监管机构可借助其中涵盖的伦理议题（如偏见、公平性、有害内容）与正负启动短语，构建自动化评估流水线，检测大模型在客服、内容生成等场景中是否会在特定语境下输出不当回应。此外，该数据集的跨语言结构也使其适用于国际化产品的价值观一致性校验。

衍生相关工作

该数据集衍生了一系列关于大模型价值观测量与干预的经典工作。例如，基于其提示-对数概率结构，研究者开发了“价值边界探测”方法，通过比较正负启动下的概率差值来识别模型的价值敏感区间。另有工作利用该数据集的翻译对，揭示了多语言模型在不同语言下对同一伦理问题的态度差异，推动了跨文化AI伦理研究。这些工作共同深化了学界对语言模型价值表征可解释性的认知。