WildFeedback

WildFeedback是一个由真实用户与ChatGPT互动产生的偏好数据集，包含20,281个偏好对，旨在通过利用直接的用户输入来提高大型语言模型与实际人类价值观的对齐。

搜集汇总

数据集介绍

构建方式

在自然语言处理领域，真实用户反馈数据对于提升语言模型对齐至关重要。WildFeedback数据集创新性地从148,715轮真实用户与ChatGPT的对话中提取20,281个偏好对，通过微软研发的SPUR框架自动识别对话中的满意度信号。数据预处理阶段采用Presidio和SpaCy进行个人信息脱敏，并运用GeoLite2对IP地址进行哈希映射，在保证数据真实性的同时严格遵循隐私保护规范。

特点

该数据集最显著的特点在于其数据来源的真实性和多样性，所有偏好标注均来自用户自然对话中表达的显性或隐性反馈，而非人工标注的合成数据。数据集不仅包含原始用户提示和正负样本响应，还创新性地整合了SAT/DSAT标注体系，涵盖领域分类、用户意图识别等丰富维度，为研究对话状态追踪提供了独特视角。

使用方法

研究者可通过加载wildfeedback.json主配置文件获取核心偏好数据，sat_dsat_annotation.json则提供细粒度的对话分析标注。该数据集特别适用于语言模型对齐研究，既能用于监督微调提升响应质量，也可作为评估基准测试模型对真实用户偏好的理解能力。使用时应充分考虑数据偏差问题，建议结合用户意图分类进行分层分析。

背景与挑战

背景概述

WildFeedback数据集由微软研究院于2025年推出，旨在解决大型语言模型（LLMs）与人类价值观对齐的核心问题。该数据集基于真实用户与ChatGPT的交互数据，通过自然对话中嵌入的显性和隐性反馈信号构建而成，摒弃了传统人工标注或合成数据排名的局限性。作为首个利用真实场景用户反馈的偏好数据集，WildFeedback为LLMs的微调和评估提供了更贴近实际应用场景的基准，显著推动了对话式AI领域从模拟环境向真实用户需求过渡的研究进程。

当前挑战

该数据集面临双重挑战：在领域问题层面，用户反馈具有高度主观性，不同文化背景和个体差异可能导致偏好冲突，且ChatGPT用户群体的特定性可能引入人口统计学偏差；在构建技术层面，需精准识别多轮对话中的隐式反馈信号，同时要平衡隐私保护（如使用Presidio进行匿名化处理）与数据效用之间的关系。此外，部分优选回答由GPT-4生成，可能携带模型固有偏见，这对数据纯净度提出了更高要求。

常用场景

经典使用场景

在自然语言处理领域，WildFeedback数据集通过捕捉真实用户与ChatGPT交互中的反馈信号，为研究者提供了丰富的偏好学习素材。该数据集特别适用于训练和微调大型语言模型（LLMs），以提升其生成内容与用户期望的契合度。通过分析多轮对话中的用户反馈，研究者能够深入理解人类偏好，从而优化模型的响应策略。

解决学术问题

WildFeedback数据集解决了传统偏好数据集中合成标注与实际用户期望脱节的问题。其基于真实对话的反馈信号，为研究语言模型对齐、用户满意度估计以及对话状态跟踪等学术问题提供了可靠数据支持。这一创新不仅填补了真实场景偏好数据的空白，还为模型优化提供了更贴近实际的评估标准。

衍生相关工作

基于WildFeedback数据集，研究者已开展多项创新工作。例如微软团队开发的SPUR框架实现了对话满意度的自动化评估，而相关研究则探索了多模态反馈信号在模型对齐中的应用。这些衍生工作不仅扩展了数据集的使用边界，也为对话式AI的发展提供了新的技术路径。