feedback-detector-dataset
收藏资源简介：
这是一个大规模多语言用户反馈分类数据集，包含51,694个示例，分为4个类别：用户满意（SAT，17%）、需要更多信息（NEED_CLARIFICATION，31%）、回答错误（WRONG_ANSWER，39%）和想要不同的内容（WANT_DIFFERENT，13%）。数据集结合了多个公开的对话和投诉数据集，涵盖英语、日语和土耳其语。所有示例均使用OpenAI GPT-OSS-120B在AMD MI300X GPU上标注，标注过程包括确定性输出、结构化JSON输出、重试逻辑和并行处理。数据集适用于微调反馈检测模型、用户满意度分类、客户服务自动化和对话系统评估。
Feedback Detector Dataset 数据集概述
数据集基本信息
- 名称：Feedback Detector Dataset
- 地址：https://huggingface.co/datasets/llm-semantic-router/feedback-detector-dataset
- 语言：英语、日语、土耳其语、多语言
- 许可协议：Apache 2.0
- 任务类别：文本分类
- 标签：反馈检测、用户满意度、对话、客户服务、多语言、amd-mi300x
- 规模类别：10K<n<100K
数据集描述
这是一个用于4类用户反馈分类的大规模多语言数据集，包含51,694个示例，使用AMD MI300X GPU上的GPT-OSS-120B进行标注。
类别分布
| 标签 | 描述 | 数量 | 占比 |
|---|---|---|---|
| SAT | 用户满意 | 8,649 | 17% |
| NEED_CLARIFICATION | 用户需要更多信息 | 16,179 | 31% |
| WRONG_ANSWER | 系统给出错误响应 | 19,919 | 39% |
| WANT_DIFFERENT | 用户想要不同的东西 | 6,947 | 13% |
数据划分
| 划分 | 示例数量 |
|---|---|
| 训练集 | 46,524 |
| 验证集 | 5,170 |
数据来源
数据集整合了多个公共对话和投诉数据集：
| 来源 | 类型 | 示例数量 | 语言 |
|---|---|---|---|
| consumer_complaints_medium | 投诉 | ~6,000 | 英语 |
| customer_complaints | 投诉 | ~2,000 | 英语 |
| multiwoz | 任务导向对话 | ~3,000 | 英语 |
| sgd | 模式引导对话 | ~3,000 | 英语 |
| inscit | 信息寻求 | ~2,500 | 英语 |
| mimics | 搜索澄清 | ~2,000 | 英语 |
| hazumi | 肯定/否定 | ~1,500 | 日语 |
| turkish_complaints | 投诉 | ~1,000 | 土耳其语 |
标注过程
所有示例均使用OpenAI GPT-OSS-120B模型进行标注，该模型通过vLLM在AMD MI300X GPU上运行，具体配置如下：
- 温度：0（确定性）
- 结构化JSON输出
- 指数退避重试逻辑
- 垃圾检测和断路器模式
- 带速率限制的并行处理
硬件配置
| 组件 | 规格 |
|---|---|
| GPU | AMD Instinct MI300X |
| 显存 | 192 GB HBM3 |
| 框架 | 带ROCm的vLLM |
| 模型 | OpenAI GPT-OSS-120B |
数据模式
每个示例包含以下字段：
text(字符串)：用户反馈文本label(整数)：数字标签 (0-3)label_name(字符串)：标签名称 (SAT, NEED_CLARIFICATION, WRONG_ANSWER, WANT_DIFFERENT)source(字符串)：原始数据集来源
标签映射
python label2id = { "SAT": 0, "NEED_CLARIFICATION": 1, "WRONG_ANSWER": 2, "WANT_DIFFERENT": 3 }
预期用途
- 微调反馈检测模型（ModernBERT, mmBERT等）
- 对话AI中的用户满意度分类
- 客户服务自动化
- 对话系统评估
引用
如果使用本数据集，请引用： bibtex @dataset{feedback_detector_dataset, title={Feedback Detector Dataset}, author={LLM Semantic Router Team}, year={2025}, publisher={Hugging Face}, url={https://huggingface.co/datasets/llm-semantic-router/feedback-detector-dataset} }
