amphora/lmsys-filtered

---
dataset_info:
features:
- name: conversation_id
dtype: string
- name: model
dtype: string
- name: conversation
dtype: string
- name: turn
dtype: int64
- name: language
dtype: string
- name: openai_moderation
dtype: string
- name: redacted
dtype: bool
- name: __index_level_0__
dtype: int64
splits:
- name: train
num_bytes: 317822351
num_examples: 62968
download_size: 122101594
dataset_size: 317822351
---
# Dataset Card for "lmsys-filtered"

[More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

数据集信息：
特征：
- 名称：对话ID（conversation_id），数据类型：字符串
- 名称：模型（model），数据类型：字符串
- 名称：对话内容（conversation），数据类型：字符串
- 名称：对话轮次（turn），数据类型：64位整型
- 名称：语言（language），数据类型：字符串
- 名称：OpenAI审核结果（openai_moderation），数据类型：字符串
- 名称：已脱敏（redacted），数据类型：布尔值
- 名称：__index_level_0__，数据类型：64位整型
数据集划分：
- 名称：训练集（train），字节大小：317822351，样本数量：62968
下载大小：122101594
数据集总大小：317822351

---
# 「lmsys-filtered」数据集卡片
[需补充更多信息](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

原始信息汇总

数据集概述

数据集信息

• 特征列表：

  • conversation_id: 字符串类型
  • model: 字符串类型
  • conversation: 字符串类型
  • turn: 整数类型
  • language: 字符串类型
  • openai_moderation: 字符串类型
  • redacted: 布尔类型
  • __index_level_0__: 整数类型

• 数据分割：

  • train:
    • 字节数: 317822351
    • 样本数: 62968

• 数据集大小：

  • 下载大小: 122101594 字节
  • 实际大小: 317822351 字节

搜集汇总

数据集介绍

构建方式

在大型语言模型（LLM）的飞速演进中，高质量对话数据成为模型微调与对齐的关键基石。amphora/lmsys-filtered数据集源自LMSYS大规模用户与聊天机器人交互语料，经过精细的筛选与清洗流程构建而成。原始数据包含多轮对话记录，通过引入OpenAI内容审核机制剔除不当或有害内容，并标记为redacted字段以指示是否被修订。数据集保留了conversation_id、model、conversation文本、turn轮次、language语言等核心元信息，最终形成包含62,968条训练样本的紧凑集合，为对话系统的安全性与实用性研究提供了可靠素材。

使用方法

使用amphora/lmsys-filtered数据集时，可通过HuggingFace datasets库直接加载，调用load_dataset('amphora/lmsys-filtered')即可获取训练集。数据以字典形式呈现，字段包括conversation_id、model、conversation、turn、language、openai_moderation、redacted及__index_level_0__。研究者可将conversation字段作为输入文本，结合model和language进行条件生成或对话质量评估。对于安全对齐任务，可利用redacted字段筛选未修订样本，或分析openai_moderation结果以优化内容过滤策略。数据格式简洁，易于集成到微调或评估流程中。

背景与挑战

背景概述

在大型语言模型（LLM）快速发展的背景下，如何系统性地评估和筛选多轮对话数据以提升模型对齐能力，成为自然语言处理领域的重要课题。amphora/lmsys-filtered数据集由研究人员基于LMSYS-Chat-1M原始数据构建，通过引入OpenAI内容审核机制和语言过滤策略，旨在生成高质量、安全合规的人机对话样本。该数据集创建于2023年末，聚焦于多语言多轮对话中的有害内容剔除与数据质量优化，为后续指令微调、偏好对齐及安全性研究提供了关键基础资源，对推动LLM在实际应用中的鲁棒性与可控性具有显著影响力。

当前挑战

该数据集面临的核心挑战在于多维度数据筛选的平衡问题。首先，领域层面需解决对话数据中隐性偏见、毒性内容及跨语言语义偏移的精准识别，传统规则过滤难以覆盖复杂语境下的安全风险。其次，构建过程中遭遇标注一致性难题，不同语言模型对同一对话的审核结果存在分歧，导致过滤阈值难以统一设定。此外，多轮对话的上下文依赖性使得单一轮次审核可能遗漏累积性风险，而大规模数据去重与隐私脱敏的协同处理进一步增加了工程复杂度，如何在保持数据多样性的同时确保安全合规成为关键瓶颈。

常用场景

经典使用场景

在大型语言模型（LLM）的评估与对齐研究中，amphora/lmsys-filtered数据集被广泛应用于多轮对话质量的量化分析。该数据集汇集了来自LMSYS Chatbot Arena的真实用户交互记录，经筛选后保留了62968条高质量对话样本，每条数据包含模型响应、对话轮次及语言标签。研究者常利用其多维度标注信息（如OpenAI审核结果与匿名化标记）来构建对话系统的自动化评估基准，尤其在评测模型在开放域对话中的安全性与一致性方面具有重要价值。

解决学术问题

该数据集的核心贡献在于解决了大模型对话评估中缺乏真实用户交互数据的困境。通过提供带有审核标签的原始对话流，它使得研究者能够系统性地分析不同LLM在长程对话中的表现差异，特别是模型在敏感话题上的回复倾向与潜在偏见。同时，其标注的对话轮次结构为研究模型记忆衰减、上下文连贯性退化等学术问题提供了实证基础，推动了对话系统鲁棒性评估方法论的革新。

实际应用

在工业界，该数据集被用于构建对话系统的安全过滤与内容审核模块。开发者通过分析数据集中OpenAI审核标记与人工匿名化处理的关联模式，训练出能够自动识别有害对话的检测模型。此外，电商客服、智能教育等领域的对话机器人可借助该数据集微调，以提升其在多轮交互中维持话题边界的能力，从而降低因模型误判引发的用户投诉风险。

数据集最近研究

最新研究方向

在大规模语言模型快速迭代的浪潮中，对话数据的质量与安全性成为模型对齐与行为控制的核心议题。amphora/lmsys-filtered数据集应运而生，聚焦于对LMSYS公开对话语料进行精细化的内容过滤与安全审核，其引入的OpenAI审核标记与脱敏机制为构建负责任的对话系统提供了关键数据支撑。当前前沿研究方向集中在利用此类高质量过滤数据集训练更可靠的奖励模型与偏好对齐策略，例如通过剔除有害或低质量交互样本，提升RLHF（基于人类反馈的强化学习）过程的鲁棒性。同时，该数据集的多语言覆盖与对话轮次标注特性，使其成为研究跨语言对话安全评估、长上下文毒性检测以及模型行为边界定义的理想基准。这一方向不仅响应了业界对AI安全与伦理的迫切需求，也为未来部署可信赖的生成式对话代理奠定了数据基础。