vinhtran2611/lmsys_chatbot_arena_conversations_filtered

--- dataset_info: features: - name: question_id dtype: string - name: model_a dtype: string - name: model_b dtype: string - name: winner dtype: string - name: judge dtype: string - name: conversation_a list: - name: content dtype: string - name: role dtype: string - name: conversation_b list: - name: content dtype: string - name: role dtype: string - name: turn dtype: int64 - name: anony dtype: bool - name: language dtype: string - name: tstamp dtype: float64 - name: openai_moderation struct: - name: categories struct: - name: harassment dtype: bool - name: harassment/threatening dtype: bool - name: hate dtype: bool - name: hate/threatening dtype: bool - name: self-harm dtype: bool - name: self-harm/instructions dtype: bool - name: self-harm/intent dtype: bool - name: sexual dtype: bool - name: sexual/minors dtype: bool - name: violence dtype: bool - name: violence/graphic dtype: bool - name: category_scores struct: - name: harassment dtype: float64 - name: harassment/threatening dtype: float64 - name: hate dtype: float64 - name: hate/threatening dtype: float64 - name: self-harm dtype: float64 - name: self-harm/instructions dtype: float64 - name: self-harm/intent dtype: float64 - name: sexual dtype: float64 - name: sexual/minors dtype: float64 - name: violence dtype: float64 - name: violence/graphic dtype: float64 - name: flagged dtype: bool - name: toxic_chat_tag struct: - name: roberta-large struct: - name: flagged dtype: bool - name: probability dtype: float64 - name: t5-large struct: - name: flagged dtype: bool - name: score dtype: float64 splits: - name: train num_bytes: 130347.62021212121 num_examples: 53 download_size: 116876 dataset_size: 130347.62021212121 configs: - config_name: default data_files: - split: train path: data/train-* --- # Dataset Card for "lmsys_chatbot_arena_conversations_filtered" [More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)--- 数据集信息： 特征列： - 问题ID（question_id）：字符串类型 - 模型A（model_a）：字符串类型 - 模型B（model_b）：字符串类型 - 获胜方（winner）：字符串类型 - 评判者（judge）：字符串类型 - 对话A（conversation_a）：列表类型，列表元素为结构体，包含： - 内容（content）：字符串类型 - 角色（role）：字符串类型 - 对话B（conversation_b）：列表类型，列表元素为结构体，包含： - 内容（content）：字符串类型 - 角色（role）：字符串类型 - 对话轮次（turn）：int64类型 - 匿名状态（anony）：布尔类型 - 语言（language）：字符串类型 - 时间戳（tstamp）：float64类型 - OpenAI内容审核（openai_moderation）：结构体类型，包含以下子字段： - 分类项（categories）：结构体类型，包含： - 骚扰（harassment）：布尔类型 - 骚扰/威胁（harassment/threatening）：布尔类型 - 仇恨（hate）：布尔类型 - 仇恨/威胁（hate/threatening）：布尔类型 - 自残（self-harm）：布尔类型 - 自残指导（self-harm/instructions）：布尔类型 - 自残意图（self-harm/intent）：布尔类型 - 性内容（sexual）：布尔类型 - 未成年人相关性内容（sexual/minors）：布尔类型 - 暴力（violence）：布尔类型 - 图文暴力（violence/graphic）：布尔类型 - 分类得分（category_scores）：结构体类型，包含各对应分类的float64类型得分 - 标记状态（flagged）：布尔类型 - 恶意对话标签（toxic_chat_tag）：结构体类型，包含两个子模型的检测结果： - roberta-large：结构体类型，包含： - 标记状态（flagged）：布尔类型 - 恶意概率（probability）：float64类型 - t5-large：结构体类型，包含： - 标记状态（flagged）：布尔类型 - 恶意得分（score）：float64类型 数据划分： - 训练集（train）：字节大小为130347.62021212121，样本数量为53 下载大小：116876 数据集总大小：130347.62021212121 配置项： - 配置名称：默认（default），数据文件： - 训练集划分对应数据文件路径：data/train-* --- # 「lmsys_chatbot_arena_conversations_filtered」数据集卡片 [需补充更多信息](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

原始信息汇总

数据集概述

数据集名称

lmsys_chatbot_arena_conversations_filtered

数据集特征

• question_id: 字符串类型
• model_a: 字符串类型
• model_b: 字符串类型
• winner: 字符串类型
• judge: 字符串类型
• conversation_a: 列表类型
  • content: 字符串类型
  • role: 字符串类型
• conversation_b: 列表类型
  • content: 字符串类型
  • role: 字符串类型
• turn: 整数类型
• anony: 布尔类型
• language: 字符串类型
• tstamp: 浮点数类型
• openai_moderation: 结构体类型
  • categories: 结构体类型
    • harassment: 布尔类型
    • harassment/threatening: 布尔类型
    • hate: 布尔类型
    • hate/threatening: 布尔类型
    • self-harm: 布尔类型
    • self-harm/instructions: 布尔类型
    • self-harm/intent: 布尔类型
    • sexual: 布尔类型
    • sexual/minors: 布尔类型
    • violence: 布尔类型
    • violence/graphic: 布尔类型
  • category_scores: 结构体类型
    • harassment: 浮点数类型
    • harassment/threatening: 浮点数类型
    • hate: 浮点数类型
    • hate/threatening: 浮点数类型
    • self-harm: 浮点数类型
    • self-harm/instructions: 浮点数类型
    • self-harm/intent: 浮点数类型
    • sexual: 浮点数类型
    • sexual/minors: 浮点数类型
    • violence: 浮点数类型
    • violence/graphic: 浮点数类型
  • flagged: 布尔类型
• toxic_chat_tag: 结构体类型
  • roberta-large: 结构体类型
    • flagged: 布尔类型
    • probability: 浮点数类型
  • t5-large: 结构体类型
    • flagged: 布尔类型
    • score: 浮点数类型

数据集分割

• train:
  • num_bytes: 130347.62021212121
  • num_examples: 53

数据集大小

• download_size: 116876
• dataset_size: 130347.62021212121

配置

• config_name: default
  • data_files:
    • split: train
    • path: data/train-*

搜集汇总

数据集介绍

构建方式

在对话系统研究领域，高质量的人机交互数据是评估模型性能的关键资源。该数据集源自LMSYS Chatbot Arena平台，通过对原始对话记录进行精细过滤与结构化处理而成。具体而言，数据构建过程首先采集了用户与不同聊天机器人之间的多轮交互对话，随后依据胜者（winner）、匿名性（anony）及语言（language）等字段进行筛选，并引入OpenAI审核机制与毒性检测模型（如RoBERTa和T5）对对话内容进行安全评估与标注。最终，数据集以结构化格式存储，每条记录包含问题标识、模型对比、对话内容及多维审核标签，确保了数据的可用性与安全性。

特点

该数据集的核心特点在于其多维度的信息整合与精细化标注。每条数据不仅记录了模型A与模型B的完整对话历史（conversation_a与conversation_b），还提供了明确的胜负判定（winner）与裁判信息（judge），便于进行模型性能对比分析。此外，数据集融合了OpenAI内容审核的详细类别评分（如性、暴力等11个维度）以及两套毒性检测模型的判定结果，形成了从语义安全到对话质量的立体评估体系。数据规模虽小（仅53条训练样本），但字段丰富，涵盖时间戳、语言、轮次等元信息，适合用于小样本评估或安全测试场景。

使用方法

使用该数据集时，研究者可直接通过HuggingFace Datasets库加载默认配置（config_name为'default'），自动获取训练集（split='train'）中的53条样本。每条样本以字典形式呈现，包含字符串类型的question_id、model_a等基础字段，以及列表类型的conversation_a和conversation_b，其中每个元素为含content与role的字典。对于安全分析，可利用openai_moderation与toxic_chat_tag中的嵌套结构提取审核结果与毒性概率。数据加载后，可基于winner字段进行模型胜率统计，或利用对话内容构建偏好学习任务，同时结合审核标签过滤不安全样本以适配下游应用。

背景与挑战

背景概述

随着大语言模型（LLM）在对话系统中的广泛应用，如何客观、可靠地评估模型生成质量成为研究热点。vinhtran2611/lmsys_chatbot_arena_conversations_filtered数据集由研究者于2024年构建，源自LMSYS Chatbot Arena平台，该平台通过匿名化用户与多个模型的交互记录，收集了真实场景下的多轮对话数据。核心研究问题聚焦于如何利用人类偏好信号（如模型胜负判定）来校准自动评估指标，并探索对话安全性与毒性内容的检测方法。该数据集通过引入OpenAI审核标签和毒性分类器（如RoBERTa、T5）的标注，为构建更鲁棒的对话评估基准提供了数据基础，对推动LLM对齐与安全研究具有重要参考价值。

当前挑战

该数据集面临的核心挑战包括：其一，如何从非结构化的人类偏好中提炼出可泛化的评估准则，避免因标注噪声（如用户主观偏见）导致模型排名失真；其二，对话安全标注的细粒度不足，现有毒性检测器（如RoBERTa）在识别隐晦攻击或文化特定冒犯时表现欠佳，需更精准的多维度风险建模；其三，数据构建过程中，多轮对话的上下文依赖性与模型间交互的复杂性增加了胜负判定的歧义性，且53条样本的有限规模难以覆盖长尾对话场景，限制了统计显著性。此外，匿名化处理可能削弱用户意图与模型行为间的因果推断能力。

常用场景

经典使用场景

在对话系统与大型语言模型评估领域，该数据集为研究者提供了来自Chatbot Arena平台的真实人类偏好数据，涵盖多轮对话中不同模型对同一问题的回答比较。其经典使用场景在于通过模型间胜负标注（winner字段）与匿名化交互记录，构建基于人类判断的模型性能排行榜，从而系统性地对比不同语言模型在开放式对话任务中的表现优劣，为模型迭代提供实证依据。

实际应用

在实际应用中，该数据集常被用于训练奖励模型以优化对话系统的输出质量，例如通过偏好数据微调开源大模型使其更符合人类期望。同时，其包含的多语言对话内容与OpenAI审核标签可用于构建内容安全过滤器，帮助开发者识别和缓解模型生成有害或不当回复的风险，从而提升聊天机器人在客服、教育等领域的部署可靠性。

衍生相关工作

该数据集衍生了一系列重要工作，包括基于偏好排序的模型评估框架（如Chatbot Arena排行榜）、利用胜负数据进行Elo评分系统的改进算法，以及结合毒性标签的多任务安全对齐研究。此外，研究者还基于其中对话结构开发了多轮交互中的策略学习模型，探索了如何通过对比不同模型回复来提升单一模型的生成多样性，这些工作共同深化了对语言模型能力边界与人类价值对齐的理解。