dim/lmsys_chatbot_arena_conversations

--- dataset_info: features: - name: question_id dtype: string - name: model_a dtype: string - name: model_b dtype: string - name: winner dtype: string - name: judge dtype: string - name: conversation_a list: - name: content dtype: string - name: role dtype: string - name: conversation_b list: - name: content dtype: string - name: role dtype: string - name: turn dtype: int64 - name: anony dtype: bool - name: language dtype: string - name: tstamp dtype: float64 - name: openai_moderation struct: - name: categories struct: - name: harassment dtype: bool - name: harassment/threatening dtype: bool - name: hate dtype: bool - name: hate/threatening dtype: bool - name: self-harm dtype: bool - name: self-harm/instructions dtype: bool - name: self-harm/intent dtype: bool - name: sexual dtype: bool - name: sexual/minors dtype: bool - name: violence dtype: bool - name: violence/graphic dtype: bool - name: category_scores struct: - name: harassment dtype: float64 - name: harassment/threatening dtype: float64 - name: hate dtype: float64 - name: hate/threatening dtype: float64 - name: self-harm dtype: float64 - name: self-harm/instructions dtype: float64 - name: self-harm/intent dtype: float64 - name: sexual dtype: float64 - name: sexual/minors dtype: float64 - name: violence dtype: float64 - name: violence/graphic dtype: float64 - name: flagged dtype: bool - name: toxic_chat_tag struct: - name: roberta-large struct: - name: flagged dtype: bool - name: probability dtype: float64 - name: t5-large struct: - name: flagged dtype: bool - name: score dtype: float64 splits: - name: train num_bytes: 81159839 num_examples: 33000 download_size: 41573740 dataset_size: 81159839 configs: - config_name: default data_files: - split: train path: data/train-* --- # Dataset Card for "lmsys_chatbot_arena_conversations" [More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)数据集信息: 特征: - 名称: question_id 数据类型: 字符串 - 名称: model_a 数据类型: 字符串 - 名称: model_b 数据类型: 字符串 - 名称: winner 数据类型: 字符串 - 名称: judge 数据类型: 字符串 - 名称: conversation_a 列表: - 名称: content 数据类型: 字符串 - 名称: role 数据类型: 字符串 - 名称: conversation_b 列表: - 名称: content 数据类型: 字符串 - 名称: role 数据类型: 字符串 - 名称: turn 数据类型: int64 - 名称: anony 数据类型: bool - 名称: language 数据类型: 字符串 - 名称: tstamp 数据类型: float64 - 名称: openai_moderation 结构: - 名称: categories 结构: - 名称: harassment 数据类型: bool - 名称: harassment/threatening 数据类型: bool - 名称: hate 数据类型: bool - 名称: hate/threatening 数据类型: bool - 名称: self-harm 数据类型: bool - 名称: self-harm/instructions 数据类型: bool - 名称: self-harm/intent 数据类型: bool - 名称: sexual 数据类型: bool - 名称: sexual/minors 数据类型: bool - 名称: violence 数据类型: bool - 名称: violence/graphic 数据类型: bool - 名称: category_scores 结构: - 名称: harassment 数据类型: float64 - 名称: harassment/threatening 数据类型: float64 - 名称: hate 数据类型: float64 - 名称: hate/threatening 数据类型: float64 - 名称: self-harm 数据类型: float64 - 名称: self-harm/instructions 数据类型: float64 - 名称: self-harm/intent 数据类型: float64 - 名称: sexual 数据类型: float64 - 名称: sexual/minors 数据类型: float64 - 名称: violence 数据类型: float64 - 名称: violence/graphic 数据类型: float64 - 名称: flagged 数据类型: bool - 名称: toxic_chat_tag 结构: - 名称: roberta-large 结构: - 名称: flagged 数据类型: bool - 名称: probability 数据类型: float64 - 名称: t5-large 结构: - 名称: flagged 数据类型: bool - 名称: score 数据类型: float64 拆分: - 名称: train 字节数: 81159839 样本数: 33000 下载大小: 41573740 数据集大小: 81159839 配置: - 配置名称: default 数据文件: - 拆分: train 路径: data/train-* # 'lmsys_chatbot_arena_conversations'数据集卡片 [需补充更多信息](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

原始信息汇总

数据集概述

数据集信息

• 特征列表:
  • question_id: 字符串类型
  • model_a: 字符串类型
  • model_b: 字符串类型
  • winner: 字符串类型
  • judge: 字符串类型
  • conversation_a: 列表类型，包含 content（字符串类型）和 role（字符串类型）
  • conversation_b: 列表类型，包含 content（字符串类型）和 role（字符串类型）
  • turn: 64位整数类型
  • anony: 布尔类型
  • language: 字符串类型
  • tstamp: 64位浮点数类型
  • openai_moderation: 结构类型，包含 categories（结构类型，包含多个布尔类型字段）和 category_scores（结构类型，包含多个64位浮点数字段）以及 flagged（布尔类型）
  • toxic_chat_tag: 结构类型，包含 roberta-large（结构类型，包含 flagged（布尔类型）和 probability（64位浮点数类型））和 t5-large（结构类型，包含 flagged（布尔类型）和 score（64位浮点数类型））

数据集分割

• 训练集:
  • 字节数: 81,159,839
  • 样本数: 33,000

数据集大小

• 下载大小: 41,573,740 字节
• 数据集大小: 81,159,839 字节

配置信息

• 默认配置:
  • 数据文件路径: data/train-*

搜集汇总

数据集介绍

构建方式

在人工智能对话系统评估领域，lmsys_chatbot_arena_conversations数据集的构建采用了众包平台上的对抗性对话收集机制。该机制通过在线竞技场形式，邀请真实用户提交查询问题，并随机分配两个不同的对话模型生成回复，随后由用户担任裁判，匿名评选出更优的回复作为胜者。数据采集过程涵盖了多轮对话交互，并记录了完整的时间戳、语言类型及匿名化标识，同时引入了OpenAI内容审核与毒性检测模型对对话内容进行安全标注，确保了数据来源的多样性与质量控制的严谨性。

特点

该数据集的核心特征在于其结构化的多模型对话比较框架，每条数据均包含两个独立模型对同一查询的完整对话记录，并附有用户判定的胜负结果。数据字段设计精细，不仅涵盖对话内容与角色分配，还整合了丰富的元数据，如对话轮次、时间戳及多语言标识。尤为突出的是，数据集引入了双重安全过滤机制，通过OpenAI的内容分类评分与基于RoBERTa、T5等模型的毒性检测标签，为研究社区提供了兼具对话质量评估与安全分析价值的高维度语料。

使用方法

研究人员可利用该数据集开展对话模型的基准测试与对比分析，通过提取conversation_a与conversation_b字段进行响应质量评估，并结合winner字段构建偏好学习或强化学习训练目标。在安全性与伦理研究方面，openai_moderation与toxic_chat_tag字段支持对生成内容进行风险分类与毒性检测模型的验证。此外，数据集支持按语言、匿名性及时间维度进行切片分析，为跨语言对话系统演进与用户偏好动态研究提供实证基础。

背景与挑战

背景概述

在人工智能对话系统迅猛发展的浪潮中，如何客观、高效地评估不同模型的性能成为学术界与工业界共同关注的核心议题。LMSYS Chatbot Arena Conversations数据集应运而生，由加州大学伯克利分校等机构的研究团队于2023年创建，旨在通过大规模、众包式的人机对话对战平台，收集真实用户与多种大语言模型交互的对话数据及偏好评判。该数据集的核心研究问题聚焦于构建一个开放、动态的基准测试环境，以推动对话系统在实用性、安全性与人性化方面的进步，对自然语言处理领域的模型评估与对齐研究产生了深远影响。

当前挑战

该数据集致力于解决对话系统评估中主观性强、基准单一的长期挑战，其构建过程面临多重考验。在领域层面，如何设计公平且能捕捉模型细微差异的评估机制是一大难题，同时需确保评判能涵盖多样性、安全性及事实准确性等多维度标准。在数据构建过程中，挑战主要源于众包数据质量的参差不齐，包括用户提问的随意性、评判标准的主观偏差，以及对话中可能隐含的有害内容，这要求团队投入大量资源进行数据清洗、去偏与安全过滤，以保障数据集的可靠性与研究价值。

常用场景

经典使用场景

在对话系统评估领域，lmsys_chatbot_arena_conversations数据集通过收集用户与多种聊天机器人的真实交互记录，为模型性能的横向比较提供了宝贵资源。该数据集的核心应用场景在于支持基于人类偏好的自动化评估，研究者能够利用其中标注的胜负结果，构建高效的基准测试框架，以衡量不同模型在开放域对话中的综合表现。

实际应用

在实际部署层面，该数据集为企业和开发者优化聊天机器人产品提供了直接参考。工程团队可依据模型在竞技场中的表现数据，筛选出响应更自然、更符合用户期待的对话引擎，进而提升客服系统、虚拟助手等应用的用户满意度。同时，其内置的毒性检测标签也有助于在实际应用中规避风险，增强系统的安全性与合规性。

衍生相关工作

围绕该数据集，学术界已衍生出一系列经典研究工作，例如基于Elo评分系统构建模型排行榜，以及开发更精细的对话质量评估指标。这些工作不仅深化了对模型能力边界的理解，还催生了新的评估方法论，如利用对抗性测试揭示模型弱点，从而持续推动对话人工智能向更稳健、更智能的方向演进。