yentinglin/tw_chatbot_arena

TW Chatbot Arena数据集是一个开源数据集，旨在支持基于人类反馈的强化学习（RLHF）。该数据集包含来自台湾Chatbot Arena的对话数据，主要语言为繁体中文。数据集的内容包括用户与聊天机器人的互动，每个互动都被标记为chosen或rejected，以反映响应的质量。数据集的结构包括多个特征，如question_id、model_a、model_b、winner、judge、conversation_a、conversation_b等，并且数据集分为两个配置：all和argilla。数据集的使用遵循Argilla格式，便于集成到训练框架中。

The TW Chatbot Arena Dataset is an open-source dataset created to facilitate Reinforcement Learning with Human Feedback (RLHF) from the Taiwan Chatbot Arena. This dataset includes conversation data in both English and Chinese, primarily focusing on Traditional Mandarin, to support the development and evaluation of language models. The dataset contains user and chatbot interactions, each labeled as chosen or rejected based on the quality of responses. The dataset structure includes features such as question_id, model_a, model_b, winner, judge, conversation_a, conversation_b, and is divided into two configurations: all and argilla. The dataset follows the Argilla format for easy integration into training frameworks.

原始信息汇总

数据集概述

• 名称: TW Chatbot Arena Dataset
• 目的: 用于支持语言模型的发展和评估，特别是针对传统中文的Reinforcement Learning with Human Feedback (RLHF)。
• 语言: 主要为传统中文，包含英文
• 内容: 用户与聊天机器人的交互数据，每个交互标记为“chosen”或“rejected”。

数据集详细信息

• 许可证: Apache-2.0
• 特征:
  • question_id: 字符串
  • model_a: 字符串
  • model_b: 字符串
  • winner: 字符串
  • judge: 字符串
  • conversation_a: 列表，包含内容（字符串）、num_tokens（整数）、role（字符串）
  • conversation_b: 列表，包含内容（字符串）、num_tokens（整数）、role（字符串）
  • turn: 整数
  • anony: 布尔值
  • language: 字符串
  • tstamp: 浮点数
  • chosen: 列表，包含内容（字符串）、num_tokens（整数）、role（字符串）
  • rejected: 列表，包含内容（字符串）、num_tokens（整数）、role（字符串）
• 分割:
  • train:
    • num_bytes: 17132653（all配置）, 14447690（argilla配置）
    • num_examples: 2758（all配置）, 1957（argilla配置）
• 下载大小: 6988480（all配置）, 6152675（argilla配置）
• 数据集大小: 17132653（all配置）, 14447690（argilla配置）

数据集结构

• chosen: 包含聊天机器人首选响应的列表
• rejected: 包含聊天机器人拒绝响应的列表

下载与使用

• 下载: 可通过Hugging Face Datasets库直接下载使用
• 使用: 遵循Argilla格式，便于集成到训练框架中

搜集汇总

数据集介绍

构建方式

在自然语言处理与人类反馈强化学习（RLHF）的交叉领域中，高质量偏好数据的构建是提升语言模型对齐能力的关键。TW Chatbot Arena 数据集正是从台湾聊天机器人竞技场平台采集而来，其构建方式独具匠心：通过让用户同时与两个匿名或具名的聊天机器人模型进行多轮对话，并由用户根据回应质量投票选出胜者，从而生成成对的偏好数据。每一条样本均包含完整的对话记录、模型名称、投票结果、对话轮次、匿名状态以及时间戳，并明确标注了被选择（chosen）与被拒绝（rejected）的回应内容及其令牌数量与角色。这种基于真实用户交互的众包方式，确保了数据在生态效度与偏好多样性上的天然优势。

特点

该数据集的核心特色在于其鲜明的领域聚焦与精细的结构化设计。首先，它主要面向繁体中文场景，涵盖台湾政治、生活资讯、金融投资、健康医疗等十大主题，具有显著的在地化与实用性。其次，数据集遵循标准的 Argilla 格式，包含 question_id、model_a、model_b、winner、judge、conversation_a、conversation_b、turn、anony、language、tstamp、chosen 与 rejected 等丰富字段，既支持直接偏好优化（DPO）训练，也便于研究者进行多维度分析。此外，数据集的规模虽为3.6k条，但通过匿名与非匿名对话的混合设计，有效控制了用户对模型名称的偏见，提升了偏好标签的客观性与可信度。

使用方法

在应用层面，此数据集可无缝集成至主流的偏好对齐训练流程中。以 Axolotl 框架为例，使用者仅需安装 Axolotl 环境，下载针对 LLaMA-3 8B 模型优化的 DPO 训练配置文件，并通过 accelerate launch 命令启动训练即可。数据集本身通过 Hugging Face Datasets 库直接加载，支持 all、argilla 和 raw 三种配置，分别对应完整数据、Argilla 格式数据及原始交互日志。研究者可根据硬件资源灵活调整批次大小或模型规模，亦可参照 Llama-factory 等框架进行自定义训练。这种即插即用的兼容性，大幅降低了在繁体中文场景下开展 RLHF 研究的技术门槛。

背景与挑战

背景概述

在大型語言模型快速演進的浪潮中，繁體中文領域的偏好數據資源相對匱乏，制約了本土化對話系統的發展。由Yen-Ting Lin與Yun-Nung Chen於2024年創建的TW Chatbot Arena資料集，正是在此背景下應運而生。該資料集源自台灣聊天機器人競技場（arena.twllm.com），收錄了3,600餘筆使用者與不同模型間的互動記錄，並標註了每組回應的偏好勝負。其核心研究問題在於為繁體中文環境提供可靠的人類回饋強化學習（RLHF）數據，從而推動在地語言模型的對齊與評估。該數據集獲g0v零時小學校計畫贊助，並遵循Apache-2.0授權，已成為繁體中文AI開源實踐的重要基石。

当前挑战

該資料集所面對的挑戰涵蓋了領域問題與構建過程兩個層面。在領域問題上，繁體中文的語言特性與文化語境使得通用偏好模型難以直接適用，台灣政治、法律知識等高比例主題（佔約22%）更要求模型具備細膩的在地化理解能力，而非僅止於通用的語言生成優化。在構建過程中，資料集依賴社群用戶自發投票，這引入了評審品質不均與潛在偏差的難題，例如IP作為評審標記無法完全排除重複或惡意投票。此外，僅3.6k筆的規模與2024年8月靜態的時間點，限制了模型對快速變遷的時事議題的適應力，亟需持續擴充以維持代表性。

常用场景

经典使用场景

在自然语言处理与人工智能对齐研究领域，TW Chatbot Arena 数据集的核心价值在于为直接偏好优化（DPO）提供高质量的人类反馈信号。该数据集收录了用户与多种聊天机器人在真实场景中的多轮对话，每一条交互都附带了由人类评审者根据回答质量判定的“被选择”与“被拒绝”标签，构成了经典的偏好对。研究者可利用这些偏好对，对大型语言模型进行基于人类反馈的强化学习微调，使模型的输出更加贴合用户的真实期望与价值取向。其标准的 Argilla 格式设计，使得该数据集能够无缝集成到 Axolotl、LLaMA-Factory 等主流训练框架中，极大降低了从数据到模型对齐的门槛。

解决学术问题

该数据集精准回应了当前大语言模型研究中一个关键且棘手的学术挑战：如何有效获取并利用高质量、领域特异的人类偏好数据，以提升模型在特定文化语境下的表现。现有开源偏好数据集多以英文为主，缺乏对繁体中文社群语言习惯、文化脉络与价值判断的深入刻画。TW Chatbot Arena 的出现填补了这一空白，它系统性地收集了涵盖台湾政治、生活资讯、文学创作等十余个本土化主题的对话偏好，使得研究者可以针对繁体中文语境的独特问题，如政治议题的敏感性、地方性知识的准确性，进行精细化的模型对齐实验，从而推动了多语言、多文化背景下模型价值观对齐研究的纵深发展。

衍生相关工作

TW Chatbot Arena 数据集的发布催生了一系列围绕繁体中文大语言模型对齐的经典研究与实践工作。其直接的衍生产品包括基于该数据集微调的一系列开源模型，这些模型在台湾本地化的理解与生成任务上展现出显著优势。此外，该数据集为评估不同偏好优化算法（如DPO、KTO等）在非英语环境下的鲁棒性提供了基准平台，促使研究者开始关注偏好数据中“平手”与“两者皆差”这类细粒度标签对训练稳定性的影响。更深远地，该数据集与g0v零时小学校等本土开源社群的联动，激发了更多针对特定地域文化（如闽南语混合语境、网络流行语）的偏好数据收集与模型对齐工作，形成了一个活跃的学术与工程生态。