yentinglin/tw_chatbot_arena

TW Chatbot Arena数据集是一个开源数据集，旨在支持基于人类反馈的强化学习（RLHF）。该数据集包含来自台湾Chatbot Arena的对话数据，主要语言为繁体中文。数据集的内容包括用户与聊天机器人的互动，每个互动都被标记为chosen或rejected，以反映响应的质量。数据集的结构包括多个特征，如question_id、model_a、model_b、winner、judge、conversation_a、conversation_b等，并且数据集分为两个配置：all和argilla。数据集的使用遵循Argilla格式，便于集成到训练框架中。

The TW Chatbot Arena Dataset is an open-source dataset created to facilitate Reinforcement Learning with Human Feedback (RLHF) from the Taiwan Chatbot Arena. This dataset includes conversation data in both English and Chinese, primarily focusing on Traditional Mandarin, to support the development and evaluation of language models. The dataset contains user and chatbot interactions, each labeled as chosen or rejected based on the quality of responses. The dataset structure includes features such as question_id, model_a, model_b, winner, judge, conversation_a, conversation_b, and is divided into two configurations: all and argilla. The dataset follows the Argilla format for easy integration into training frameworks.

原始信息汇总

数据集概述

• 名称: TW Chatbot Arena Dataset
• 目的: 用于支持语言模型的发展和评估，特别是针对传统中文的Reinforcement Learning with Human Feedback (RLHF)。
• 语言: 主要为传统中文，包含英文
• 内容: 用户与聊天机器人的交互数据，每个交互标记为“chosen”或“rejected”。

数据集详细信息

• 许可证: Apache-2.0
• 特征:
  • question_id: 字符串
  • model_a: 字符串
  • model_b: 字符串
  • winner: 字符串
  • judge: 字符串
  • conversation_a: 列表，包含内容（字符串）、num_tokens（整数）、role（字符串）
  • conversation_b: 列表，包含内容（字符串）、num_tokens（整数）、role（字符串）
  • turn: 整数
  • anony: 布尔值
  • language: 字符串
  • tstamp: 浮点数
  • chosen: 列表，包含内容（字符串）、num_tokens（整数）、role（字符串）
  • rejected: 列表，包含内容（字符串）、num_tokens（整数）、role（字符串）
• 分割:
  • train:
    • num_bytes: 17132653（all配置）, 14447690（argilla配置）
    • num_examples: 2758（all配置）, 1957（argilla配置）
• 下载大小: 6988480（all配置）, 6152675（argilla配置）
• 数据集大小: 17132653（all配置）, 14447690（argilla配置）

数据集结构

• chosen: 包含聊天机器人首选响应的列表
• rejected: 包含聊天机器人拒绝响应的列表

下载与使用

• 下载: 可通过Hugging Face Datasets库直接下载使用
• 使用: 遵循Argilla格式，便于集成到训练框架中