AlderleyAI/squad_chat

Squad_Chat数据集是SQuAD2.0数据集的修改版本，旨在通过将问答对转换为更对话式的格式，支持大型语言模型在上下文问答或文档问答任务中的微调训练。该数据集结合了SQuAD1.1的10万个问题和SQuAD2.0的5万个无法回答的问题，要求系统不仅能在有答案时提供准确答案，还能在段落不支持答案时判断并避免回答。数据集包含CSV和JSONL两种格式，数据字段包括id、title、context、question和answer。数据集的创建日期为2023年6月26日，由Alderley.ai贡献。

原始信息汇总

数据集概述

数据集名称

Squad_Chat

数据集描述

Squad_Chat是一个专为训练大型语言模型（LLMs）进行上下文或文档问答任务的数据集。它是SQuAD2.0数据集的修改版本，其中的问题回答被修改为更具对话性质。

数据集来源

SQuAD2.0数据集，包含100,000个原始问题和50,000个不可回答问题。

数据集特点

• 问题回答采用更对话式的格式。
• 旨在支持大型语言模型的精细调整，以提高在上下文问答任务中的表现。

数据集结构

文件格式

• CSV
• JSONL

数据字段

• CSV文件包含以下字段：
  • id: 原始SQuAD ID
  • title: 原始SQuAD标题
  • context: 原始SQuAD上下文
  • question: 原始问题
  • answer: 对话式回答（原始SQuAD回答的演变）
• JSONL文件包含以下字段：
  • context: 原始SQuAD上下文
  • question: 原始问题
  • answer: 对话式回答（原始SQuAD回答的演变）

数据分割

数据未分割，所有数据合并为一个文件。

数据集创建

创建日期：2023年6月26日

使用考虑

• 数据仅限于英语。
• 回答问题与不可回答问题的比例为2:1。

许可证

CC-BY-SA-4.0