AWeirdDev/bill-wurtz

该数据集名为Bill Wurtz Q&A，包含Bill Wurtz在网站上回答的所有问题。数据集的特征包括link、question和answer，主要用于文本生成、问答和文本到文本生成任务。数据集的语言为英语，标签包括心理学和哲学。数据集的大小类别为100K到1M之间。

原始信息汇总

数据集概述

数据集信息

• 特征:
  • link: 字符串类型
  • question: 字符串类型
  • answer: 字符串类型
• 分割:
  • train: 26081145 字节, 129362 条样本
• 下载大小: 11920936 字节
• 数据集大小: 26081145 字节
• 配置:
  • default:
    • train: data/train-*
• 许可证: Apache-2.0
• 任务类别:
  • 问答
  • 文本生成
  • 文本到文本生成
• 语言: 英语
• 标签:
  • 心理学
  • 哲学
• 美观名称: Bill Wurtz Q&A
• 大小类别: 100K<n<1M

数据集使用

• 获取日期: 2024-3-10
• 任务: 文本生成, 问答等
• 样本数量: 129362

数据集示例

python DatasetDict({ train: Dataset({ features: [link, question, answer], num_rows: 129362 }) })

数据集清理

• 部分问题/答案可能为空，使用前需清理数据集。 python from datasets import Dataset

raw_dataset = dataset["train"].to_list()

for i, d in enumerate(raw_dataset): if not d[question].strip() or not d[answer].strip(): del raw_dataset[i]

raw_dataset = Dataset.from_list(raw_dataset) raw_dataset

Dataset({

features: [link, question, answer],

num_rows: 123922

})