Weyaxi/GenQA-academic-filtered-sharegpt

该数据集是[tomg-group-umd/GenQA](https://hf.co/datasets/tomg-group-umd/GenQA)数据集中“学术”部分的过滤版本。过滤过程包括移除“idx”和“category”列，仅保留“template”字段为“topic”的示例，并进一步过滤“prompt”字段以“Write a complex question from the domain of”开头的示例。使用正则表达式从“prompt”字段中提取域信息，并将“prompt”和“text”列重命名为“extracted_topic”和“conversations”。最终数据集仅包含训练集，大小为3315005768字节，包含1267759个示例。数据集的语言为英语，标签包括学术和生成问答。

This dataset is a filtered version of the academic split of [tomg-group-umd/GenQA](https://hf.co/datasets/tomg-group-umd/GenQA). The filtering process includes removing the idx and category columns, retaining only examples where the template field is equal to topic, and further filtering examples where the prompt field starts with Write a complex question from the domain of. A regular expression is used to extract the domain from the prompt field, and the prompt and text columns are renamed to extracted_topic and conversations. The final dataset contains only the training set, with a size of 3315005768 bytes and 1267759 examples. The dataset is in English and tagged with academic and genqa.

原始信息汇总

GenQA-academic-filtered 数据集概述

数据集信息

• 特征:
  • conversations:
    • content: 字符串类型
    • role: 字符串类型
  • extracted_topic: 字符串类型
• 分割:
  • train:
    • 字节数: 3315005768
    • 样本数: 1267759
• 下载大小: 1670141156 字节
• 数据集大小: 3315005768 字节

配置

• 配置名称: default
  • 数据文件:
    • train: data/train-*

语言

• en

标签

• academic
• genqa

过滤过程

1. 移除 idx 和 category 列。
2. 保留 template 字段等于 topic 的样本。
3. 保留 prompt 字段以 "Write a complex question from the domain of" 开头的样本。
4. 使用正则表达式从 prompt 字段中提取域名，并替换原始 prompt 字段。
5. 将 prompt 和 text 列重命名为 extracted_topic 和 conversations。
6. 移除 template 列。