Mutonix/RefGPT-Fact

--- license: apache-2.0 dataset_info: features: - name: dialogue dtype: string - name: reference dtype: string - name: language dtype: string - name: type dtype: string splits: - name: zh num_bytes: 180760081 num_examples: 50000 - name: en num_bytes: 464054853 num_examples: 50000 download_size: 260969665 dataset_size: 644814934 task_categories: - conversational language: - zh - en arxiv: https://arxiv.org/abs/2305.14994 size_categories: - 10K<n<100K --- # Dataset Card for RefGPT-Fact ## Dataset Description - **Homepage:** - **Repository:** [https://github.com/ziliwangnlp/RefGPT](https://github.com/ziliwangnlp/RefGPT) - **Paper:** [https://arxiv.org/abs/2305.14994](https://arxiv.org/abs/2305.14994) - **Leaderboard:** - **Point of Contact:** ### Dataset Summary <p align="center"> <a href="https://arxiv.org/abs/2305.14994"><b>[Paper] RefGPT</b></a> | <a href="https://github.com/ziliwangnlp/RefGPT"><b>[Github] RefGPT</b></a> </p> RefGPT-Fact is a datasets containing 100k multi-turn dialogues about factual knowledge with 50k English and 50k Chinese. The English version uses the English Wikipedia as the reference and the Chinese version uses the frequently-used Chinese online encyclopedia website, Baidu Baike. ### Supported Tasks and Leaderboards Chatbot instruction finetuning ### Languages Chinese, English ## Dataset Structure ### Data Instances [More Information Needed] ### Data Fields [More Information Needed] ### Data Splits [More Information Needed] ## Dataset Creation ### Curation Rationale [More Information Needed] ### Source Data #### Initial Data Collection and Normalization [More Information Needed] #### Who are the source language producers? [More Information Needed] ### Annotations #### Annotation process [More Information Needed] #### Who are the annotators? [More Information Needed] ### Personal and Sensitive Information [More Information Needed] ## Considerations for Using the Data ### Social Impact of Dataset Please pay attention that RefGPT Datasets, including RefGPT-Fact and RefGPT-Code, have not undergone manual verification, and as such, their security cannot be strictly guaranteed. Users should be aware that they are responsible for the results generated using this data. ### Discussion of Biases As the datasets RefGPT-Fact and RefGPT-Code are collected by using the references like Wikipedia and Github repositories, it can not be avoided that the reference itself has factual errors, typos, or bugs and malicious code if it is from Github repositories. The datasets may also reflect the biases of the selected references and GPT-3.5/GPT-4 model ### Other Known Limitations [More Information Needed] ## Additional Information ### Dataset Curators [More Information Needed] ### Licensing Information [More Information Needed] ### Citation Information ```bibtex @misc{yang2023refgpt, title={RefGPT: Reference -> Truthful & Customized Dialogues Generation by GPTs and for GPTs}, author={Dongjie Yang and Ruifeng Yuan and YuanTao Fan and YiFei Yang and Zili Wang and Shusen Wang and Hai Zhao}, year={2023}, eprint={2305.14994}, archivePrefix={arXiv}, primaryClass={cs.CL} } ``` ### Contributions [More Information Needed]许可证：Apache-2.0 数据集信息： 数据特征： - 字段名：对话（dialogue），数据类型：字符串（string） - 字段名：参考文本（reference），数据类型：字符串（string） - 字段名：语言（language），数据类型：字符串（string） - 字段名：类型（type），数据类型：字符串（string） 数据拆分： - 拆分名称：zh，字节数：180760081，样本数：50000 - 拆分名称：en，字节数：464054853，样本数：50000 下载大小：260969665 数据集总大小：644814934 任务类别： - 对话式（conversational） 语言： - 中文（zh） - 英文（en） arXiv链接：https://arxiv.org/abs/2305.14994 规模类别： - 1万<样本数<10万 # RefGPT-Fact 数据集卡片 ## 数据集说明 - **主页：** - **代码仓库：** [https://github.com/ziliwangnlp/RefGPT]("https://github.com/ziliwangnlp/RefGPT") - **论文：** [https://arxiv.org/abs/2305.14994]("https://arxiv.org/abs/2305.14994") - **排行榜：** - **联系人：** ### 数据集概述 <p align="center"> <a href="https://arxiv.org/abs/2305.14994"><b>[论文] RefGPT</b></a> | <a href="https://github.com/ziliwangnlp/RefGPT"><b>[代码仓库] RefGPT</b></a> </p> RefGPT-Fact 是一款包含10万条事实知识类多轮对话的数据集，其中英文对话与中文对话各5万条。英文版本以英文维基百科（English Wikipedia）作为参考源，中文版本则采用国内常用的中文在线百科网站百度百科（Baidu Baike）作为参考源。 ### 支持任务与排行榜 聊天机器人指令微调（Chatbot instruction finetuning） ### 支持语言 中文、英文 ## 数据集结构 ### 数据实例 [更多信息待补充] ### 数据字段 [更多信息待补充] ### 数据拆分 [更多信息待补充] ## 数据集构建 ### 构建依据 [更多信息待补充] ### 源数据 #### 初始数据收集与归一化 [更多信息待补充] #### 源语言生成者 [更多信息待补充] ### 标注 #### 标注流程 [更多信息待补充] #### 标注人员 [更多信息待补充] ### 个人与敏感信息 [更多信息待补充] ## 数据使用注意事项 ### 数据集社会影响 请注意，包括RefGPT-Fact与RefGPT-Code在内的RefGPT系列数据集尚未经过人工核验，因此无法严格保证其安全性。使用者需知晓，其使用本数据生成的结果需自行承担相应责任。 ### 偏差分析 由于RefGPT-Fact与RefGPT-Code数据集分别以维基百科（Wikipedia）与GitHub仓库作为参考源进行采集，不可避免地会存在参考源本身包含事实错误、拼写失误的情况；若参考源来自GitHub仓库，则还可能包含程序漏洞与恶意代码。此外，本数据集亦可能反映所选参考源以及GPT-3.5/GPT-4模型本身存在的偏差。 ### 其他已知局限性 [更多信息待补充] ## 附加信息 ### 数据集维护者 [更多信息待补充] ### 许可证信息 [更多信息待补充] ### 引用信息 bibtex @misc{yang2023refgpt, title={RefGPT: Reference -> Truthful & Customized Dialogues Generation by GPTs and for GPTs}, author={Dongjie Yang and Ruifeng Yuan and YuanTao Fan and YiFei Yang and Zili Wang and Shusen Wang and Hai Zhao}, year={2023}, eprint={2305.14994}, archivePrefix={arXiv}, primaryClass={cs.CL} } ### 贡献 [更多信息待补充]

原始信息汇总

数据集概述

名称: RefGPT-Fact

语言: 中文, 英文

数据集大小: 10K<n<100K

任务类别: 对话式

数据集结构:

• 特征:
  • dialogue: 字符串
  • reference: 字符串
  • language: 字符串
  • type: 字符串
• 分割:
  • zh: 50000个示例, 180760081字节
  • en: 50000个示例, 464054853字节
• 下载大小: 260969665字节
• 数据集大小: 644814934字节

数据集内容:

• 包含100k多轮对话，涉及事实知识，其中50k为英文，50k为中文。英文版使用英文维基百科作为参考，中文版使用百度百科。

使用注意事项:

• 数据集未经过手动验证，安全性不能严格保证。
• 数据集可能反映所选参考资料和GPT-3.5/GPT-4模型的偏见。

许可证: Apache-2.0

搜集汇总

数据集介绍

构建方式

RefGPT-Fact数据集的构建基于大规模的多轮对话，涵盖了100,000条关于事实知识的对话，其中50,000条为英文对话，50,000条为中文对话。英文部分的数据来源于英文维基百科，而中文部分则基于百度百科这一常用的中文在线百科全书。通过这种方式，数据集旨在提供一个多语言、多领域的对话资源，以支持对话系统的微调与训练。

特点

RefGPT-Fact数据集的主要特点在于其多语言和多轮对话的结构，这使得它适用于跨语言的对话系统研究。此外，数据集的对话内容基于权威的百科全书，确保了信息的准确性和可靠性。然而，由于数据集未经过人工验证，用户在使用时应自行承担可能存在的安全风险。

使用方法

RefGPT-Fact数据集适用于对话系统的微调任务，特别是那些需要处理多语言和多轮对话的场景。用户可以通过访问数据集的GitHub仓库或阅读相关论文来获取详细的使用指南和代码示例。在使用过程中，用户应注意数据集的潜在偏见和未验证的安全性问题，并根据具体需求进行适当的预处理和验证。

背景与挑战

背景概述

RefGPT-Fact数据集由Dongjie Yang等人于2023年创建，旨在通过提供多轮对话数据来增强对话系统的真实性和定制化能力。该数据集包含100,000条多轮对话，涵盖50,000条英文和50,000条中文对话，分别基于英文维基百科和中文百度百科。RefGPT-Fact的创建不仅填补了多语言对话数据集的空白，还为对话系统的微调提供了丰富的资源，推动了对话系统在事实性知识处理方面的研究进展。

当前挑战

RefGPT-Fact数据集在构建过程中面临多重挑战。首先，数据的真实性和准确性依赖于参考来源，如维基百科和百度百科，这些来源可能存在事实错误或偏见。其次，数据集未经过人工验证，其安全性无法严格保证，用户需自行承担使用风险。此外，数据集可能反映出GPT-3.5/GPT-4模型本身的偏见，这需要在后续研究中加以校正和优化。

常用场景

经典使用场景

在自然语言处理领域，RefGPT-Fact数据集的经典使用场景主要集中在对话系统的微调与优化。该数据集通过提供多轮对话及其对应的参考信息，使得研究人员能够训练出更加准确和可靠的对话模型。特别是在多语言环境下，RefGPT-Fact的英汉双语数据为跨语言对话系统的开发提供了宝贵的资源。

解决学术问题

RefGPT-Fact数据集解决了对话系统中常见的信息准确性和一致性问题。通过引入参考信息，该数据集帮助研究人员在训练过程中更好地校正模型输出，从而提高对话系统的真实性和可靠性。这对于推动对话系统在学术研究中的应用具有重要意义，尤其是在需要高度准确信息的领域，如医疗咨询和法律咨询。

衍生相关工作

基于RefGPT-Fact数据集，研究人员开发了多种对话生成模型和评估工具。例如，一些工作专注于改进模型的多轮对话能力，通过引入更复杂的上下文理解和生成机制，提升对话的连贯性和自然度。此外，还有一些研究致力于开发自动评估系统，用于量化对话模型的表现，从而为模型的持续优化提供科学依据。这些衍生工作不仅丰富了对话系统的研究领域，也为实际应用提供了技术支持。