Retrieval-SFT-Chat

基于检索的多轮对话SFT合成数据集，包含10万条新合成的文本条目，涵盖英语、中文、日语和德语等多种语言。数据集由大型语言模型处理网页文本合成，用于持续预训练，并保持开放数据和模型的承诺。

Retrieval-based Multi-turn Dialogue Supervised Fine-Tuning (SFT) Synthetic Dataset: This dataset includes 100,000 newly synthesized text entries covering multiple languages such as English, Chinese, Japanese and German. It is synthesized by processing web text with large language models, intended for continuous pre-training, and adheres to the commitment to open data and open models.

原始信息汇总

Retrieval-Based Multi-Turn Chat SFT Synthetic Data

• 许可证: WTFPL
• 任务类别:
  • 问题回答 (question-answering)
  • 文本生成 (text-generation)
• 语言:
  • 英语 (en)
  • 中文 (zh)
  • 日语 (ja)
  • 德语 (de)
• 标签:
  • 合成数据 (synthetic)
• 数据规模:
  • 10万 < n < 100万

该数据集是一个包含10万条新合成的文本条目的主题子集，由长上下文模型合成，包含多轮对话格式的文本。数据集包含英语、中文、日语和德语文本，同时也包含少量其他语言的条目。数据编译于2025年2月，使用约620亿token进行合成。数据集旨在用于持续预训练，并鼓励用户基于内容重复度进行筛选，但不要按语言或主题筛选。未来将发布其他主题的子集。

搜集汇总

数据集介绍

构建方式

本数据集的构建，采取了网络爬取获取文本数据的方式，包含了Wikipedia内容，利用大型语言模型支持的长上下文窗口对完整网页文本进行处理。经过基于代理的自我验证等额外步骤，最终将数据合成为多轮对话格式，以适应对话系统的训练需求。

特点

该数据集特色在于，它是一个包含英语、中文、日语和德语文本的主题子集，同时涵盖了一些在开放数据集中较少被代表的小众主题。数据集保持了原始的主题覆盖范围，且合成数据量庞大，使用了约620亿token进行合成。

使用方法

在使用该数据集时，用户应避免按语言或主题进行筛选，以保持数据集的完整性。鼓励用户基于内容重复度进行筛选，以去除可能存在的重复数据。该数据集适用于对话系统的预训练和持续训练，用户可以根据训练需求进行相应的数据处理和模型训练。

背景与挑战

背景概述

Retrieval-SFT-Chat数据集，诞生于2025年2月，是由一组专业研究人员基于最新的自然语言处理技术所构建。该数据集的创建，是对CausalLM/Refined-Anime-Text数据集的进一步扩展，旨在为多轮对话系统的预训练提供更为丰富和多样化的文本资源。它包含100万条合成文本条目，涉及英语、中文、日语和德语等多种语言，其数据的合成，是通过大型语言模型对网络爬取的文本进行处理，进而生成多轮对话格式。该数据集不仅体现了对开放数据和模型承诺的坚守，也展现了在自然语言处理领域的前沿探索，对推动相关研究和技术发展具有重要的影响力。

当前挑战

尽管Retrieval-SFT-Chat数据集提供了丰富的多语言对话资源，但在实际应用中仍面临诸多挑战。首先，数据集中包含的小众主题可能给模型的泛化能力带来考验。其次，由于数据未经去重处理，可能存在内容重复的问题，这对数据的质量和使用效果构成了挑战。此外，多语言环境下的语言识别和处理，也对模型提出了更高的技术要求。未来，如何在保证数据多样性和质量的同时，进一步提高数据集的实用性和针对性，是该领域面临的重要课题。

常用场景

经典使用场景

在自然语言处理领域，Retrieval-SFT-Chat数据集的典型应用场景为多轮对话系统的构建与优化。该数据集通过模拟真实对话，为模型训练提供了丰富的语言交互素材，有助于提升对话系统的响应生成能力与上下文理解水平。

实际应用

在实际应用中，Retrieval-SFT-Chat数据集可被用于开发智能客服、语音助手等交互式应用，提升用户体验，同时为多语言对话系统的国际化提供了数据基础。

衍生相关工作

基于该数据集，研究者们已经衍生出一系列相关工作，如对话生成算法的改进、多语言对话系统的构建等，这些工作进一步拓宽了自然语言处理技术在多语言环境下的应用范围。