Enwiki数据集是一个自动更新的数据集，包含约700万篇英文维基百科文章，这些文章已经扩展了模板并转换为Markdown格式。该数据集旨在为各种应用提供一个简化的、适合大型语言模型读取的维基百科版本，包括RAG（检索增强生成）等。数据集有两个版本：完整合并的文章版和分块的文章版，后者将文章分割成大约700字的片段，并包含Markdown标题的层次结构面包屑。

Hugging Face2025-08-15 更新1900

HiTZ/alpaca_mt

多语言数据

指令微调

--- annotations_creators: - no-annotation language: - en - pt - es - ca - eu - gl - at language_creators: - machine-generated license: cc-by-nc-4.0 multilinguality: - multilingual - translation pretty

Hugging Face2023-04-07 更新530

Wiki-Reliability: A Large Scale Dataset for Content Reliability on Wikipedia

维基百科

内容可靠性

Wiki-Reliability: Machine Learning datasets for measuring content reliability on Wikipedia Consists of metadata features and content text datasets, with the format {template_name}_features.csv</

DataCite Commons2021-02-26 更新80

DuRecDial 2.0

对话推荐

多语言数据

DuRecDial 2.0是由百度公司创建的双语平行对话推荐数据集，包含16500条英汉对话，总计255000条语句。该数据集通过严格的质量控制程序由众包工作者标注，覆盖电影、音乐、明星、食品、餐厅、新闻、天气等多个领域。数据集的创建旨在推动多语言和跨语言对话推荐的研究，通过定义五种任务，包括单语、多语和跨语言对话推荐，为模型性能评估提供了一个挑战性的测试平台。

arXiv2021-09-18 更新980

Arknights En-Ja-Zh

游戏本地化

多语言数据

Multilingual in Arknignights. English, Japanese and Chinese langs. Cleaned.

kaggle2023-07-01 更新190