sentence-transformers/embedding-training-data

该数据集包含用于训练文本嵌入模型的训练文件，支持多种数据格式，如Pairs、Triplets、Sets、Query-Pairs和Query-Triplets。数据集列表包括来自Google自动建议、Yahoo Answers、MS MARCO、StackExchange、ELI5、SQuAD、WikiHow、Amazon、Natural Questions、S2ORC、Quora、WikiAnswers、SearchQA、AG News、SNLI、MultiNLI、SPECTER、SimpleWiki、PAQ、altlex、CC News、CodeSearchNet、Sentence-Compression、TriviaQA、CNN Dailymail、Flickr30k、XSUM和COCO等多个来源的数据。每个数据集都有详细的描述、大小、性能指标和参考来源。

本数据集涵盖用于训练文本嵌入模型（text embedding model）的训练文件，支持多类数据格式，包括Pairs、Triplets、Sets、Query-Pairs以及Query-Triplets。其数据集来源覆盖多个公开数据源，涵盖谷歌自动建议（Google Autosuggest）、雅虎问答（Yahoo Answers）、MS MARCO、StackExchange、ELI5、SQuAD、WikiHow、亚马逊（Amazon）、自然问题（Natural Questions）、S2ORC、Quora、WikiAnswers、SearchQA、AG News、SNLI、MultiNLI、SPECTER、SimpleWiki、PAQ、altlex、CC新闻（CC News）、CodeSearchNet、句子压缩（Sentence-Compression）、TriviaQA、CNN每日邮报（CNN Dailymail）、Flickr30k、XSUM以及COCO等。各数据集均附带详尽的描述信息、规模参数、性能指标与参考来源。

原始信息汇总

文本嵌入模型训练数据集

本仓库包含用于训练文本嵌入模型的训练文件，例如使用sentence-transformers。

数据格式

所有文件均为jsonl.gz格式：每行包含一个代表一个训练示例的JSON对象。

JSON对象可以有不同的格式：

• Pairs: ["text1", "text2"] - 这是一个在向量空间中应该接近的正样本对。
• Triplets: ["anchor", "positive", "negative"] - 这是一个三元组：positive文本应接近anchor，而negative文本应远离anchor。
• Sets: {"set": ["text1", "text2", ...]} - 一组描述同一事物的文本，例如同一问题的不同释义，同一图像的不同标题。任何元素的组合都被视为正样本对。
• Query-Pairs: {"query": "text", "pos": ["text1", "text2", ...]} - 一个查询和一组正样本文本。可以通过从pos中随机选择一个文本来形成对["query", "positive"]。
• Query-Triplets: {"query": "text", "pos": ["text1", "text2", ...], "neg": ["text1", "text2", ...]} - 一个查询和一组正样本文本及负样本文本。可以通过从pos和neg中随机选择文本来形成三元组["query", "positive", "negative"]。

可用数据集

数据集	描述	大小（行数）	性能	参考
gooaq_pairs.jsonl.gz	Google自动建议的(问题, 答案)对	3,012,496	59.06	GooAQ
yahoo_answers_title_answer.jsonl.gz	Yahoo Answers的(标题, 答案)对	1,198,260	58.65	Yahoo Answers
msmarco-triplets.jsonl.gz	MS MARCO Passages数据集的(问题, 答案, 负样本)三元组	499,184	58.76	MS MARCO Passages
stackexchange_duplicate_questions_title_title.jsonl.gz	StackExchange的重复问题(标题, 标题)对	304,525	58.47	Stack Exchange Data API
eli5_question_answer.jsonl.gz	ELI5数据集的(问题, 答案)对	325,475	58.24	ELI5
yahoo_answers_title_question.jsonl.gz	Yahoo Answers的(标题, 问题正文)对	659,896	58.05	Yahoo Answers
squad_pairs.jsonl.gz	SQuAD数据集的(问题, 答案段落)对	87,599	58.02	SQuAD
yahoo_answers_question_answer.jsonl.gz	Yahoo Answers的(问题正文, 答案)对	681,164	57.74	Yahoo Answers
wikihow.jsonl.gz	WikiHow的(摘要, 文本)对	128,542	57.67	WikiHow
amazon_review_2018.jsonl.gz	Amazon的(标题, 评论)对	87,877,725	57.65	Amazon review data (2018)
NQ-train_pairs.jsonl.gz	NQ数据集的训练对(查询, 答案段落)	100,231	57.48	Natural Questions
amazon-qa.jsonl.gz	Amazon的(问题, 答案)对	1,095,290	57.48	AmazonQA
S2ORC_title_abstract.jsonl.gz	科学论文的(标题, 摘要)对	41,769,185	57.39	S2ORC
quora_duplicates.jsonl.gz	Quora的重复问题对	103,663	57.36	QQP
WikiAnswers.jsonl.gz	重复问题集	27,383,151	57.34	WikiAnswers Corpus
searchQA_top5_snippets.jsonl.gz	SearchQA数据集的问题 + Top5文本片段	117,220	57.34	search_qa
stackexchange_duplicate_questions_title-body_title-body.jsonl.gz	StackExchange的重复问题(标题+正文, 标题+正文)对	250,460	57.30	Stack Exchange Data API
S2ORC_citations_titles.jsonl.gz	引文网络(论文标题)	51,030,086	57.28	S2ORC
stackexchange_duplicate_questions_body_body.jsonl.gz	StackExchange的重复问题(正文, 正文)对	250,519	57.26	Stack Exchange Data API
agnews.jsonl.gz	AG News数据集的新闻文章(标题, 描述)对	1,157,745	57.25	AG news corpus
quora_duplicates_triplets.jsonl.gz	Quora的重复问题对，带有额外的硬负样本（通过交叉编码器挖掘和去噪）	101,762	56.97	QQP
AllNLI.jsonl.gz	SNLI + MultiNLI三元组：(锚点, 蕴含文本, 矛盾文本)	277,230	56.57	SNLI and MNLI
npr.jsonl.gz	npr.org网站的(标题, 正文)对	594,384	56.44	Pushshift
specter_train_triples.jsonl.gz	Specter的科学出版物三元组(标题, 相关标题, 硬负样本)	684,100	56.32	SPECTER
SimpleWiki.jsonl.gz	匹配对(英语维基百科, 简单英语维基百科)	102,225	56.15	SimpleWiki
PAQ_pairs.jsonl.gz	PAQ数据集的训练对(查询, 答案段落)	64,371,441	56.11	PAQ
altlex.jsonl.gz	匹配对(英语维基百科, 简单英语维基百科)	112,696	55.95	altlex
ccnews_title_text.jsonl.gz	CC News数据集的(标题, 文章)对	614,664	55.84	CC-News
codesearchnet.jsonl.gz	CodeSearchNet语料库是GitHub上托管的开源库的(注释, 代码)对。它包含多种编程语言的代码和文档。	1,151,414	55.80	CodeSearchNet
S2ORC_citations_abstracts.jsonl.gz	引文网络(论文摘要)	39,567,485	55.74	S2ORC
sentence-compression.jsonl.gz	句子压缩的(长文本, 短文本)对	180,000	55.63	Sentence-Compression
TriviaQA_pairs.jsonl.gz	TriviaQA数据集的(查询, 答案)对	73,346	55.56	TriviaQA
cnn_dailymail_splitted.jsonl.gz	CNN Dailymail数据集的(文章, 高亮句子)，每个新闻文章有单独的高亮句子	311,971	55.36	CNN Dailymail Dataset
cnn_dailymail.jsonl.gz	CNN Dailymail数据集的(高亮句子, 文章)，每个新闻文章的所有高亮句子作为一个文本	311,971	55.27	[CNN Dailymail Dataset](https://huggingface.co/datasets/cnn_d

搜集汇总

数据集介绍

构建方式

在自然语言处理领域，高质量的文本嵌入模型训练依赖于丰富多样的标注数据。该数据集以jsonl.gz格式存储，每一行代表一个训练样本，支持多种结构：包括用于度量文本相似度的正例对（pairs）、包含锚点、正例与负例的三元组（triplets）、描述同一语义的多文本集合（sets）、查询与正例文本构成的查询对（query-pairs），以及进一步引入负例的查询三元组（query-triplets）。数据源自多个公开语料库，如问答对、重复问题对、科学文献摘要对及新闻标题-正文对等，经过统一格式化处理，便于直接用于模型训练。

特点

该数据集集成了来自GooAQ、MS MARCO、StackExchange、ELI5、SQuAD、Amazon Review、S2ORC、Quora、WikiAnswers、CNN/DailyMail等数十个领域的语料，覆盖问答、检索、摘要、释义匹配、代码注释等多样化任务。每条数据均附带性能评估指标，基于MiniLM-L6-H384-uncased模型在14个基准上的平均表现，为用户选择训练子集提供了量化参考。数据规模跨度极大，从数万到数千万条不等，既包含原始文本对，也包含挖掘得到的困难负例，增强了训练的难度与泛化能力。

使用方法

使用者可通过HuggingFace Datasets库或直接下载jsonl.gz文件加载数据。推荐优先查看已格式化的Embedding Model Datasets集合，以简化训练流程。在sentence-transformers框架中，可结合MultipleNegativesRankingLoss等损失函数进行训练，设置批次大小为256，训练步数2000步作为默认配置。用户可根据任务需求选择特定子集，例如使用gooaq_pairs训练问答嵌入，或使用AllNLI三元组提升推理能力。需注意各子集遵循原始数据集的许可协议，使用前应核实版权与引用要求。

背景与挑战

背景概述

在自然语言处理领域，文本嵌入模型的质量高度依赖于训练数据的多样性与规模。sentence-transformers/embedding-training-data数据集由Sentence Transformers团队于2024年构建，汇集了来自GooAQ、MS MARCO、SQuAD、StackExchange等数十个经典语料库的原始训练数据，旨在为文本嵌入模型的训练提供统一、标准化的资源。该数据集以jsonl.gz格式存储，支持多种结构（如对、三元组、集合、查询-正例对等），覆盖问答匹配、重复问题检测、摘要生成、科学文献引用等广泛任务。其核心研究问题在于如何通过大规模、多源异构数据的整合，提升文本嵌入模型的泛化能力与语义理解精度。该数据集已成为Sentence Transformers生态系统的基石，对信息检索、语义搜索及表示学习领域产生了深远影响。

当前挑战

构建该数据集面临的核心挑战包括：1）领域问题层面，文本嵌入模型需要处理语义相似度、文本匹配与检索等任务，然而现有数据集往往聚焦于单一领域或特定关系类型，缺乏覆盖多模态、多粒度语义关系的统一训练资源，导致模型在跨领域迁移时性能下降；2）构建过程中，数据来源的异构性（如问答对、标题-摘要对、同义复述集等）要求设计灵活的格式兼容机制，同时需处理数据噪声、标注不一致及版权许可问题。此外，数据集规模庞大（如amazon_review_2018包含近8800万条样本），在存储、加载与高效训练方面对计算资源提出严峻考验，且不同子集的质量参差不齐，需通过基准测试（如14个领域嵌入基准）进行筛选与评估，以确保训练效果的可复现性。

常用场景

经典使用场景

在自然语言处理领域，文本嵌入模型的质量高度依赖于训练数据的多样性与规模。sentence-transformers/embedding-training-data 数据集汇聚了来自问答、信息检索、语义匹配、科学文献、新闻摘要等多源异构的文本对与三元组数据，为训练高性能的句子嵌入模型提供了丰富的语料基础。研究者通常利用该数据集配合对比学习框架（如MultipleNegativesRankingLoss）进行模型微调，以提升模型对文本语义相似度的捕捉能力。其经典应用场景包括语义文本相似度（STS）任务、密集段落检索（DPR）以及跨模态文本对齐等，为后续模型在多个基准评测中取得优异表现奠定了数据基石。

实际应用

在实际工业应用中，该数据集支撑了大量语义搜索与智能问答系统的构建。例如，基于其训练的嵌入模型可部署于电商平台（如Amazon QA对）、知识库问答（如Natural Questions）以及代码检索（如CodeSearchNet）等场景，实现用户查询与候选答案间的高效语义匹配。在新闻推荐与摘要生成领域，CNN/DailyMail与XSUM数据对帮助模型理解长文本与关键信息的对应关系。此外，该数据集还被用于构建多语言对话系统与文档聚类工具，其训练出的嵌入向量能够显著降低检索延迟，提升召回率，为大规模生产环境下的实时语义理解提供了可靠的数据支撑。

衍生相关工作

该数据集催生了多项具有影响力的研究工作。最直接的是sentence-transformers库中一系列预训练模型的发布，如all-MiniLM-L6-v2等，这些模型在嵌入质量与推理速度之间取得了优异平衡，成为社区广泛采用的基线。在学术前沿，该数据集被用于验证SimCSE、DiffCSE等无监督对比学习方法的有效性，并启发了基于检索增强生成（RAG）的流水线设计。此外，SPECTER三元组数据推动了科学文献引文推荐与论文主题建模的研究，而PAQ与TriviaQA数据对则支撑了开放域问答系统的迭代。这些衍生的经典工作共同构建了从数据到模型再到应用的完整研究生态。