pszemraj/synthetic-text-similarity

该数据集旨在评估和训练模型在较长上下文/示例中的文本相似性任务，包含文档对及其相似性分数，表示文档在语义空间中的接近程度。文档来自多种来源，如电子邮件、办公文档和合成文档。数据集通过分层采样基于分数分布百分位数进行细化。特定版本v1的标签进行了归一化处理，使得最小值为0，最大值为1，并提供了标签分布的统计信息。

原始信息汇总

合成文本相似度数据集

数据集概述

该数据集旨在评估和训练模型在长上下文文本相似度任务上的表现，不同于传统的句子相似度数据集（如“Bob likes frogs.”）。数据集包含文档对及其相似度分数，表示文档在语义空间中的接近程度。

数据集版本

数据集包含以下版本：

• default
• munchkin
• v1.0
• v2.0

数据集配置

每个版本的配置信息如下：

default

• 特征：
  • text1: 字符串
  • text2: 字符串
  • label: 浮点数 (float64)
• 分割：
  • train: 2994727773.0 字节，100000 个样本
• 下载大小：1736789172 字节
• 数据集大小：2994727773.0 字节

munchkin

• 特征：
  • text1: 字符串
  • text2: 字符串
  • label: 浮点数 (float64)
• 分割：
  • train: 269175133.7086 字节，8890 个样本
• 下载大小：7900840 字节
• 数据集大小：269175133.7086 字节

v1.0

• 特征：
  • text1: 字符串
  • text2: 字符串
  • label: 浮点数 (float32)
• 分割：
  • train: 3703073013 字节，100000 个样本
• 下载大小：1754961910 字节
• 数据集大小：3703073013 字节

v2.0

• 特征：
  • text1: 字符串
  • text2: 字符串
  • label: 浮点数 (float32)
• 分割：
  • train: 2012808881 字节，100000 个样本
• 下载大小：1064753991 字节
• 数据集大小：2012808881 字节

数据集描述

对于每个版本的数据集，首先计算所有唯一文档的嵌入，然后计算成对余弦相似度。数据集通过基于分数分布百分位的分层抽样进行细化。

数据来源

文档来自多种来源，包括：

• aeslc（电子邮件）
• govdocs1（文本形式的办公文档）
• cosmopedia（合成文档）等

v1.0 特定信息

标签归一化

在 v1.0 版本中，分数通过简单的最小/最大缩放进行归一化，使得最小值为 0，最大值为 1。

标签分布

label count 100000.000000 mean 0.640396 std 0.130544 min 0.000000 25% 0.581902 50% 0.669433 75% 0.726319 max 1.000000

样本

数据集中的样本被截断为 100 个字符，以展示不同相似度级别的文档对。每个对都附有一个 label，表示它们在数据集中归一化后的余弦距离。

相似对的示例：

{label: 0.8901845812797546, text1: "So just to make sure that you dont get disappointed, I added this ...", text2: "So for the next few lectures, were going to be looking at ..."}

不太相似对的示例：

{label: 0.42521122097969055, text1: Tag Archives: pencils Doctor Who: A Desperately Confusing Venture..., text2: /*

• CRF1d encoder (routines for training).
• Copyright 2007-2010, ...}

搜集汇总

数据集介绍

构建方式

在自然语言处理领域中，文本相似度评估是语义理解的核心任务之一。为突破传统句子级相似度数据集的局限，该数据集通过多阶段流程构建：首先从aeslc邮件、govdocs1办公文档及cosmopedia合成文档等多元来源采集长文本样本，随后利用嵌入模型为所有独立文档计算向量表征，并基于余弦相似度生成配对分数。最后，依据分数分布百分位数进行分层抽样，确保数据集在语义空间的覆盖均衡性。v1版本特别对约6000篇文档产生的2100万配对相似度执行最小-最大归一化，将分数映射至0-1区间，并从中抽取出10万对代表性样本。

特点

该数据集的核心特色在于突破经典句子相似度任务中短文本的局限，聚焦于长篇幅文档间的语义关联度量。其包含default、munchkin、v1.0和v2.0四个配置版本，其中default和munchkin配置的标签为float64类型，v1.0和v2.0则采用float32精度。v1版本经归一化后标签均值为0.64，标准差为0.13，呈现中间密集、两端稀疏的分布特征，反映了真实文档对语义相似度的自然规律。所有样本均以文本对形式呈现，并附有归一化后的余弦距离标签，为模型训练提供精确的监督信号。

使用方法

该数据集可通过HuggingFace datasets库便捷加载，用户可根据需求选择不同配置版本，例如使用load_dataset('pszemraj/synthetic-text-similarity', 'v1.0')即可获取包含10万对训练样本的v1版本。每个样本包含text1、text2两个文本字段及一个浮点型label字段，可直接用于句子相似度模型的训练与评估。对于特征提取任务，研究者可将文本对输入预训练编码器获取嵌入向量，再通过余弦相似度与标签进行对比分析。数据集采用ODC-BY许可协议，适用于学术研究及商业应用场景。

背景与挑战

背景概述

在自然语言处理领域，文本相似度计算是语义理解与信息检索的核心任务，其应用涵盖问答系统、文档聚类与重复检测等场景。然而，传统句子相似度数据集多聚焦于短文本（如“Bob likes frogs”），难以捕捉长文档间复杂的语义关联。为弥补这一空白，由研究者Peter Szemraj等人创建的Synthetic Text Similarity数据集于2023年发布，旨在为长文本语义相似度评估提供标准化基准。该数据集从AESLC邮件、Govdocs1办公文档及Cosmopedia合成文档等多源语料中采样，通过计算文档对的余弦相似度并采用分层采样策略构建，包含default、munchkin、v1.0和v2.0四个配置版本，总计超过30万样本。其发布推动了长文本语义匹配模型的训练与评测，成为该领域的重要资源。

当前挑战

该数据集面临多重挑战。首先，在领域问题层面，长文本相似度计算需克服文档长度差异、主题漂移及语义稀疏性等难题，传统短文本模型难以直接迁移。其次，构建过程中，如何从异构语料中确保文档对语义分布的多样性是一大难点，例如v1版本从约6000篇文档生成2100万对相似度后，需通过分层采样压缩至10万对，这一过程可能引入采样偏差。此外，标签依赖于余弦相似度，其归一化策略（如v1的min-max缩放）可能导致分数分布不均（均值0.64，偏向左偏），影响模型泛化。不同版本间的标签格式差异（float64 vs float32）和配置复杂度也增加了数据集使用的门槛。

常用场景

经典使用场景

在自然语言处理领域，文本相似度计算是一项基础而关键的任务，尤其当面对长文本或复杂文档时，传统的短句相似度数据集往往力不从心。该数据集精心构建了涵盖电子邮件、办公文档及合成文本等多元来源的长文档对，并基于嵌入向量的余弦相似度提供了精细的连续标签，为训练和评估能够捕捉长程语义关联的相似度模型提供了理想基准。研究者可借此探索超越简单句子的语义匹配，推动模型在更长上下文中的理解能力。

实际应用

在实际应用中，该数据集可支撑信息检索系统中的文档去重与排序、智能客服中的知识库匹配、以及法律或医疗领域的文书相似性审查等场景。例如，企业可利用基于此数据集训练的模型高效识别重复报告或相似条款，从而优化存储与检索效率。此外，在学术文献管理平台中，它能辅助实现论文的自动聚类与推荐，提升用户获取相关研究成果的便捷性。

衍生相关工作

该数据集的发布催生了一系列相关研究，包括基于对比学习的文档级表示预训练方法，以及针对长文本相似度的细粒度评估框架。后续工作利用其多版本配置（如v1.0与v2.0）探索了不同归一化策略对模型性能的影响，并衍生出跨领域迁移学习任务。此外，部分研究将其作为辅助训练数据，用于改进大语言模型在文档摘要和问答系统中的语义一致性，进一步拓展了其在生成式任务中的应用边界。