Semantic Notes

kaggle2026-05-24 更新2026-06-17 收录

相似度计算

文本去重

数据链接：

https://www.kaggle.com/datasets/sifattanvir/semantic-notes 数据链接链接失效反馈

官方服务：

资源简介：

Ground-truth dataset for evaluating semantic note matching, grouping, and duplic

面向语义笔记匹配、分组与重复任务评估的真值数据集（ground-truth dataset）

创建时间：

2026-05-18

saibo/bookcorpus_deduplicated

自然语言处理

文本去重

这是一个去重版本的原始Book Corpus数据集。Book Corpus（Zhu et al., 2015）曾被用于训练如BERT等流行模型，但根据Bandy和Vincent（2021）的研究，该数据集中存在大量完全重复的文档。去重后，数据集中的重复文本被删除，仅保留首次出现的文本，并保持文本出现的顺序。去重后的数据集包含38,832,894行文本，大小为2.91GB，而去重前为74,004,2

Hugging Face2022-12-29 更新230

MasonMac/WildChat-4.8M-EN-Semantic-Deduplicated

自然语言处理

文本去重

这是一个由去重后的英文提示组成的集合，提示长度小于2000个token。经过验证至少80%的提示由英文字母组成后移除非英文提示，使用HashSet和MinHash进行去重，并使用Qwen3-8B-Embedding生成嵌入进行聚类，只保留与质心最远的提示。数据集提供了四个不同的相似度阈值下的聚类结果：0.7、0.75、0.8和0.9。

Hugging Face2025-08-23 更新80

KhaledReda/pairs_with_scores_v43

相似度计算

该数据集是一个用于评估句子对相似度的数据集，包含两个文本字段（sentence1和sentence2）和一个浮点分数（score），分数可能表示句子之间的语义相似度或相关性。数据集分为训练集和评估集，训练集约有4016万个示例，评估集约有20万个示例，总大小约73.4亿字节。它适用于自然语言处理任务，如文本匹配、相似度计算或自然语言推理。

Hugging Face2026-05-03 更新50

DT4LM/albertbasev2_qqp_clare_adv2

相似度计算

重复问题检测

该数据集包含两个问题（question1和question2）以及一个标签（label），用于表示两个问题之间的关系。数据集仅包含一个训练集，共有11460个样本。数据集的下载大小为970975字节，文件大小为1474488字节。数据集的配置名称为default，数据文件路径为data/train-*。

Hugging Face2024-06-27 更新130

liuyanchen1015/MULTI_VALUE_qqp_no_gender_distinction

相似度计算

重复问题检测

--- dataset_info: features: - name: question1 dtype: string - name: question2 dtype: string - name: label dtype: int64 - name: idx dtype: int64 - name: value_score dtyp

Hugging Face2023-04-04 更新70

Semantic Notes

资源简介：

相关数据集