首页/数据集/Differences in the de-duplication methods from GLASS and JANIS.

Differences in the de-duplication methods from GLASS and JANIS.

NIAID Data Ecosystem2026-03-11 收录

数据链接：

https://figshare.com/articles/dataset/Differences_in_the_de-duplication_methods_from_GLASS_and_JANIS_/12574559 数据链接链接失效反馈

官方服务：

资源简介：

Differences in the de-duplication methods from GLASS and JANIS.

应用场景：

创建时间：

2020-06-26

相关数据集

Razvan27/network_paper

编程语言

数据去重

该数据集包含多个配置，主要涉及Java和Python编程语言的代码文件。每个配置包含文件名、文件路径、文件内容、文件大小、语言、扩展名、仓库名称、仓库星标数、仓库分叉数、仓库开放问题数、仓库创建时间和最后推送时间等特征字段。某些配置还包含去重相关的字段（如sha、near_dups_stkv2_idx等）。数据集的主要用途可能是用于代码分析、去重、相似性检测等任务。

Hugging Face2024-07-02 更新360

shubhankarAI/dedup_ds

数据处理

数据去重

--- dataset_info: features: - name: source dtype: string - name: target dtype: string - name: task_name dtype: string - name: task_source dtype: string - name: template_typ

Hugging Face2024-06-14 更新100

liswei/wikinews-zhtw-dedup

文本处理

数据去重

该数据集是[erhwenkuo/wikinews-zhtw](https://huggingface.co/datasets/erhwenkuo/wikinews-zhtw)的去重版本，使用了MinHash方法。数据集包含id、url、title和text四个字段，主要用于文本生成和填充掩码任务。数据集的语言为繁体中文（zht）和简体中文（zh），规模在1K到10K之间。

Hugging Face2024-05-07 更新100

DAPO-Math-17k-dedup

数学问题

数据去重

This dataset is a simple deduplication of https://huggingface.co/datasets/BytedTsinghua-SIA/DAPO-Math-17k. The deduplication is performed via this SQL: https://huggingface.co/datasets/BytedTsinghua-S

魔搭社区2026-07-14 更新130

COVID-19 Duplicates and Repeated Content

COVID-19

数据去重

Avoid redundancy in the CORD-19 dataset

kaggle2020-04-24 更新100