Python script for comparing duplicates

Dryad2014-01-01 更新2026-04-13 收录

数据去重

序列相似性分析

数据链接：

http://datadryad.org/resource/doi:10.5061/dryad.h02b3/6 数据链接链接失效反馈

官方服务：

资源简介：

Includes selection of random sequence pairs.

创建时间：

2014-01-01

Razvan27/network_paper

编程语言

数据去重

该数据集包含多个配置，主要涉及Java和Python编程语言的代码文件。每个配置包含文件名、文件路径、文件内容、文件大小、语言、扩展名、仓库名称、仓库星标数、仓库分叉数、仓库开放问题数、仓库创建时间和最后推送时间等特征字段。某些配置还包含去重相关的字段（如sha、near_dups_stkv2_idx等）。数据集的主要用途可能是用于代码分析、去重、相似性检测等任务。

Hugging Face2024-07-02 更新360

DAPO-Math-17k-dedup

数学问题

数据去重

This dataset is a simple deduplication of https://huggingface.co/datasets/BytedTsinghua-SIA/DAPO-Math-17k. The deduplication is performed via this SQL: https://huggingface.co/datasets/BytedTsinghua-S

魔搭社区2026-07-14 更新130

shubhankarAI/dedup_ds

数据处理

数据去重

--- dataset_info: features: - name: source dtype: string - name: target dtype: string - name: task_name dtype: string - name: task_source dtype: string - name: template_typ

Hugging Face2024-06-14 更新100

Razvan27/dataset_forge_paper2024

文本处理

数据去重

--- dataset_info: - config_name: dedup features: - name: comments dtype: string splits: - name: train num_bytes: 380 num_examples: 6 download_size: 1238 dataset_size: 380 - con

Hugging Face2024-06-02 更新140

获取一段时间内发布的去重后微信新闻信息

新闻信息处理

数据去重

记录去重后的微信新闻基本信息，包括新闻原始出处、新闻作者、新闻网址、新闻有效发布时间等。在微信新闻信息表的基础上进行算法去重，逻辑为选择网站最早出现的一条新闻。

通联数据110