10% dilution test (dedup)

Figshare2020-09-23 更新2026-04-28 收录

数据去重

仿真性能评估

数据链接：

https://figshare.com/articles/dataset/10_dilution_test_dedup_/12988694 数据链接链接失效反馈

官方服务：

资源简介：

Deduplicated simulation datasets for performance comparison (10% dilution)

创建时间：

2020-09-23

Razvan27/network_paper

编程语言

数据去重

该数据集包含多个配置，主要涉及Java和Python编程语言的代码文件。每个配置包含文件名、文件路径、文件内容、文件大小、语言、扩展名、仓库名称、仓库星标数、仓库分叉数、仓库开放问题数、仓库创建时间和最后推送时间等特征字段。某些配置还包含去重相关的字段（如sha、near_dups_stkv2_idx等）。数据集的主要用途可能是用于代码分析、去重、相似性检测等任务。

Hugging Face2024-07-02 更新360

Razvan27/dataset_forge_paper2024

文本处理

数据去重

--- dataset_info: - config_name: dedup features: - name: comments dtype: string splits: - name: train num_bytes: 380 num_examples: 6 download_size: 1238 dataset_size: 380 - con

Hugging Face2024-06-02 更新140

shubhankarAI/dedup_ds

数据处理

数据去重

--- dataset_info: features: - name: source dtype: string - name: target dtype: string - name: task_name dtype: string - name: task_source dtype: string - name: template_typ

Hugging Face2024-06-14 更新100

usvsnsp/semantic-filters-intermediate

文本处理

数据去重

--- dataset_info: features: - name: sequence_id dtype: int64 - name: text dtype: string - name: is_incrementing dtype: bool - name: is_repeating dtype: bool - name: sequenc

Hugging Face2024-06-05 更新180

DAPO-Math-17k-dedup

数学问题

数据去重

This dataset is a simple deduplication of https://huggingface.co/datasets/BytedTsinghua-SIA/DAPO-Math-17k. The deduplication is performed via this SQL: https://huggingface.co/datasets/BytedTsinghua-S

魔搭社区2026-07-14 更新130

10% dilution test (dedup)

资源简介：

相关数据集