team-9/dedup_datasets
收藏Hugging Face2025-05-05 更新2025-11-01 收录
下载链接：
https://hf-mirror.com/datasets/team-9/dedup_datasets
下载链接
链接失效反馈官方服务：
资源简介：
这是一个包含文本内容和元数据的数据集，其中文本内容可能经过某种形式的去重处理，因为包含重复计数字段。数据集分为一个大的数据块chunk_10，适用于需要处理大量文本数据的应用场景。
This dataset includes text content and metadata, possibly undergoing some form of deduplication process as indicated by the duplicate count field. The dataset is divided into a large chunk called chunk_10, suitable for applications that require processing a large volume of text data.
提供机构：
team-9
