liswei/wikinews-zhtw-dedup
收藏Hugging Face2024-05-07 更新2024-06-12 收录
下载链接：
https://hf-mirror.com/datasets/liswei/wikinews-zhtw-dedup
下载链接
链接失效反馈官方服务：
资源简介：
该数据集是[erhwenkuo/wikinews-zhtw](https://huggingface.co/datasets/erhwenkuo/wikinews-zhtw)的去重版本，使用了MinHash方法。数据集包含id、url、title和text四个字段，主要用于文本生成和填充掩码任务。数据集的语言为繁体中文（zht）和简体中文（zh），规模在1K到10K之间。
该数据集是[erhwenkuo/wikinews-zhtw](https://huggingface.co/datasets/erhwenkuo/wikinews-zhtw)的去重版本，使用了MinHash方法。数据集包含id、url、title和text四个字段，主要用于文本生成和填充掩码任务。数据集的语言为繁体中文（zht）和简体中文（zh），规模在1K到10K之间。
提供机构：
liswei
原始信息汇总
数据集概述
数据集特征
- id: 数据类型为字符串。
- url: 数据类型为字符串。
- title: 数据类型为字符串。
- text: 数据类型为字符串。
数据集划分
- 训练集（train）:
- 数据大小: 13,417,210 字节
- 样本数量: 8,373
数据集大小
- 下载大小: 8,736,363 字节
- 数据集总大小: 13,417,210 字节
语言
- 繁体中文 (zht)
- 简体中文 (zh)
任务类别
- 文本生成
- 填空补全
数据集规模
- 1,000 < n < 10,000
