liswei/wikipedia-zhtw-dedup

该数据集是[erhwenkuo/wikipedia-zhtw](https://huggingface.co/datasets/erhwenkuo/wikipedia-zhtw)的去重版本，使用了MinHash方法。数据集包含id、url、title和text等特征，主要用于文本生成、文本到文本生成和填充掩码等任务。数据集的语言为中文（包括繁体中文和简体中文），规模在1M到10M之间。

原始信息汇总

数据集概述

数据集特征

• id: 数据类型为字符串。
• url: 数据类型为字符串。
• title: 数据类型为字符串。
• text: 数据类型为字符串。

数据集分割

• train:
  • 数据量: 1642147847 字节
  • 示例数量: 1181897

数据集大小

• 下载大小: 1051243303 字节
• 数据集总大小: 1642147847 字节

配置

• config_name: default
• data_files:
  • split: train
  • path: data/train-*

语言

• 繁体中文 (zht)
• 简体中文 (zh)

任务类别

• 文本生成
• 文本到文本生成
• 填充掩码

大小类别

• 1M<n<10M