jed351/Chinese-Common-Crawl-Filtered

Traditional Chinese C4数据集来源于2023年的Common Crawl，经过下载和处理后包含简体和繁体中文。通过修改的简体中文字符列表进行过滤，以获取另一个繁体中文数据集。

原始信息汇总

数据集概述

数据集名称

Traditional Chinese C4

数据来源

数据来源于2023-14 Common Crawl。

数据处理

数据下载和处理使用了基于另一个项目的代码，旨在重现C4数据集。处理代码可在此链接获取：代码。

数据内容

原始数据集包含简体和繁体中文。通过使用一个修改后的简体中文字符列表进行过滤，以获取仅包含繁体中文的数据集。

过滤后的数据集

过滤后的繁体中文数据集可在此链接获取：繁体中文数据集。