five

jed351/Chinese-Common-Crawl-Filtered

收藏
Hugging Face2023-07-20 更新2024-03-04 收录
下载链接:
https://hf-mirror.com/datasets/jed351/Chinese-Common-Crawl-Filtered
下载链接
链接失效反馈
官方服务:
资源简介:
Traditional Chinese C4数据集来源于2023年的Common Crawl,经过下载和处理后包含简体和繁体中文。通过修改的简体中文字符列表进行过滤,以获取另一个繁体中文数据集。

Traditional Chinese C4数据集来源于2023年的Common Crawl,经过下载和处理后包含简体和繁体中文。通过修改的简体中文字符列表进行过滤,以获取另一个繁体中文数据集。
提供机构:
jed351
原始信息汇总

数据集概述

数据集名称

Traditional Chinese C4

数据来源

数据来源于2023-14 Common Crawl。

数据处理

数据下载和处理使用了基于另一个项目的代码,旨在重现C4数据集。处理代码可在此链接获取:代码

数据内容

原始数据集包含简体和繁体中文。通过使用一个修改后的简体中文字符列表进行过滤,以获取仅包含繁体中文的数据集。

过滤后的数据集

过滤后的繁体中文数据集可在此链接获取:繁体中文数据集

5,000+
优质数据集
54 个
任务类型
进入经典数据集
二维码
社区交流群

面向社区/商业的数据集话题

二维码
科研交流群

面向高校/科研机构的开源数据集话题

数据驱动未来

携手共赢发展

商业合作