kanhatakeyama/SyntheticTextCCUncleaned
收藏Hugging Face2024-07-16 更新2024-06-29 收录
下载链接：
https://hf-mirror.com/datasets/kanhatakeyama/SyntheticTextCCUncleaned
下载链接
链接失效反馈官方服务：
资源简介：
该数据集是通过phi3技术从Common Crawl数据源中清理和重新生成的文本。数据处理过程中使用了东京工業大学的超级计算机TSUBAME4.0。使用该数据集时需遵循Common Crawl的使用条款。
This dataset consists of text that has been cleaned and regenerated using phi3 technology from the Common Crawl data source. The processing of this data utilized the supercomputer TSUBAME4.0 at Tokyo Institute of Technology. Usage of this dataset must comply with the Common Crawl terms of use.
提供机构：
kanhatakeyama
原始信息汇总
自動生成テキスト
数据集概述
- 数据来源：基于Common Crawl生成。
- 使用条款：使用时需遵循Common Crawl terms of use。
- 数据处理：使用phi3进行数据清洗和再生成。
- 数据状态：需要进一步清洗。
- 计算资源：部分计算使用了东京工业大学的超级计算机TSUBAME4.0。
