kanhatakeyama/SyntheticTextWikiTranslate

该数据集是从Wikibooks和Wikipedia等数据源中随机抽取的日语文本，经过Phi-3模型重新生成，并自动翻译成英语的语料库。部分计算使用了东京工业大学的超级计算机TSUBAME4.0。数据集以parquet文件形式存在，大小约为数十GB，且通过datasets库可能只能读取前几GB的数据，建议使用git lfs进行下载。

原始信息汇总

数据集概述

数据来源

• 数据集包含从以下数据源随机抽取的日语文本，经过Phi-3模型重新生成，并自动翻译成英文的语料库：
  • Wikibooks
  • Wikipedia

数据格式

• 数据以parquet文件形式存储，文件大小约为数十GB。
• 由于文件较大，使用datasets库可能只能加载前几GB的数据，建议使用git lfs等工具进行下载。

计算资源

• 部分计算任务使用了东京工业大学的超级计算机TSUBAME4.0。