taowangcheng/llm_dataset

这是C4数据集中realnewslike子目录的预处理版本。预处理过程使用了Megatron-LM工具，具体命令和参数在文件中列出。数据集的来源是allenai/c4，许可证为odc-by。这是C4数据集中realnewslike子目录的预处理版本。预处理过程使用了Megatron-LM工具，具体命令和参数在文件中列出。数据集的来源是allenai/c4，许可证为odc-by。