taowangcheng/llm_dataset
收藏Hugging Face2024-06-25 更新2024-06-29 收录
下载链接：
https://hf-mirror.com/datasets/taowangcheng/llm_dataset
下载链接
链接失效反馈官方服务：
资源简介：
这是C4数据集中realnewslike子目录的预处理版本。预处理过程使用了Megatron-LM工具，具体命令和参数在文件中列出。数据集的来源是allenai/c4，许可证为odc-by。
这是C4数据集中realnewslike子目录的预处理版本。预处理过程使用了Megatron-LM工具，具体命令和参数在文件中列出。数据集的来源是allenai/c4，许可证为odc-by。
提供机构：
taowangcheng
