ce-lery/mistral-3b-dataset
收藏Hugging Face2024-04-25 更新2024-06-12 收录
下载链接：
https://hf-mirror.com/datasets/ce-lery/mistral-3b-dataset
下载链接
链接失效反馈官方服务：
资源简介：
# mistral-3b-dataset
Please run this command.
```bash
mkdir -p pretrain/input/
cd pretrain/input/
GIT_LFS_SKIP_SMUDGE=1 git clone https://huggingface.co/datasets/ce-lery/mistral-3b-dataset.git
cd mistral-3b-dataset
git lfs pull
bash train_merge.sh
mv ./train.jsonl ../
mv ./test.jsonl ../
cd ../../../
```
提供机构：
ce-lery
原始信息汇总
mistral-3b-dataset
数据集结构
- 数据集包含以下文件：
train.jsonltest.jsonl
数据集获取方式
- 通过Git LFS从以下链接克隆获取：
https://huggingface.co/datasets/ce-lery/mistral-3b-dataset.git
数据集使用步骤
- 创建目录：
pretrain/input/ - 进入目录：
cd pretrain/input/ - 克隆数据集：
- 设置环境变量：
GIT_LFS_SKIP_SMUDGE=1 - 执行克隆命令：
git clone https://huggingface.co/datasets/ce-lery/mistral-3b-dataset.git
- 设置环境变量：
- 进入数据集目录：
cd mistral-3b-dataset - 拉取数据：
git lfs pull - 执行数据处理脚本：
bash train_merge.sh - 移动数据文件至上级目录：
mv ./train.jsonl ../mv ./test.jsonl ../
- 返回上级目录：
cd ../../../
