datatrove-tests
收藏魔搭社区2025-10-09 更新2025-03-15 收录
下载链接：
https://modelscope.cn/datasets/huggingface/datatrove-tests
下载链接
链接失效反馈官方服务：
资源简介：
Datasets used for datatrove testing.
Each split contains the same data:
```
dst = [
{"text": "hello"},
{"text": "world"},
{"text": "how"},
{"text": "are"},
{"text": "you"},
]
```
But based on the split name the data are sharded into n-bins
用于datatrove测试的数据集。
每个拆分（split）均包含完全一致的数据：
dst = [
{"text": "hello"},
{"text": "world"},
{"text": "how"},
{"text": "are"},
{"text": "you"},
]
但依据拆分名称，数据会被切分为n个分箱（bins）。
提供机构：
maas
创建时间：
2025-03-12
