datatrove-tests
收藏魔搭社区2025-10-09 更新2025-03-15 收录
下载链接：
https://modelscope.cn/datasets/huggingface/datatrove-tests
下载链接
链接失效反馈官方服务：
资源简介：
Datasets used for datatrove testing.
Each split contains the same data:
```
dst = [
{"text": "hello"},
{"text": "world"},
{"text": "how"},
{"text": "are"},
{"text": "you"},
]
```
But based on the split name the data are sharded into n-bins
用于datatrove测试的数据集。
每个拆分（split）均包含完全一致的数据：
dst = [
{"text": "hello"},
{"text": "world"},
{"text": "how"},
{"text": "are"},
{"text": "you"},
]
但依据拆分名称，数据会被切分为n个分箱（bins）。
提供机构：
maas创建时间：
2025-03-12
搜集汇总
数据集介绍
背景与挑战
背景概述
该数据集专为datatrove测试设计，包含相同文本数据但根据分割名称进行分片处理。它采用Apache 2.0许可证，更新于2025年3月12日，数据以简洁的字典格式存储。
以上内容由遇见数据集搜集并总结生成
