OpenSeek-Pretrain-Data-Examples
收藏魔搭社区2025-11-12 更新2025-03-01 收录
下载链接：
https://modelscope.cn/datasets/BAAI/OpenSeek-Pretrain-Data-Examples
下载链接
链接失效反馈官方服务：
资源简介：
# OpenSeek Pretraining Dataset v1.0 (Sample Release)
We have released a portion of the sampled data from the **OpenSeek Pretraining Dataset v1.0**, primarily including **Chinese and English Common Crawl (CC) datasets**. Additional domain-specific datasets will be provided in future updates.
## 📌 Dataset Sources
- **English CC dataset**: Mainly sourced from the **Nemotron-CC dataset**.
- **Chinese CC dataset**: Followed the **Nemotron-CC data pipeline**, based on aggregated open-source Chinese datasets.
## 🔍 Data Processing Status
For the **Chinese CC dataset**, we have completed:
- ✅ **Global fuzzy deduplication** and **exact substring deduplication**.
- ✅ Application of **three quality classifiers** for data labeling.
- 🚧 Further processing is still ongoing.
## 📖 References
1. [Nemotron-CC](https://arxiv.org/abs/2412.02595)
## 🔜 Future Plans
We will continue improving data quality and expand dataset coverage across various domains. Stay tuned for more updates! 🚀
---
**📢 Follow us for updates!**
# OpenSeek预训练数据集v1.0（样本发布版）
我们现已发布**OpenSeek预训练数据集v1.0**的部分采样数据，核心包含**中英文通用爬虫（Common Crawl，CC）数据集**。后续更新将陆续提供更多垂直领域专用数据集。
## 📌 数据集来源
- **英文CC数据集**：主要源自**Nemotron-CC数据集**。
- **中文CC数据集**：遵循**Nemotron-CC数据处理流程**，基于聚合后的开源中文数据集构建。
## 🔍 数据处理状态
针对**中文CC数据集**，我们已完成以下工作：
- ✅ **全局模糊去重**与**精确子串去重**。
- ✅ 采用**三类质量分类器**完成数据标注。
- 🚧 后续处理工作仍在进行中。
## 📖 参考文献
1. [Nemotron-CC](https://arxiv.org/abs/2412.02595)
## 🔜 未来规划
我们将持续优化数据质量，并拓展数据集的多领域覆盖范围。敬请期待后续更新！🚀
---
**📢 关注我们获取最新动态！**
提供机构：
maas
创建时间：
2025-02-26
