OpenSeek-Pretrain-Data-Examples

# OpenSeek Pretraining Dataset v1.0 (Sample Release)

We have released a portion of the sampled data from the **OpenSeek Pretraining Dataset v1.0**, primarily including **Chinese and English Common Crawl (CC) datasets**. Additional domain-specific datasets will be provided in future updates.

## 📌 Dataset Sources
- **English CC dataset**: Mainly sourced from the **Nemotron-CC dataset**.
- **Chinese CC dataset**: Followed the **Nemotron-CC data pipeline**, based on aggregated open-source Chinese datasets.

## 🔍 Data Processing Status
For the **Chinese CC dataset**, we have completed:
- ✅ **Global fuzzy deduplication** and **exact substring deduplication**.
- ✅ Application of **three quality classifiers** for data labeling.
- 🚧 Further processing is still ongoing.

## 📖 References
1. [Nemotron-CC](https://arxiv.org/abs/2412.02595)

## 🔜 Future Plans
We will continue improving data quality and expand dataset coverage across various domains. Stay tuned for more updates! 🚀

---
**📢 Follow us for updates!**

# OpenSeek预训练数据集v1.0（样本发布版）

我们现已发布**OpenSeek预训练数据集v1.0**的部分采样数据，核心包含**中英文通用爬虫（Common Crawl，CC）数据集**。后续更新将陆续提供更多垂直领域专用数据集。

## 📌 数据集来源
- **英文CC数据集**：主要源自**Nemotron-CC数据集**。
- **中文CC数据集**：遵循**Nemotron-CC数据处理流程**，基于聚合后的开源中文数据集构建。

## 🔍 数据处理状态
针对**中文CC数据集**，我们已完成以下工作：
- ✅ **全局模糊去重**与**精确子串去重**。
- ✅ 采用**三类质量分类器**完成数据标注。
- 🚧 后续处理工作仍在进行中。

## 📖 参考文献
1. [Nemotron-CC](https://arxiv.org/abs/2412.02595)

## 🔜 未来规划
我们将持续优化数据质量，并拓展数据集的多领域覆盖范围。敬请期待后续更新！🚀

---
**📢 关注我们获取最新动态！**

搜集汇总

背景与挑战

背景概述

该数据集为OpenSeek预训练数据集v1.0的样本版本，主要收录了经过初步去重和质量分类处理的中英文Common Crawl数据。未来将扩展更多领域数据并持续优化质量。