adzcai/babylm-eng-fra-50-50-stratified

BabyLM English–French 50/50 Stratified数据集是一个双语训练语料库，用于多语言BabyLM项目，结合了50%的英语和法语BabyBabelLM语料库。采样是按类别分层的，以保持每种语言内原始类别的比例。数据集包含英语和法语的令牌计数和类别细分，具体包括儿童可用语音、儿童书籍、儿童导向语音、儿童维基、填充开放字幕、填充维基百科和字幕等类别。

---
language:
- 英语（eng）
- 法语（fra）
license: CC BY 4.0
---

# 英法双语50/50分层式BabyLM语料库

本语料库为多语言BabyLM项目打造的双语训练语料，由英语BabyBabelLM语料库与法语BabyBabelLM语料库各取50%的数据组合而成。

采样采用**按类别分层**的策略：针对每个源类别独立采样，以保留各语言内部的原始类别占比。

## 词元(Token)统计

| 语言 | 词元数 | 占比 |
|----------|-------:|------:|
| 英语（`eng`） | 49,481,353 | 43.9% |
| 法语（`fra`） | 63,337,862 | 56.1% |
| **总计** | **112,819,215** | **100%** |

## 类别分布详情

| 类别 | 英语词元数 | 英语占比 | 法语词元数 | 法语占比 |
|----------|--------------:|---------:|-------------:|--------:|
| `child-available-speech` | 4,551,767 | 9.2% | 998,322 | 1.6% |
| `child-books` | 13,406,594 | 27.1% | 660,009 | 1.0% |
| `child-directed-speech` | 13,857,314 | 28.0% | 2,122,995 | 3.4% |
| `child-wiki` | 7,304,856 | 14.8% | 6,371,393 | 10.1% |
| `padding-opensubtitles` | 9,856,922 | 19.9% | 50,307,186 | 79.4% |
| `padding-wikipedia` | 503,900 | 1.0% | 0 | 0.0% |
| `subtitles` | 0 | 0.0% | 2,877,957 | 4.5% |

## 源数据集

- [`BabyLM-community/babylm-eng`](https://huggingface.co/datasets/BabyLM-community/babylm-eng)
- [`BabyLM-community/babylm-fra`](https://huggingface.co/datasets/BabyLM-community/babylm-fra)