atlasia/atlasOCR-data

---
dataset_info:
features:
- name: text
dtype: string
- name: image
dtype: image
- name: metadata
struct:
- name: contains_title
dtype: bool
- name: font
dtype: string
splits:
- name: train
num_bytes: 12777223035.970001
num_examples: 26162
- name: validation
num_bytes: 1892329629.54
num_examples: 3930
- name: test
num_bytes: 56546649
num_examples: 196
download_size: 9420060803
dataset_size: 14726099314.510002
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
- split: validation
path: data/validation-*
- split: test
path: data/test-*
language:
- ary
size_categories:
- 10K<n<100K
---
# AtlasOCR Darija Dataset

<center>
<img src="https://cdn-uploads.huggingface.co/production/uploads/65f5c3528fb2b1535728138f/W9oSeX75pjvEH2WgelHR-.png" width=700 height=700/>

</center>

## Dataset Description

The AtlasOCR Darija Dataset is the first large-scale OCR dataset specifically designed for Moroccan Darija, the Moroccan Arabic dialect. It was created to address the significant lack of specialized OCR tools for Darija, which has been a barrier for developers and organizations working with Moroccan content.

The dataset combines both synthetic and real-world data sources to capture the rich diversity of Darija text in various contexts, from social media posts to handwritten notes and printed materials.

## Dataset Structure

Each instance in the dataset contains:
- An image containing Darija text
- Corresponding text transcription
- Metadata (where applicable)

### Data Splits

| Split | Samples | Total Words |
|-------------|---------|-------------|
| Train | 26,162 | 9.5M |
| Validation | 3,930 | 1.2M |
| **Total** | **30,092** | **10.7M** |

### Data Composition

- **Synthetic Data**: 86% of the dataset
- **Real-World Data**: 14% of the dataset

### Source Data

#### Synthetic Data

Synthetic data was generated using [OCRSmith](https://github.com/atlasia-ma/OCRSmith), an open-source toolkit developed specifically for this project. OCRSmith simulates real-world conditions including:
- Various fonts
- Different layouts
- Diverse backgrounds
- Text distortions

This approach allowed for the instant generation of tens of thousands of labeled images complete with bounding boxes and metadata.

#### Real-World Data

Real-world data was carefully curated from multiple sources:

1. **Scanned Books**:
- "العَرَبِيَّةُ الدَّارِجَةُ" by Mohammed El-Madlaoui El-Mounabhi
- "علشان الصغيرة والصغير" by Farouk ElMarrakchi
- Approximately 700 pages of high-quality Darija text
- Enriched with pseudo-labels generated by Gemini 2.0 Flash

2. **Social Media Images**:
- Primarily from LinkedIn
- Poster-style PDFs converted to images
- Focus on educational material

3. **Educational Documents**:
- Moroccan driving license exam materials
- Required careful cropping and preprocessing due to faded or cluttered scans

4. **Cookbooks**:
- Moroccan recipes written in Darija
- Decorative elements were cropped out
- Contrast was enhanced for clarity

### Annotation Process

For scanned books, a two-step pseudo-labeling process was used:
1. Initial text extraction using Gemini 2.0 Flash with a prompt prioritizing human readability
2. Human annotation and correction using Argilla for collaborative editing

## Considerations for Using the Data

### Social Impact of Dataset

The dataset enables:
- Digital preservation of historical Moroccan documents
- Analysis of social media content in Darija
- Improved accessibility for Darija speakers
- Large-scale research on Moroccan content

### Discussion of Biases

The dataset contains a mix of synthetic and real-world data, which may introduce certain biases:
- Synthetic data might not perfectly capture all real-world variations
- Real-world data is sourced from specific domains (books, social media, education, cookbooks)
- The dataset may not fully represent all regional variations of Darija

### Other Known Limitations

- The dataset primarily focuses on printed text, with limited handwritten samples
- The synthetic data, while diverse, may not capture all real-world variations
- The dataset is primarily designed for OCR tasks and may not be suitable for other NLP applications without adaptation

## Citation
```
@misc{atlasocr2025,
title={AtlasOCR: Open-Source OCR for Moroccan Darija with Vision–Language Models},
author={Imane Momayiz, Soufiane Ait Elaouad, Abdeljalil Elmajjodi, Haitame Bouanane},
year={2025},
howpublished={\url{https://huggingface.co/atlasia/AtlasOCR}},
organization={AtlasIA}
}
```

### Contributions
For more information about the AtlasOCR project, visit:
- [AtlasOCR BlogPost](https://huggingface.co/blog/imomayiz/atlasocr)
- [AtlasOCR Model](https://huggingface.co/atlasia/AtlasOCR)
- [AtlasOCR Demo](https://huggingface.co/spaces/atlasia/AtlasOCR-demo)
- [AtlasOCR Training Dataset](https://huggingface.co/datasets/atlasia/atlasOCR-data)
- [GitHub Repository](https://github.com/atlasia/AtlasOCR)

---
dataset_info:
数据集信息:
- 字段名：text，数据类型：字符串
- 字段名：image，数据类型：图像
- 字段名：metadata（元数据），结构体：
- 字段名：contains_title，数据类型：布尔值
- 字段名：font，数据类型：字符串
splits:
- 划分名称：train（训练集），占用字节数：12777223035.970001，样本数量：26162
- 划分名称：validation（验证集），占用字节数：1892329629.54，样本数量：3930
- 划分名称：test（测试集），占用字节数：56546649，样本数量：196
download_size（下载大小）：9420060803
dataset_size（数据集总大小）：14726099314.510002
configs:
- config_name（配置名称）：default（默认配置），data_files（数据文件）:
- split（划分）：train，路径：data/train-*
- split：validation，路径：data/validation-*
- split：test，路径：data/test-*
language（语言）：
- ary（摩洛哥达里语）
size_categories（样本规模区间）:
- 10K<n<100K
---
# AtlasOCR 达里语（Darija）数据集

<center>
<img src="https://cdn-uploads.huggingface.co/production/uploads/65f5c3528fb2b1535728138f/W9oSeX75pjvEH2WgelHR-.png" width=700 height=700/>

</center>

## 数据集概况

AtlasOCR达里语（Darija）数据集是首个专为摩洛哥达里语——摩洛哥阿拉伯方言——打造的大规模光学字符识别（OCR, Optical Character Recognition）数据集。其创作初衷旨在填补达里语专用OCR工具的显著空白，而这一空白长期以来阻碍了开发人员与机构开展摩洛哥语料相关的工作。

该数据集融合合成与真实世界两类数据源，以捕捉达里语文本在各类场景下的丰富多样性，涵盖社交媒体帖文、手写笔记与印刷材料等。

## 数据集结构

数据集中的每个实例包含：
- 承载达里语文本的图像
- 对应的文本转录结果
- 元数据（如适用）

### 数据划分

| 数据集划分 | 样本数量 | 总词数 |
|-------------|---------|-------------|
| 训练集（Train） | 26,162 | 9.5M |
| 验证集（Validation） | 3,930 | 1.2M |
| **总计** | **30,092** | **10.7M** |

### 数据构成

- **合成数据**：占数据集总量的86%
- **真实世界数据**：占数据集总量的14%

### 数据源

#### 合成数据

合成数据通过[OCRSmith](https://github.com/atlasia-ma/OCRSmith)生成，该工具是为本项目专门开发的开源工具包。OCRSmith可模拟真实场景条件，包括：
- 多种字体样式
- 多样化布局结构
- 丰富背景环境
- 文本变形效果

该方案支持快速生成数万张带有边界框与元数据的标注图像。

#### 真实世界数据

真实世界数据从多个来源精心整理而来：

1. **扫描书籍**：
- 《العَرَبِيَّةُ الدَّارِجَةُ》，作者：Mohammed El-Madlaoui El-Mounabhi
- 《علشان الصغيرة والصغير》，作者：Farouk ElMarrakchi
- 共计约700页高质量达里语文本
- 通过Gemini 2.0 Flash生成伪标签进行数据增强

2. **社交媒体图像**：
- 主要源自LinkedIn平台
- 将海报式PDF转换为图像格式
- 内容聚焦教育类材料

3. **教育文档**：
- 摩洛哥驾照考试资料
- 因扫描存在褪色或画面杂乱问题，需进行精细裁剪与预处理

4. **烹饪书籍**：
- 以达里语撰写的摩洛哥食谱
- 裁剪页面中的装饰性元素
- 提升图像对比度以增强文本清晰度

### 标注流程

针对扫描书籍，采用两步伪标注流程：
1. 使用Gemini 2.0 Flash进行初始文本提取，提示词优先保障文本的人类可读性
2. 通过Argilla工具开展人工标注与协同编辑校正

## 数据使用注意事项

### 数据集的社会价值

该数据集可实现以下应用：
- 摩洛哥历史文档的数字化保存
- 达里语社交媒体内容分析
- 提升达里语使用者的信息可及性
- 开展摩洛哥语料的大规模研究

### 偏差说明

数据集混合合成与真实数据，可能引入以下偏差：
- 合成数据无法完美覆盖所有真实场景变体
- 真实数据仅源自特定领域（书籍、社交媒体、教育、烹饪书籍）
- 数据集未能完全覆盖达里语的所有地域变体

### 已知局限性

- 数据集主要聚焦印刷文本，手写样本数量有限
- 合成数据虽具备多样性，但仍无法覆盖所有真实场景变体
- 数据集专为OCR任务设计，若不经过适配，不适用于其他自然语言处理（NLP, Natural Language Processing）应用

## 引用格式

@misc{atlasocr2025,
title={AtlasOCR: Open-Source OCR for Moroccan Darija with Vision–Language Models},
author={Imane Momayiz, Soufiane Ait Elaouad, Abdeljalil Elmajjodi, Haitame Bouanane},
year={2025},
howpublished={url{https://huggingface.co/atlasia/AtlasOCR}},
organization={AtlasIA}
}

### 项目贡献

如需了解AtlasOCR项目的更多信息，请访问：
- [AtlasOCR 博客文章](https://huggingface.co/blog/imomayiz/atlasocr)
- [AtlasOCR 模型](https://huggingface.co/atlasia/AtlasOCR)
- [AtlasOCR 在线演示](https://huggingface.co/spaces/atlasia/AtlasOCR-demo)
- [AtlasOCR 训练数据集](https://huggingface.co/datasets/atlasia/atlasOCR-data)
- [GitHub 代码仓库](https://github.com/atlasia/AtlasOCR)