Non-STEM_TextBook_Arabic

The full corpus is curated across multiple STEM disciplines and structured for use in LLM training, evaluation, and instruction tuning (SFT/RLHF). This sample represents the structure and quality of the larger dataset. 

Dataset composition (full corpus):

Text corpus: 1.6B+ words of curated STEM and Non-STEM educational content across 22,000+ textbooks in 7 languages (English, Hindi, Arabic, Bahasa, Tamil, Telugu, Kannada)

Question–Answer pairs: 6.5M+ high-quality Q&A pairs of STEM and Non-STEM content in English, Arabic, Hindi, and Indic languages

Video data: 100K+ hours of STEM videos and 30K+ hours of UGC

Audio data: 821K+ hours of podcasts and dual-channel call center data

Medical datasets: 30M+ files including clinical and diagnostic data such as CT scans, MRI, X-ray, pathology, EHRs, USG reports, and echo reports

This repository includes:

A small preview subset of the Non-STEM Arabic TextBook data

Flat, viewer-friendly schema for inspection

Parquet files suitable for benchmarking and evaluation

Purpose of this dataset:

Dataset preview and validation

Model evaluation and experimentation

Schema and format inspection before full-scale access

Note: This repository contains sample data only. Access to the complete dataset is available separately under appropriate licensing or partnership terms.For detailed information and domain-specific requirements, please reach out to [e-mail]

本完整语料库覆盖多门科学、技术、工程与数学（Science, Technology, Engineering, Mathematics，简称STEM）学科，经精心遴选构建，适配大语言模型（Large Language Model，LLM）的训练、评估与指令微调，涵盖监督微调（Supervised Fine-Tuning，SFT）与基于人类反馈的强化学习（Reinforcement Learning with Human Feedback，RLHF）两类应用场景。本次发布的样本可体现完整数据集的结构与质量水准。

### 数据集构成（完整语料库）
1. **文本语料库**：收录7种语言（英语、印地语、阿拉伯语、Bahasa、泰米尔语、泰卢固语、卡纳达语）的2.2万余册教材中的160亿+词经过精选的STEM与非STEM教育内容。
2. **问答对数据集**：包含英语、阿拉伯语、印地语及印度语系语言中的650万+条高质量STEM与非STEM内容问答对。
3. **视频数据集**：包含10万+小时的STEM教学视频与3万+小时的用户生成内容（User Generated Content，UGC）。
4. **音频数据集**：包含82.1万+小时的播客内容与双通道呼叫中心语音数据。
5. **医疗数据集**：包含3000万+份文件，涵盖临床与诊断类数据，如CT扫描影像、核磁共振（MRI）影像、X射线影像、病理报告、电子健康档案（EHRs）、超声报告与超声心动图报告。

### 本仓库包含内容
1. 非STEM领域阿拉伯语教材数据的小型预览子集
2. 简洁直观、便于阅览的数据结构，支持数据检视
3. 适配基准测试与模型评估的Parquet格式文件

### 数据集用途
1. 数据集预览与验证
2. 模型评估与实验研究
3. 在获取完整数据集前，对其结构与格式进行检视

**注意**：本仓库仅包含样本数据。完整数据集需通过合规授权或合作协议单独获取。如需获取详细信息或对接特定领域需求，请联系邮箱[e-mail]