Non-STEM_QA_Arabic

The full corpus is curated across multiple STEM disciplines and structured for use in LLM training, evaluation, and instruction tuning (SFT/RLHF). This sample represents the structure and quality of the larger dataset. 

Dataset composition (full corpus):

Text corpus: 1.6B+ words of curated STEM and Non-STEM educational content across 22,000+ textbooks in 7 languages (English, Hindi, Arabic, Bahasa, Tamil, Telugu, Kannada)

Question–Answer pairs: 6.5M+ high-quality Q&A pairs of STEM and Non-STEM content in English, Arabic, Hindi, and Indic languages

Video data: 100K+ hours of STEM videos and 30K+ hours of UGC

Audio data: 821K+ hours of podcasts and dual-channel call center data

Medical datasets: 30M+ files including clinical and diagnostic data such as CT scans, MRI, X-ray, pathology, EHRs, USG reports, and echo reports

This repository includes:

A small preview subset of the STEM Arabic Q&A data

Flat, viewer-friendly schema for inspection

Parquet files suitable for benchmarking and evaluation

Purpose of this dataset:

Dataset preview and validation

Model evaluation and experimentation

Schema and format inspection before full-scale access

Note: This repository contains sample data only. Access to the complete dataset is available separately under appropriate licensing or partnership terms.For detailed information and domain-specific requirements, please reach out to [e-mail]

完整语料库横跨多门科学、技术、工程与数学（Science, Technology, Engineering, Mathematics，简称STEM）学科进行精选汇编，并针对大语言模型（Large Language Model，LLM）的训练、评估与指令微调（SFT/RLHF）任务完成结构化构建。本样本集用于呈现完整数据集的结构与质量水准。

数据集构成（完整语料库）：
文本语料库：涵盖7种语言（英语、印地语、阿拉伯语、巴哈萨语（Bahasa）、泰米尔语、泰卢固语、卡纳达语）的22000+册教科书，精选得到16亿+词STEM与非STEM教育内容。
问答对：包含650万+条高质量STEM与非STEM内容问答对，覆盖英语、阿拉伯语、印地语及印度语族语言。
视频数据：包含10万+小时STEM教学视频与3万+小时用户生成内容（User Generated Content，UGC）。
音频数据：包含82.1万+小时播客与双通道呼叫中心语音数据。
医学数据集：包含3000万+份文件，涵盖临床与诊断数据，如计算机断层扫描（CT）影像、磁共振成像（MRI）影像、X射线影像、病理数据、电子健康记录（EHRs）、超声（USG）报告与超声心动图报告。

本数据集仓库包含：
少量STEM阿拉伯语问答对预览子集；
便于查阅的扁平化数据模式，用于数据检视；
适用于基准测试与模型评估的Parquet格式文件。

本数据集的用途：
数据集预览与有效性校验；
模型评估与实验研究；
在正式获取完整数据集前，进行数据模式与格式的检视验证。

注意：本仓库仅包含示例数据。完整数据集的获取需通过合规授权或合作协议另行申请。如需了解详细信息或特定领域的使用要求，请联系[e-mail]