five

slm-synthetic-educational-qa-mcq-general

收藏
Hugging Face2026-05-30 更新2026-05-31 收录
下载链接:
https://huggingface.co/datasets/tohio/slm-synthetic-educational-qa-mcq-general
下载链接
链接失效反馈
官方服务:
资源简介:
SLM Synthetic Educational Qa Mcq General 是一个合成的、非数学领域的、自包含的教育类多项选择题数据集,每个问题都附带解释。数据集于2026年5月30日生成,包含680,640条记录,存储大小为354.3 MB。数据以JSONL格式存储,每条记录是一个JSON对象,包含以下字段:`type`(类型)、`question`(问题)、`choices`(选项)、`correct_index`(正确答案索引)和`explanation`(解释)。数据集已进行精确去重。其预期用途包括用于小语言模型(SLM)的数据实验、预训练与继续预训练的混合训练、预训练以及行为评估。需要注意的是,数据是合成的,在使用前应进行检查,可能包含简单、重复或不完美的示例,不应被视为权威的事实知识来源。数据集基于MIT许可证发布。

SLM Synthetic Educational Qa Mcq General is a synthetic, non-mathematical, self-contained educational multiple-choice question dataset, with each question accompanied by an explanation. The dataset was generated on May 30, 2026, containing 680,640 records with a storage size of 354.3 MB. The data is stored in JSONL format, where each record is a JSON object with the following fields: `type` (type), `question` (question), `choices` (choices), `correct_index` (correct answer index), and `explanation` (explanation). The dataset has undergone exact deduplication. Its intended uses include data experiments for small language models (SLM), mixed training for pre-training and continued pre-training, pre-training, and behavioral evaluation. It should be noted that the data is synthetic and should be checked before use, as it may contain simple, repetitive, or imperfect examples and should not be considered an authoritative source of factual knowledge. The dataset is released under the MIT license.
创建时间:
2026-05-25
原始信息汇总

数据集概述:SLM Synthetic Educational Qa Mcq General

基本信息

  • 数据集名称:SLM Synthetic Educational Qa Mcq General
  • 许可证:MIT License
  • 语言:英语(en)
  • 生成日期:2026-05-30
  • 总记录数:680,640 条
  • 存储大小:354.3 MB

标签

  • synthetic(合成数据)
  • llm(大语言模型)
  • pretraining(预训练)
  • reasoning(推理)
  • educational(教育)

文件结构

数据集仅包含一个JSONL格式文件:

文件名 记录数 大小
educational_qa_mcq_general.jsonl 680,640 354.3 MB

记录格式

每条记录为一行JSON对象,字段结构如下:

  • type:数据类型
  • question:问题内容
  • choices:选项列表
  • correct_index:正确答案索引
  • explanation:答案解析

去重处理

  • 已执行精确去重(exact-deduplication)
  • 未使用模糊MinHash去重,因为合成示例通常设计上共享有用结构

预期用途

  • SLM(小语言模型)数据实验
  • 预训练或继续预训练混合数据
  • 行为评估

局限性

  • 数据为合成生成,使用前应进行检查
  • 可能包含简单、重复或不完美的示例
  • 不应被视作权威事实知识的来源
搜集汇总
数据集介绍
main_image_url
构建方式
该数据集通过合成方式构建,旨在生成非数学领域的、自包含的通用教育性多项选择题。每条记录包含题目、选项、正确答案索引及解释说明。数据以JSONL格式存储,每行对应一个JSON对象,共计680,640条记录,总存储空间为354.3 MB。在构建过程中,数据集采用了精确去重策略,而非模糊MinHash去重,因为合成数据的设计本身就保留了有益的结构共性。
特点
数据集核心特点在于其非数学、自包含的教育性多选题设计,每条数据均附带解释,便于理解推理过程。合成生成的特性使得数据规模可观,达到近68万条,适合用于小语言模型(SLM)的实验与预训练。此外,精确去重确保了数据无冗余,而MIT开源许可为其广泛应用提供了便利。
使用方法
该数据集主要适用于小语言模型的数据实验,包括预训练、持续预训练混合以及行为评估等场景。使用时需注意其合成属性,建议在训练或评估前进行人工审查,以避免简单、重复或不完善示例的影响。数据集不应被视为权威事实知识的来源,适合作为教育推理能力训练的补充资源。
背景与挑战
背景概述
该数据集构建于2026年5月,由SLM研究团队发布,旨在为小型语言模型(SLM)提供高质量的预训练与评估数据。数据集聚焦于非数学类的通识教育多选问答,包含超过68万条带解释的合成样本,覆盖广泛的知识领域。其核心研究问题在于探索如何通过合成数据增强SLM的常识推理能力与行为评估效果。作为MIT许可下的开源资源,该数据集为教育问答场景下的模型预训练、持续训练及行为分析提供了标准化测试基准,推动了合成数据在低资源模型训练中的应用研究。
当前挑战
该数据集面临的核心挑战在于合成数据的质量与真实性保障。首先,领域问题方面,非数学教育问答要求模型具备跨领域的常识推理与知识整合能力,而合成数据可能引入简单、重复或不准确的表述,难以完全模拟真实人类问答的复杂性与多样性。其次,构建过程中,尽管已进行精确去重,但缺乏模糊去重(MinHash)可能导致相似结构样本未被过滤,影响数据多样性;同时,合成数据可能隐含偏见或错误知识,需在使用前进行人工审核与领域适配,确保训练出的模型不继承合成信号的局限性。
常用场景
经典使用场景
在自然语言处理与教育智能交叉领域,该数据集为自包含式非数学多选题语料库,共包含逾68万条精炼条目,每条记录均以JSONL格式存储,涵盖问题、选项、正确答案索引及详细解析。其经典使用场景聚焦于小型语言模型的预训练与持续预训练混合策略,通过注入结构化、可解释的教育问答信号,显著增强模型在基础推理与知识检索任务上的表现,为轻量化模型在资源受限环境下的部署提供数据基石。
衍生相关工作
该数据集衍生了一系列围绕合成数据增强与教育推理的经典工作。一方面,研究者基于其结构化格式开发了元学习框架,探索如何从解释文本中提取可转移的推理模式;另一方面,针对合成数据中可能存在的简单或重复样例,催生了噪声鲁棒训练算法与数据筛选策略。此外,该数据集还被用作评估基准,用于对比不同去重粒度对预训练模型行为一致性的影响,推动了小型语言模型在可控环境下的规模化实验方法论创新。
数据集最近研究
最新研究方向
在教育人工智能领域,合成数据正成为推动小型语言模型(SLM)推理能力与预训练效率的新前沿。slm-synthetic-educational-qa-mcq-general数据集以逾68万道非数学类自包含多选题为核心,配合精确去重与结构化解释字段,为SLM在低资源场景下的持续预训练、行为评估提供了高质量合成信号。该研究方向紧密契合当前业界对轻量化、可部署模型在课堂互动、自适应测验等热点应用中的迫切需求,通过规避知识权威性与重复模式局限,促进模型在结构化问答中的逻辑一致性,对降低教育AI部署门槛、推动个性化学习系统的可扩展性具有奠基意义。
以上内容由遇见数据集搜集并总结生成
二维码
社区交流群
二维码
科研交流群
商业服务