gaokao-related-math

本数据集是一个从出卷网高考专区爬取并转换的数学试卷题目集合。数据集旨在提供结构化的高考数学题目资源，适用于数学教育研究、题目难度分析、自动解题或相关自然语言处理任务。数据集包含约3027套试卷的题目，规模在1千到1万条之间。数据以JSONL格式组织，主文件`problems.jsonl`中每行对应一个JSON格式的题目记录。此外，数据集还包含与题目相关的试卷配图（如散点图、几何图等），这些图片以本地副本形式存储在独立的目录中。数据处理过程中，原始的MathML格式数学公式被转换为LaTeX格式，以增强可读性和后续处理的便利性。数据集支持全量获取和每日增量更新机制。

This dataset is a collection of mathematical exam questions crawled and converted from the Chujuan Wang college entrance exam section. It aims to provide structured resources for high school math exam questions, suitable for mathematics education research, question difficulty analysis, automatic problem-solving, or related natural language processing tasks. The dataset contains questions from approximately 3027 exam papers, with a scale ranging from 1,000 to 10,000 entries. The data is organized in JSONL format, where each line in the main file `problems.jsonl` corresponds to a JSON-formatted question record. Additionally, the dataset includes exam-related images (such as scatter plots, geometric diagrams, etc.) associated with the questions, stored as local copies in separate directories. During data processing, original MathML-formatted mathematical formulas were converted to LaTeX format to enhance readability and facilitate subsequent processing. The dataset supports full acquisition and daily incremental updates.

搜集汇总

数据集介绍

构建方式

该数据集源自对知名教育平台“出卷网”高考专区数学试卷的系统性爬取，通过自主开发的爬虫工具将原始网页数据高效转换为结构化的JSONL格式。爬取流程分为三个阶段：初始时以50套试卷进行试跑以验证流程，随后实施全量爬取（覆盖约3027套试卷，耗时5至6小时），最终支持按日增量更新以保持数据时效性。技术栈采用TypeScript与tsx实现零构建直接执行，辅以jsdom解析HTML、mathml2latex将MathML内容转化为LaTeX编码，并通过p-limit控制并发请求，确保采集过程的稳定性与效率。所有题目配图亦被下载至本地目录，为后续使用提供完整的视觉素材。

特点

数据集呈现三大显著特征：其一，数学公式经由MathML至LaTeX的智能转换，使得复杂表达式得以在纯文本环境中精确保留，极大便利了自然语言处理与机器学习模型的直接使用；其二，增量更新机制确保数据始终紧跟高考命题动态，避免内容陈旧；其三，断点续爬与状态记录功能使得大规模采集可中断恢复，体现了工程上的健壮性。约数千道题目的规模既保证了样本的丰富性，又避免了冗余过大，适合作为中等规模的训练或评测基准。

使用方法

使用时可直接加载data/jsonl目录下的problems.jsonl文件，每行代表一道完整的题目JSON对象，便于按行流式处理。LaTeX格式的公式已内嵌于文本字段中，无需额外解析即可输入至基于Transformer的模型或检索系统。配图文件按ID命名存储于images文件夹，可通过题目中的图片索引字段进行关联获取。对于需要持续训练的场景，建议配置每日增量爬取的任务（利用cron设定凌晨3点随机启动），配合state目录中的日志与状态文件，确保数据始终与最新高考题库同步。

背景与挑战

背景概述

在人工智能与教育融合的浪潮中，数学学科的高考真题因其严谨的结构与广泛的知识覆盖，成为评估大语言模型逻辑推理与计算能力的重要基准。gaokao-related-math数据集于近年由个人开发者创建，其核心研究问题在于如何高效、规模化地获取并结构化中国高考数学试题，以服务于模型训练与评测。该数据集通过爬取出卷网高考专区的数学试卷，将原始HTML内容转换为标准JSONL格式，为相关领域提供了一类高质量、可复现的数学问题资源。尽管创建过程未涉及大型机构，但其对教育科技与自然语言处理交叉领域的贡献不容忽视，尤其在自动化数学推理与智能教育工具的研究中具有重要地位。

当前挑战

其构建面临多项挑战。首先，高考数学试题本身融合了文本、公式与几何图像等多元信息，如何从网页中精准提取并统一表示这些异构元素，确保数据完整性与格式一致性，是该数据集解决的核心领域问题。其次，爬取过程中需应对反爬机制与动态加载内容，开发者通过并发控制与断点续爬策略，在3027套试卷的获取中兼顾效率与稳定性。此外，MathML到LaTeX的转换精度直接影响题目可读性，而每日增量更新又要求系统具备灵活的日志与状态管理，以应对无新内容时的跳过逻辑。这些技术权衡使得数据集在规模、质量与可持续维护之间达成平衡。

常用场景

经典使用场景

gaokao-related-math数据集汇集了来自出卷网高考专区的大量数学试题，覆盖了历年高考数学试卷中的典型题目。该数据集的经典使用场景在于为自然语言处理与教育技术的交叉研究提供高质量的数学问题文本资源。研究者可借助该数据集进行数学问题理解与解答的模型训练，特别是在中文数学语境下，涉及数学符号、公式与自然语言的混合表征学习。数据集以JSONL格式存储，每道题目均保留完整文本，并附有相关图像的本地副本，使其成为构建数学问答系统、自动化解题引擎以及数学知识图谱的理想基础数据源。

衍生相关工作

围绕gaokao-related-math数据集，可以衍生出多个经典研究方向与工作。其一，基于该数据集的数学表达式解析任务催生了针对MathML与LaTeX互转的优化算法，提升了数学符号的语义理解精度。其二，研究者利用该数据集评测大型语言模型的中文数学推理能力，如GPT系列与开源模型在高考数学题上的表现对比，揭示了模型在公式推导与空间几何理解上的局限性。其三，数据集中包含的图像文件促使了图文融合的视觉语义理解研究，推动了多模态Transformer架构在教育领域的应用创新。

数据集最近研究

最新研究方向

在人工智能教育应用领域，gaokao-related-math数据集聚焦于中国高考数学试题的结构化解析与多模态信息提取，为构建高精度数学推理模型和自适应学习系统提供了宝贵的语料基础。鉴于高考数学题目融合了文本、公式与几何图形等复杂元素，该数据集不仅支持将MathML转换为LaTeX表达，还保留了试卷配图等视觉资料，推动了跨模态数学理解的前沿探索。其基于出卷网的大规模爬取与增量更新机制，有望服务于最新高考命题趋势的分析与智能辅导工具的研发，对推动教育科技的个性化与智能化具有深远意义。