LyTOC Benchmark

该仓库包含一个从作业PDF中提取的基准数据集，使用SimpleTex OCR API进行内容提取。数据集结构包括作业标识符、问题编号、问题内容和唯一标识符。

This repository hosts a benchmark dataset extracted from assignment PDFs, with content extraction conducted via the SimpleTex OCR API. The dataset structure includes assignment identifiers, question numbers, question contents, and unique identifiers.

原始信息汇总

LyTOC Benchmark 数据集概述

数据集基本信息

• 数据集名称：LyTOC Benchmark
• 数据集来源：通过SimpleTex OCR API从作业PDF文件中提取内容构建而成。
• 托管平台：HuggingFace Datasets
• 数据集地址：https://huggingface.co/datasets/Zecyel/LyTOC
• 代码仓库地址：https://github.com/Zecyel/LyTOC-Bench

数据集内容与结构

• 数据内容：包含从作业PDF中提取的题目文本与描述。
• 数据结构：每个数据条目（问题）包含以下字段：
  • homework：作业标识符（例如 "hw1", "hw2"）。
  • problem_number：作业内的题目编号。
  • content：完整的题目文本和描述。
  • full_id：唯一标识符（例如 "hw1_problem1"）。

数据集构建与处理流程

• 提取方法：使用SimpleTex OCR API自动从PDF文件中提取内容。
• 处理流程：
  1. 从 raw/ 目录下的PDF源文件开始。
  2. 通过OCR将PDF转换为Markdown格式，保存至 parsed_data/ 目录。
  3. 处理解析后的内容，提取单个问题，构建结构化的基准数据集。
• 输出格式：支持JSON、JSONL以及HuggingFace Dataset格式。

相关脚本与工具

• extract_pdfs.py：使用SimpleTex OCR API从 raw/ 目录的PDF文件中提取内容。
• create_benchmark.py：将解析后的内容处理成结构化的基准数据集。
• upload_to_hf.py：将基准数据集上传至HuggingFace Hub。
• run_pipeline.py：运行完整处理流程的交互式脚本。

使用要求

• 环境：Python 3.8+
• 依赖：需安装 requirements.txt 中列出的包。
• API密钥：需要SimpleTex API令牌（OCR_UAT）和HuggingFace账户令牌（用于上传）。

许可证

• MIT License

搜集汇总

数据集介绍

构建方式

在光学字符识别与自然语言处理交叉领域，LyTOC Benchmark的构建体现了自动化数据采集与结构化处理的先进理念。该数据集通过SimpleTex OCR API从一系列作业PDF文档中系统提取文本内容，实现了从非结构化文档到可计算数据的转换。构建流程涵盖原始PDF解析、内容清洗与结构化标注，最终生成包含作业标识、问题编号及完整题目文本的标准化数据单元，确保了数据的一致性与可追溯性。

特点

LyTOC Benchmark的显著特征在于其多层次的数据组织形式与灵活的格式兼容性。数据集以作业为单位进行逻辑划分，每个问题均包含完整的文本描述与全局唯一标识符，支持细粒度的任务分析与模型评估。技术层面，该数据集提供JSON、JSONL及HuggingFace数据集三种标准化格式，既满足传统研究需求，又兼容现代机器学习平台的生态体系，为跨场景应用提供了便利。

使用方法

使用该数据集时，研究者可通过HuggingFace平台直接加载标准化数据包，或基于本地文件系统进行定制化处理。配套工具链支持从原始PDF提取到最终数据集生成的全流程自动化，用户可通过交互式管道脚本逐步执行数据转换，亦可分模块调用解析、构建与上传功能。环境配置需预先获取OCR API密钥与平台访问令牌，确保数据获取与分发的合规性与安全性。

背景与挑战

背景概述

在人工智能与教育技术交叉领域，自动化处理学术文档内容的需求日益增长。LyTOC Benchmark数据集由研究人员Zecyel构建，其核心目标在于通过OCR技术从PDF格式的作业中提取结构化文本，为自然语言处理任务提供基准数据。该数据集聚焦于解决教育场景下非结构化文档的机器可读性转换问题，其创建过程依托SimpleTex OCR API实现自动化内容抽取，并以多格式输出支持后续研究与应用，对推动教育内容智能化分析具有积极意义。

当前挑战

该数据集旨在应对学术作业文本的自动化识别与结构化解析挑战，其核心问题在于如何准确提取PDF文档中的复杂数学公式、混合排版内容以及多语言文本，确保OCR转换后的数据保真度。在构建过程中，面临的主要困难包括处理PDF源文件的格式异构性、OCR接口对特殊符号的识别误差控制，以及从连续文本中精准分割独立问题单元的技术实现，这些因素共同构成了数据集质量保障的关键瓶颈。

常用场景

经典使用场景

在光学字符识别与自然语言处理交叉领域，LyTOC Benchmark 数据集为评估和优化OCR系统在复杂学术文档中的性能提供了标准化测试平台。该数据集通过自动化流程从PDF格式的作业文件中提取结构化文本内容，典型应用场景包括训练和验证OCR模型对数学公式、图表及多语言混合文本的识别准确性，从而支持文档数字化与信息检索任务的高效执行。

解决学术问题

该数据集有效应对了学术研究中关于非结构化文档内容解析的长期挑战，特别是针对手写或印刷体PDF中数学符号、特殊格式文本的精确提取问题。通过提供统一标注的基准数据，它促进了OCR技术在噪声干扰、版面复杂场景下的鲁棒性研究，并为跨模态文档理解任务提供了可复现的实验基础，显著提升了相关领域方法比较的客观性与科学性。

衍生相关工作

围绕该数据集衍生的经典工作主要集中在文档智能与OCR后处理算法的创新上。例如，基于其结构化标注开发的端到端文档解析框架，能够联合优化文本检测与语义分割模块；同时，该数据集也催生了针对数学公式识别的专用神经网络架构，以及融合视觉与语言特征的跨模态检索模型，这些成果进一步推动了智能文档处理技术在学术与工业界的落地应用。