build-small-hackathon/PaperProf-traces

PaperProf Agent Trace 是一个数据集，记录了PaperProf（一个AI学习伙伴）的逐步追踪过程，该工具将课程PDF转换为交互式测验会话。数据集包含每次LLM调用的详细记录，每行数据包括会话ID、步骤索引、类型（如问题生成、答案评估等）、主题领域、输入数据（如文本块、问题、学生答案等）、原始模型输出、推理时间和使用的模型ID。每个会话由4个步骤组成：开放问题生成、正确答案的结构化反馈评估、错误答案的结构化反馈评估以及带选项解释的多选题生成。数据集涵盖三个主题领域：操作系统、机器学习和网络。使用的模型是build-small-hackathon/MiniCPM4.1-8B-PaperProf，专为2026年6月的Build Small Hackathon开发。

PaperProf Agent Trace is a dataset containing step-by-step traces of PaperProf, an AI study buddy that turns course PDFs into interactive quiz sessions. Each row in the dataset represents one LLM call, with fields including session_id, step index, type (such as question_generation, answer_evaluation, mcq_generation), topic domain, input (e.g., chunk, question, student answer), raw model output, wall-clock inference time, and model ID used. Each session consists of 4 steps on one text chunk: open question generation, structured tutor feedback on a good answer, structured tutor feedback on a bad answer, and MCQ generation with per-option explanations. The dataset includes three sessions covering Operating Systems, Machine Learning, and Networking. The model used is build-small-hackathon/MiniCPM4.1-8B-PaperProf, built for the Build Small Hackathon in June 2026.

原始信息汇总

• 数据集名称: PaperProf Agent Trace
• 数据集地址: https://hf-mirror.com/datasets/build-small-hackathon/PaperProf-traces
• 任务: 问答、文本生成
• 模态: 表格、文本
• 格式: JSON
• 语言: 英语
• 规模: 小于 1K 行（实际为 12 行）
• 标签: agent-trace, education, paperprof, build-small-hackathon
• 库: Datasets, pandas, Polars, 以及另一个附加库
• 许可证: Apache-2.0
• 数据集描述: 该数据集包含了 PaperProf（一个 AI 学习助手）的逐步执行轨迹，用于将课程 PDF 转换为交互式测验会话。每个 JSON 行记录了一次 LLM 调用，涵盖从问题生成到学生答案评估再到选择题生成的完整流程。
• 数据集结构:
  • 数据字段:
    • session_id: 会话 ID，用于将同一会话的步骤分组。
    • step: 会话内的步骤索引（范围 1-4）。
    • type: 步骤类型，包括 question_generation（开放问题生成）、answer_evaluation（答案评估）和 mcq_generation（选择题生成）。
    • topic: 源文本块的学科领域。
    • input: 发送给模型的精确输入。
    • output: 模型的原始输出。
    • duration_s: 推理耗时（秒）。
    • model: 所使用的模型 ID。
    • timestamp: 时间戳。
  • 会话结构: 每个会话对一个文本块执行 4 个步骤：
    1. Open question generation: 模型编写一个有针对性的考试问题。
    2. Correct answer evaluation: 针对正确回答的结构化导师反馈。
    3. Wrong answer evaluation: 针对错误回答的结构化导师反馈。
    4. MCQ generation: 生成包含 4 个选项及每个选项解释的选择题。
  • 数据内容: 包含 3 个会话，总共有 12 行数据，覆盖操作系统（虚拟内存）、机器学习（梯度下降）和网络（TCP 三次握手）这三个主题。
  • 使用的模型: build-small-hackathon/MiniCPM4.1-8B-PaperProf
  • 数据集大小: 总文件大小为 21.8 kB。
  • 数据拆分: 仅包含训练集（12 行）。

搜集汇总

数据集介绍

构建方式

PaperProf-traces数据集源自一款名为PaperProf的AI学习助手，其核心功能在于将课程PDF转化为交互式测验环节。该数据集以JSONL格式记录了每一次大语言模型调用的完整轨迹，每条数据即对应一次LLM调用的输入与输出。构建过程围绕课程文本片段展开，每个片段经过四个步骤的序列化处理：首先生成开放式问题，随后分别对正确与错误答案进行结构化评估，最终生成包含四个选项及逐一解释的多选题。三个会话示例分别覆盖操作系统、机器学习和网络领域，确保了数据集的学科多样性。每个会话内部的步骤通过会话ID与步骤索引进行关联，并记录了调用耗时与所使用的模型标识符。

特点

该数据集的核心特色在于其精细的步骤级追踪能力，揭示了从问题生成到答案评估再到测验构建的完整教育AI工作流。输入与输出字段的详尽保留，使得研究者能够深入分析模型在不同教育任务中的行为模式，包括开放性问题的设计策略、评估反馈的生成逻辑以及多选项的构造方法。此外，数据集包含了三种不同的任务类型——问题生成、答案评估与多选题生成，为研究教育场景下的多任务学习提供了丰富的基准。会话结构的固定模式与时间戳记录相结合，使得评估模型推理效率与输出质量之间的关系成为可能。

使用方法

研究人员可借鉴该数据集开展多种下游任务：利用其中的输入输出对，可微调模型以提升其在教育领域的问题生成与评估能力。具体而言，开放式问题生成子集可用于训练模型产出高质量测验题目；答案评估子集则有助于开发能够提供结构化反馈的评分系统；多选题生成子集则适用于构建自动出题引擎。由于每个步骤均记录了精确的输入上下文与输出结果，研究者亦可复现或改进原始应用的提示工程策略。该数据集亦适合作为评估基准，衡量不同模型在相同教育任务上的表现差异，尤其在答案评估的准确性与反馈的细节丰富度方面。

背景与挑战

背景概述

在教育科技领域，个性化学习辅助系统的构建日益成为研究热点，其中基于大语言模型的智能辅导工具因能动态生成互动内容而备受关注。PaperProf-traces数据集由EPITA团队于2026年6月在Build Small Hackathon中创建，旨在记录PaperProf——一款将课程PDF转化为交互式测验的AI学习伙伴——的完整推理轨迹。该数据集的核心研究问题聚焦于如何精细化追踪大语言模型在四阶段任务（开放问题生成、正确答案评估、错误答案评估及多选题生成）中的行为与性能，为教育场景下智能体的可解释性与鲁棒性研究提供了宝贵资源。其影响力体现在填补了教育型智能体行为数据集的空白，支撑了从模型部署到用户交互优化的全链路分析。

当前挑战

当前数据集面临的主要挑战包括：一是领域问题的复杂性，即如何确保模型在操作系统、机器学习、网络等不同学科中生成的测验内容兼具准确性与教学适应性，避免知识性错误或误导性反馈；二是构建过程中的数据稀疏性与泛化性问题，数据集仅包含三个会话与单一微调模型（MiniCPM4.1-8B-PaperProf）的轨迹，限制了其覆盖模型行为多样性及跨领域迁移的能力；三是交互步骤的因果关联链条（如错误评估对后续多选题设计的影响）难以通过静态轨迹完整呈现，给智能体行为的深度剖析带来困难。

常用场景

经典使用场景

在教育科技与自然语言处理的交叉领域，PaperProf-traces数据集捕捉了AI学习助手在个性化交互中的完整推理轨迹。该数据集的核心设计在于将课程文档转化为多步骤的智能问答会话，每个会话涵盖开放式问题生成、正误答案评估以及多选题构造四个环节。研究者可借此模拟AI助教与学生之间的动态对话流程，探索如何将静态教材内容转化为具备反馈机制的互动式学习体验。数据集中包含操作系统、机器学习与计算机网络三个学科的真实教学文本片段及其对应的模型输出，为构建教育场景下的对话系统提供了结构化的行为刻录基础。

衍生相关工作

围绕该数据集已衍生出多项经典研究工作，包括基于步骤级行为轨迹的智能助教质量评估框架，研究者通过对比模型在问题生成与答案评估阶段的一致性，提出了衡量教学反馈准确性的新指标。另有工作利用数据集中的教师预设反馈作为对比模板，训练了专门用于纠正错误概念的教育对齐模型。此外，数据集的多元学科覆盖特性催生了跨领域教学策略迁移研究，探索在OS与ML等课程间共享问题生成模式的可能性。这些衍生工作不仅验证了该数据作为少样本微调基准的有效性，也拓展了其在助学对话系统闭环评估与领域自适应方向的应用边界。

数据集最近研究

最新研究方向

在智能教育领域，数据集PaperProf-traces聚焦于大型语言模型在交互式学习场景中的行为轨迹记录，为探究AI助教如何实现课程材料向动态问答、错题解析与多选测试的智能转化提供了精细化的实证样本。该数据集不仅捕捉了从开放问题生成到结构化反馈的完整流水线，还通过跨操作系统、机器学习与网络三大计算机核心科目的会话数据，揭示了模型在知识理解与评估任务中的推理特征。随着生成式AI在个性化教育中的深度渗透，此类细粒度轨迹数据集正成为优化即时反馈机制与自适应学习路径的关键支撑，推动智能辅导系统从规则驱动向数据驱动的范式跃迁。