SEFORA (Student Essays with Feedback Corpus)

SEFORA是由匹兹堡大学创建的学术写作反馈语料库，旨在为大规模生成高质量写作反馈提供真实数据基础。该数据集规模为564份学生论文草稿，总计包含8,240条教师标注，覆盖议论文、叙述性复述、说明文和共情写作四种大学写作体裁，数据来源于该校英语系多个本科课程的真实教学材料。其构建过程严格遵循伦理审查，通过收集多轮草稿、作业提示、评分量表和教师提供的锚定于文本片段的详细注释，并经过隐私化处理。该数据集主要应用于自然语言处理领域，特别是用于评估和提升大型语言模型生成教学反馈的能力，以解决在真实课堂环境中规模化提供个性化、可操作的写作指导这一核心挑战。SEFORA is an academic writing feedback corpus developed by the University of Pittsburgh, designed to provide a realistic data foundation for large-scale generation of high-quality writing feedback. This dataset consists of 564 student essay drafts, totaling 8,240 teacher annotations, covering four college writing genres: argumentative essays, narrative retellings, expository essays, and empathetic writing. The data is derived from real teaching materials across multiple undergraduate courses in the university’s Department of English. Its construction strictly complies with ethical review requirements: it collects multiple rounds of drafts, assignment prompts, grading rubrics, and detailed teacher annotations anchored to specific text segments, followed by privacy treatment. This dataset is primarily used in the field of natural language processing, particularly for evaluating and improving the capability of large language models (LLMs) to generate instructional feedback, so as to solve the core challenge of delivering personalized, actionable writing guidance at scale in real classroom settings.

原始信息汇总

数据集概述

SEFORA（Student Essays with Feedback Corpus And LLM Feedback Evaluation Framework）是一个包含学生论文及教师反馈的语料库，同时提供了用于解析批注文档、生成LLM反馈以及评估LLM反馈质量的工具。

数据集规模与构成

• 论文数量：564篇学生撰写的论文草稿。
• 段落数量：共8,186个段落。
• 内联批注：包含5,684条教师内联批注。
• 反馈字数：每篇草稿平均包含147字的内联反馈，以及约100字的整体评估评论。
• 整体评估：包含基于量规的评分和文档级别的总结性评论。

目录结构

数据集采用层级目录结构组织，路径示例如下：

SEFORA/ ├── Batch_/ │ ├── Course_/ │ │ ├── Class_/ │ │ │ ├── Essay_/ │ │ │ │ ├── <Stage>/ │ │ │ │ │ ├── *.json │ │ │ │ ├── *.txt

• Stage：论文的草稿阶段（如提纲、修改、终稿），命名方式不统一。
• JSON文件：解析后的批注论文。
• TXT文件：作业提示和量规，通常位于每个Essay_*目录下，部分情况存在于阶段或班级子目录中。
• 文件名格式：Batch_<#>_Course_<#>_Class_<#>_Essay_<#>_<Stage>_ID<XXXX>.json，所有文件可展平至单一目录而不冲突。

JSON结构示例

每个JSON文件包含两个主要部分：

1. paragraphs：段落数组，每个段落包含：
   • body：段落文本。
   • annotations：批注数组，每项包含：
     • type：批注类型（highlight / note / strikeout）。
     • context_left / context_right：批注左右上下文。
     • comment：教师评语。
     • text：高亮或删除线文本（仅限highlight或strikeout类型）。
     • color：高亮颜色（green / pink / yellow / generic，仅限highlight类型）。
2. annotations：整体评估数组，包含：
   • grades：量规项目及其分数。
   • comment：教师的总体评价。

工具与功能

• LLM反馈生成流水线：提供Jupyter Notebook和Python文件，支持选择提示模板（零样本/少样本、引导/未引导、直接/思维链、提示变体），对每个包含至少一条批注的段落生成LLM反馈。
• UniMatch评估框架：基于参考的评估方法，包括两个步骤：
  1. 分段：将LLM输出分割为“反馈单元”。
  2. 相似性匹配：计算LLM生成单元与教师反馈单元之间的成对语义相似性，通过匈牙利匹配算法计算soft精确率、召回率和F1分数。
  • 为降低API成本，第二步骤采用缓冲方法，分为提交缓冲与API调用、检索结果并运行最大匹配算法两个阶段。

解析器

• PDF解析器：基于坐标位置提取文本块，识别高亮区域和便签批注，重构段落。
• DOCX解析器：解析ZIP归档中的word/document.xml，按段落和文本运行组织内容。

数据声明与使用限制

• 内容警告：数据集中包含真实学生写作，可能包含粗俗或情绪化语言，未做掩盖。
• 隐私保护：所有姓名替换为一致的假名，公众人物名称保留；个人信息及链接已移除或修改。
• 观点声明：论文中的观点仅代表作者本人，不代表团队或所属机构。

许可与引用

• 许可：Creative Commons Attribution 4.0 International License (CC BY 4.0)。
• 引用：论文引用信息待完善，数据集及代码使用需引用相关论文。

联系方式

• 联系人：[e-mail]

搜集汇总

数据集介绍

构建方式

SEFORA数据集在跨越两个学期的大学英语课程中进行采集，涵盖写作、非母语英语课程、叙事与创意写作以及高级研讨班等多种类型。数据收集过程严格遵循伦理审查委员会批准的程序，通过招募教师和获得学生的知情同意来获取材料。该数据集包含了371份来自155名学生的作文，共计564篇草稿和8,240条教师反馈标注。构建时保留了原始的段落结构，并将每条注释精确锚定到其所针对的文本片段，同时保留了作业提示、评分标准、分析性分数和多次修改的结构，使其成为真实课堂情境下教师反馈的全面记录。

特点

SEFORA数据集的一个显著特点在于其反馈的真实性和细粒度。教师反馈以嵌入式注释的形式呈现，包括高亮、便签和删除线，几乎都附有评语，且大部分是促进性的而非指令性的，旨在引导学生进行反思而非直接修正错误。反馈内容聚焦于叙事发展、创意阐述、读者参与度和写作风格等深层写作要素，而非仅仅是表面错误。该数据集涵盖了四种写作体裁，并保留了多稿修订结构，为研究写作过程中的反馈演变提供了独特视角。

使用方法

该数据集可用于训练和评估基于大语言模型的自动写作反馈生成系统。研究人员可利用SEFORA中的教师反馈作为黄金标准，通过其配套的UNIMATCH评估框架来量化生成反馈与人类教师反馈之间的对齐程度。UNIMATCH将反馈分割为独立单元，通过语义相似度评分和最优匹配计算精确率、召回率和F1值。数据集以JSON格式提供，并附带了确定性解析器，便于处理类似的教育材料，支持从段落级别的反馈生成到细粒度的反馈单元对比等多种研究任务。

背景与挑战

背景概述

SEFORA（Student Essays with Feedback Corpus）是由匹兹堡大学研究团队于2026年构建的一个公开语料库，旨在弥合大规模写作反馈生成中的关键缺口。尽管反馈被公认为驱动学生学习的核心要素，但以往语料库或局限于结构化标签与评分，或聚焦于单一文体与提示，缺失真实课堂情境中教师锚定于具体文本片段、多维度且伴随修订历史的形成性反馈。SEFORA汇集了涵盖论文、叙事、说明文与共情写作等多种大学写作体裁的564篇手稿与8240条教师注释，开创性地将分配提示、评分量规、分析性评分及多轮修订整合为结构化的教学反馈资源，为写作教育领域的自然语言处理研究提供了前所未有的数据基础。

当前挑战

该领域面临的核心挑战在于双重瓶颈：其一，构建过程需克服隐私保护、多格式文档解析及多模态注释对齐的技术难题，确保从PDF与.docx文件中无损还原段落结构与批注锚点，同时通过去标识化处理保障参与者匿名性。其二，更根本的挑战是评估LLM生成反馈的质量——传统词重叠与嵌入度量对开放式反馈的语义对应捕捉乏力，且反馈消息本身常捆绑多个自包含的“反馈单元”。UNIMATCH框架虽通过单元分割与最优匹配实现可解释性评估，但实验揭示所有配置F1值均未突破0.4，模型在产出的注释数量激增时精度急剧下降，而召回率提升微乎其微，暴露出过度生成对教学效能的损害更甚于遗漏，这一发现直指反馈生成模型的核心障碍在于优先级对齐而非产出能力。

常用场景

经典使用场景

SEFORA数据集为学术写作教育领域提供了弥足珍贵的资源——它汇集了来自大学一年级英语课程的真实教师反馈，涵盖议论文、叙事文、阐释文和共情写作四种体裁，共计564篇稿本与8,240条教师标注。研究者可将该数据集作为基准，系统性地评估大语言模型在生成贴近人类教师的段落级写作反馈时的表现，借助其配套的UNIMATCH评估框架，从反馈单元的语义对齐粒度出发，衡量模型输出的精确率与召回率。

实际应用

在教育技术领域，SEFORA为开发智能化写作辅助工具奠定了坚实的数据基础。基于该语料，研究者可以训练或微调语言模型，使其能够针对学生作文中的特定段落生成具有教学意义的形成性反馈，而非笼统的评分或模板化建议。在实际教学场景中，这类工具能够减轻教师海量批改的工作负担，同时为学生提供即时、具体且富有启发性的写作指导意见，从而有效支撑大规模写作教学中的个性化反馈需求。

衍生相关工作

围绕SEFORA语料及UNIMATCH框架，已催生了一系列值得深入探索的研究脉络。其中，面向反馈生成的提示工程探索揭示了提供显式反馈类别（如概念阐述、细节扩充、错误纠正）相较于仅提供评分标准更有利于提升模型输出的教学对齐度。此外，围绕反馈单元进行自动分解与语义评分的研究，有望进一步细化评估粒度；将UNIMATCH的段落级评估扩展至跨段落或全文范围的反馈定位，亦是极具前景的方向，可为构建全维度的智能写作助手指明道路。