Puidii/aalen_university_faculty_computer_science

该数据集包含来自德国阿伦大学计算机科学学院所有学习课程的问答对。训练数据集由ChatGPT自动生成，验证数据集则手动创建。数据集用于基于LLM微调的问答聊天机器人训练。数据集来自阿伦大学网站，包含从12个学习课程中提取的439个.txt文件，总计3.1兆字节的文本。ChatGPT API（GPT3.5）用于从原始文本数据中提取问答对。数据集已匿名化，所有真实姓名和数字均已更改。

原始信息汇总

数据集卡片

数据集详情

数据集描述

该数据集包含来自德国阿伦大学计算机科学学院所有学习项目的问答对。训练数据集由ChatGPT自动生成，验证数据集由人工创建。数据集的创建旨在训练基于LLM微调的问答聊天机器人。所有使用的脚本和示例可以在链接的GitHub仓库中找到。

数据集作为一项研究项目的一部分创建。所有真实姓名和数字均已更改。数据来自阿伦大学的网站，包含从计算机科学学院所有学习项目中提取的问答对，包括课程内容、教职工或大学活动直至2023年11月。所有包含的信息均从https://www.hs-aalen.de/ 抓取，共生成439个.txt文件，来自12个学习项目（3.1兆字节的文本）。ChatGPT API（GPT3.5）用于从原始文本数据中提取问答对。

• 策划者： Patrick Müller
• 语言（NLP）： 英语
• 许可证： MIT许可证

数据集来源 [可选]

• 仓库： https://github.com/pattplatt/llm_dataset_creation_and_finetuning

用途

1. 用于LLM微调，特别是在计算能力有限的情况下，由于问答对序列长度较短。
2. 评估由LLMs提取和创建的数据集。

超出范围的用途

该数据集不涵盖阿伦大学计算机科学学院学习项目的全部内容。数据不一定反映阿伦大学的真实和完整内容。此外，数据尚未完全检查其准确性。

数据集结构

数据集的结构基于著名的lima数据集：https://huggingface.co/datasets/GAIR/lima

数据集创建

策划理由

动机是测试LLMs如何用于自动化数据集创建。

数据收集和处理

使用BeautifulSoup和Request进行抓取。ChatGPT API用于提取问答对。

个人和敏感信息

数据集已匿名化，所有姓名、电子邮件和数字均已更改。

数据集卡片作者 [可选]

Patrick M.

数据集卡片联系

您可以通过HF联系我。

搜集汇总

数据集介绍

构建方式

该数据集源自德国阿伦大学计算机科学学院官方网站的公开信息，涵盖了截至2023年11月的12个学习项目内容，包括课程详情、教职员工及校园活动等。原始数据通过BeautifulSoup和Requests库从网页抓取，共收集439个文本文件，总容量达3.1兆字节。随后，利用ChatGPT API（GPT-3.5）自动从原始文本中提取问答对，形成训练数据集；验证数据集则由人工手动创建，以确保质量。所有真实姓名、电子邮件及数字均经过匿名化处理，以保护隐私。

特点

数据集以问答对形式呈现，结构简洁，序列长度较短，特别适用于计算资源有限场景下的大语言模型微调。其训练集由大型语言模型自动生成，验证集则依赖人工标注，这种混合构建方式为评估LLM生成数据的质量提供了独特视角。数据来源于德国高校官方网页，内容具有领域专一性和时效性，但需注意其并未涵盖计算机科学学院的全部内容，且未经完全准确性核查，存在一定局限性。

使用方法

该数据集可直接用于大语言模型的微调任务，尤其是针对问答型聊天机器人的训练。用户可加载数据后，将其划分为训练集和验证集，利用短序列长度的问答对进行高效微调，适合算力有限的场景。此外，数据集也可用于研究LLM自动生成数据集的可靠性与有效性，通过对比自动与手动构建的数据，评估模型在知识提取与问答生成方面的表现。相关脚本与示例已开源在GitHub仓库中，便于复现与扩展。

背景与挑战

背景概述

在自然语言处理领域，大型语言模型（LLM）的微调依赖于高质量、领域特定的问答数据集。Puidii/aalen_university_faculty_computer_science数据集由Patrick Müller于2023年创建，源自德国阿伦大学计算机科学学院的12个学习项目，通过爬取其官方网站获取了439个文本文件（总计3.1兆字节），并借助ChatGPT API（GPT-3.5）自动生成问答对，验证集则手工构建。该数据集旨在解决特定学术领域内问答机器人的训练需求，尤其关注计算资源有限场景下的LLM微调。其核心研究问题包括评估LLM自动生成数据集的有效性与可靠性，为教育领域的知识检索与对话系统提供了基准资源，对推动低资源场景下的领域问答系统发展具有参考价值。

当前挑战

该数据集面临多重挑战。首先，在领域问题层面，其核心任务是构建面向计算机科学教育的高精度问答系统，但自动生成的数据可能无法完全覆盖课程、教职或事件的真实完整内容，存在信息偏差，且未经全面准确性校验，可能影响模型输出的可靠性。其次，在构建过程中，数据爬取与处理依赖ChatGPT API自动提取问答对，这引入了生成式模型固有的不确定性，如问答对可能遗漏关键细节或引入虚构信息。此外，数据集已匿名化处理（更改姓名、邮箱和数字），但原始数据中的敏感信息脱敏是否彻底仍是潜在风险。序列长度较短虽利于低算力微调，却可能限制复杂问题的表征能力，需平衡数据简洁性与信息完整性。

常用场景

经典使用场景

该数据集专为基于大型语言模型（LLM）微调的问答系统而设计，其核心应用场景聚焦于构建面向特定领域（如高校计算机学院）的智能问答机器人。数据集中包含从亚伦大学计算机学院12个专业课程网页中提取的问答对，其中训练集由ChatGPT（GPT-3.5）自动生成，验证集则经由人工精心构建。这一设计使得研究者能够在有限计算资源下，利用短序列长度的问答对高效微调LLM，从而快速部署针对教育场景的垂直领域对话系统。

衍生相关工作

该数据集直接衍生自LIMA数据集的结构设计，并启发了多项关于LLM自动标注数据质量的后续研究。其核心贡献在于验证了GPT-3.5在特定领域知识抽取中的有效性，为后续如Self-Instruct、Alpaca等基于教师模型生成训练数据的范式提供了对比基准。同时，该工作中公开的GitHub仓库（包含爬虫与微调脚本）已成为教育领域LLM应用开发的参考范例，推动了开源社区中低成本构建专业问答数据集的实践探索。

数据集最近研究

最新研究方向

当前，大语言模型在垂直领域问答系统中的应用成为热点，尤其聚焦于如何高效、低成本地构建领域专用数据集以进行模型微调。Puidii/aalen_university_faculty_computer_science数据集正是这一趋势下的典型案例，它由德国阿伦大学计算机学院的研究项目产出，利用ChatGPT API从学院官网爬取的439个文本文件中自动提取问答对，生成训练集，并辅以人工构建的验证集。该数据集不仅服务于学院专属问答机器人的开发，更开创性地探索了LLM在自动化数据集创建中的潜力——通过对比自动生成与人工标注数据对微调效果的影响，为资源受限场景下的模型适配提供了新范式。其研究意义在于验证了“以模型生成数据训练模型”的可行性，推动了教育领域知识库构建的智能化进程，同时为评估LLM输出质量与数据可靠性提供了基准。