SDAAP

SDAAP数据集是由中山大学创建的，专门针对光谱分析和检测领域的首个开源文本知识数据集。该数据集包含了从2014年到2023年的相关出版物信息，每条数据都被细致地分类，包括研究对象、使用的光谱技术及相关的化学计量参数。数据集不仅包括标注的文献数据，还有相应的知识指导数据，总计超过20,000条。创建过程中，数据集通过自动化的方式从专业文献中提取标签，并进行人工清洗以确保准确性。SDAAP数据集主要应用于光谱检测分析领域，旨在通过提供高质量的问答框架，减少重复性劳动，加速光谱检测过程。

The SDAAP dataset, created by Sun Yat-sen University, is the first open-source textual knowledge dataset specifically targeting the field of spectral analysis and detection. This dataset covers relevant publication information from 2014 to 2023, with each entry meticulously categorized into research objects, employed spectroscopic techniques, and related chemometric parameters. In addition to annotated literature data, the dataset also includes corresponding knowledge guidance materials, totaling over 20,000 entries. During its development, labels were automatically extracted from professional literature and underwent manual curation to ensure data accuracy. The SDAAP dataset is primarily applied in the field of spectral detection and analysis, aiming to reduce repetitive labor and accelerate spectral detection processes by providing a high-quality question-answering framework.

原始信息汇总

Darwin数据集概述

数据集简介

Darwin是一个开源项目，旨在对LLaMA模型进行预训练和微调，专注于科学领域的文献和数据集。特别设计用于材料科学、化学和物理领域，Darwin整合了结构化和非结构化的科学知识，以提高语言模型在科学研究中的效能。

使用许可

Darwin数据集遵循CC BY NC 4.0许可，仅允许非商业用途。使用该数据集训练的模型不得用于研究以外的目的。

最新进展

• 2024.02.15: Darwin在Material Projects的MatBench中成为实验带隙预测任务和金属分类任务的SOTA模型，优于微调的GPT3.5和专用ML模型。
• 2023.09.15: 提供Google Colab版本，可在inference.ipynb中尝试。

模型概述

Darwin基于7B LLaMA模型，训练数据超过100,000个指令跟随数据点，由Darwin科学指令生成器（SIG）从各种科学FAIR数据集和文献语料库生成。初步人类评估显示，Darwin 7B在科学问答和解决化学问题方面优于GPT-4和微调的GPT-3。

数据来源

数据主要来自两个来源：

1. 包含6.0M篇材料科学、化学和物理领域论文的原始文献语料库，发表于2000年之后。
2. 16个FAIR数据集。

数据生成

使用Darwin-SIG生成科学指令，能够记忆长文本并基于科学文献关键词生成问答数据。

作者

该项目由UNSW、GreenDynamics及其他合作者共同开发。

引用

如使用该数据集或代码，请按以下格式引用：

@misc{xie2023darwin, title={DARWIN Series: Domain Specific Large Language Models for Natural Science}, author={Tong Xie and Yuwei Wan and Wei Huang and Zhenyu Yin and Yixuan Liu and Shaozhou Wang and Qingyuan Linghu and Chunyu Kit and Clara Grazian and Wenjie Zhang and Imran Razzak and Bram Hoex}, year={2023}, eprint={2308.13565}, archivePrefix={arXiv}, primaryClass={cs.CL} }

搜集汇总

数据集介绍

构建方式

SDAAP数据集的构建始于对2014年至2023年间发表的4461篇学术论文的系统收集，这些论文涵盖了食品、生物、能源等多个领域。通过使用Web of Science作为索引工具，结合关键词组合进行搜索，并经过人工去重处理，确保了数据的权威性和完整性。随后，这些论文被转换为纯文本格式，并进行详细的标注和索引，分为Label A和Label B两类标签。Label A用于总结实验中使用的光谱方法等关键信息，而Label B则专注于机器学习技术及其相关参数。此外，基于这些标注文献，利用Chat-GPT生成了超过22,000条高质量的IFT数据，每条数据包含一个问题及其对应的答案和相关文献来源，从而构建了一个全面且结构化的光谱分析与检测知识库。

特点

SDAAP数据集的显著特点在于其系统性和全面性。首先，该数据集是首个针对光谱分析与检测领域的开源文本知识数据集，填补了该领域在文本数据方面的空白。其次，数据集不仅包含了经过标注的文献数据，还整合了相应的知识指导数据，使得数据集在支持自然语言处理任务方面具有高度的适用性。此外，数据集的构建过程中采用了先进的标注和索引技术，确保了数据的准确性和可靠性。通过这些特点，SDAAP数据集为后续在该领域应用大型语言模型提供了坚实的基础。

使用方法

SDAAP数据集的使用方法多样且灵活。首先，研究者可以通过数据集中的标注文献快速获取与自己研究对象相关的光谱检测方法和机器学习技术。其次，数据集中的IFT数据可以直接用于训练和微调大型语言模型，以提高其在光谱检测领域的专业知识和响应质量。此外，数据集还支持构建自动问答框架，通过解析和提取查询中的实体和问题格式，利用检索技术从数据集中获取相关知识，并生成高质量的回答。这种使用方法不仅提高了知识获取的效率，还确保了生成回答的可靠性和知识来源的可追溯性。

背景与挑战

背景概述

在自然语言处理（NLP）领域，大型语言模型（LLM）已展现出显著的成功，尤其在通用领域内的多种任务中。随着LLM在各领域的应用扩展，研究人员开始探索其在自然科学中的潜力，特别是光谱分析与检测领域。光谱检测技术作为一种广泛应用的分析方法，其知识获取过程通常耗时且重复。为应对这一挑战，梁继恒等人于2024年引入了光谱检测与分析基础论文（SDAAP）数据集，这是首个用于光谱分析与检测的开源文本知识数据集。SDAAP数据集不仅包含标注的文献数据，还提供了相应的知识指导数据，为LLM在该领域的应用奠定了基础。

当前挑战

尽管SDAAP数据集为光谱分析与检测领域提供了宝贵的资源，但其构建与应用仍面临多项挑战。首先，该领域缺乏开放源数据集，尤其是适用于NLP应用的文本数据集，这限制了LLM在该领域的直接应用。其次，LLM在处理专业知识时存在“幻觉”现象，即通用知识在专业领域中的不足，这要求增强LLM的知识库以确保信息的准确性和可靠性。此外，数据集的构建过程中，如何高效地从学术文献中提取和标注信息，以及如何确保这些信息的准确性和完整性，也是一大挑战。最后，如何在不依赖指令微调的情况下，使LLM能够理解和生成与专业知识一致的准确响应，仍需进一步研究。

常用场景

经典使用场景

SDAAP数据集在光谱分析与检测领域中被广泛用于构建自动化的问答系统。该数据集通过整合从2014年到2023年的专业文献，详细标注了研究对象、光谱技术及化学计量参数，为研究人员提供了一个系统化的知识库。基于此，研究者设计了一个自动化的问答框架，能够解析查询中的实体并提取相关知识，生成高质量的回答，从而显著减少了在光谱分析中信息检索的时间和重复性工作。

解决学术问题

SDAAP数据集解决了光谱检测领域中知识检索的效率问题。传统的光谱分析依赖于研究人员手动检索和筛选大量文献，这一过程耗时且重复。通过引入SDAAP数据集，研究人员可以利用自动化的问答系统快速获取相关知识，极大地提高了研究效率。此外，该数据集还确保了知识的可追溯性，增强了研究结果的可靠性，为光谱分析方法的进一步发展提供了坚实的基础。

衍生相关工作

基于SDAAP数据集，研究者开发了多种衍生工具和方法，进一步推动了光谱检测技术的发展。例如，有研究团队利用该数据集构建了基于大型语言模型的智能问答系统，显著提升了知识检索的准确性和效率。此外，还有研究者将SDAAP数据集与其他领域的数据集结合，开发了跨领域的光谱分析工具，扩展了其应用范围。这些衍生工作不仅丰富了光谱检测的研究手段，也为相关领域的技术创新提供了新的思路。