遇见数据集

nasa-impact/nasa-sde-IR-benchmark-20251024-v5

收藏
Hugging Face2026-06-02 更新2026-02-07 收录
官方服务:

资源简介:

NASA SDE IR基准测试v5是一个全面的信息检索基准数据集,专为NASA科学发现引擎(SDE)设计。该数据集包含合成生成的查询-文档对,用于科学内容检索评估。它是NASA SDE IR基准测试v3的更新版本,基于新的SDE内容生成,这些内容未包含在之前的训练数据或基准测试中。数据集包括56,310个初始数据点,从中采样了9,977个数据点用于对生成,最终选择了9,241个高质量数据点。数据集提供两种类型的查询-文档对:QA对(问题-答案对,附带提取的上下文)和搜索对(搜索词-文档对)。这些对使用GPT-4o mini生成,每个文档生成5-15对。数据集结构包括corpus.jsonl(文档集合)、queries.jsonl(查询集合)和qrels文件夹(相关性判断文件,如qa_pairs.tsv和search_pairs.tsv)。数据生成过程涉及源数据筛选、基于内容相关性置信度得分选择前10%、使用GPT-4o mini生成对,并进行质量控制以确保科学准确性和相关性。该基准测试适用于评估信息检索系统,特别是专注于科学内容的系统,可与BEIR等标准IR评估框架一起使用。评估指标包括检索指标(如Recall@k、Precision@k、MAP、MRR、nDCG@k)、问答指标(如精确匹配、F1分数)和搜索指标(如命中率、成功率)。

A comprehensive Information Retrieval benchmark dataset for the NASA Science Discovery Engine (SDE), containing synthetically generated query-document pairs for scientific content retrieval evaluation. This dataset is an updated version of the NASA SDE IR Benchmark v3, generated from new SDE content that wasnt included in previous training data or benchmarks. It includes 56,310 initial data points, with 9,977 datapoints sampled for pair generation and 9,241 high-quality data points selected. The dataset features two types of query-document pairs: QA Pairs (question-answer pairs with extracted context) and Search Pairs (search term-document pairs), generated using GPT-4o mini with 5-15 pairs per document. The dataset structure consists of corpus.jsonl (document collection), queries.jsonl (query collection), and qrels files (relevance judgments, such as qa_pairs.tsv and search_pairs.tsv). The data generation process involves filtering source data, selecting the top 10% based on content relevancy confidence scores, generating pairs with GPT-4o mini, and applying quality control for scientific accuracy and relevance. This benchmark is designed for evaluating Information Retrieval systems, particularly those focused on scientific content, and can be used with standard IR evaluation frameworks like BEIR. Evaluation metrics include retrieval metrics (e.g., Recall@k, Precision@k, MAP, MRR, nDCG@k), question answering metrics (e.g., Exact Match, F1 Score), and search metrics (e.g., Hit Rate, Success Rate).

提供机构:
nasa-impact
搜集汇总
数据集介绍
nasa-impact/nasa-sde-IR-benchmark-20251024-v5 数据集图片
构建方式
本数据集源自美国国家航空航天局(NASA)科学发现引擎(SDE)中未曾纳入先前训练数据或基准测试的全新内容。构建之初,研究者从新获取的56,310条初始文档中,依据内容相关性置信度得分筛选出排名前10%的高质量文本,最终获得9,241条核心数据点。在此基础上,利用GPT-4o mini模型为每篇文档自适应生成5至15组查询-文档对,涵盖问答案例与搜索词两类配对。生成过程严格遵循科学准确性与相关性的提示词约束,并通过系统性质量控制确保合成的查询-文档对所携带的语义信息真实反映原始文档的学术内涵。最终,全部数据被整理为标准信息检索评估格式,包含语料库、查询集及带有相关性分数的判断文件。
使用方法
研究者可通过HuggingFace Datasets库便捷加载该基准数据集,仅需调用load_dataset函数即可获取语料库、查询集及两种类型的相关性判断文件。评估过程支持标准信息检索度量指标,包括面向检索任务的Recall@k、Precision@k、MAP、MRR及nDCG@k,同时适用于问答场景的精确匹配与F1分数,以及搜索任务中的命中率与成功率。该数据集可与BEIR等主流信息检索评估框架无缝集成,研究者只需将语料库构建为文档索引,并将查询与相关性判断导入对应的评估管线,即可系统性地衡量检索模型的性能表现,特别适用于科学内容检索领域的模型对比与消融分析。
背景与挑战
背景概述
在科学研究领域,随着数据量的激增,如何高效地从海量科学文献中检索出精准信息成为关键挑战。NASA科学发现引擎(SDE)作为支撑科研内容策展与发现的核心平台,亟需高质量的基准数据集来评估信息检索系统的性能。为此,NASA IMPACT团队于2024年10月发布了nasa-sde-IR-benchmark-20251024-v5数据集,由Nishan Pantha、Sajil Awale等研究人员主导创建。该数据集基于全新SDE内容,通过GPT-4o mini模型生成查询-文档对,包含约17.7万条查询和8.3万篇文档,专注于科学文本的检索与问答评估,为INDUS-SDE语言模型的训练与评测提供了标准化基准。其在KDD 2026会议的AI for Sciences轨道上发表,对推动科学信息检索领域的研究具有重要影响力。
当前挑战
该数据集所面临的挑战主要体现在三个方面。首先,在领域问题层面,科学信息检索需应对专业术语的歧义性、文档结构的复杂性以及跨学科概念关联的稀疏性,传统检索模型容易在科学文本的语义匹配上失效。其次,在构建过程中,数据生成依赖GPT-4o mini模型,虽然采用了内容相关性置信度评分过滤前10%的高质量数据,但仍存在合成查询与真实科研需求之间语义偏差的风险。此外,从5.6万初始数据点中精选9千余个高质量样本,并确保每篇文档生成5-15对查询-文档对,这一过程对科学准确性与相关性的质量控制提出了严苛要求,需平衡生成效率与数据保真度。
常用场景
经典使用场景
在信息检索与自然语言处理交汇的前沿领域,nasa-sde-IR-benchmark-20251024-v5数据集作为专为科学内容发现设计的检索基准,其经典使用场景聚焦于评估和优化面向科学文档的检索系统。该基准包含了由GPT-4o mini生成的问答对与搜索词-文档对,共计超过17万条查询与8万篇语料的配对关系,能够全面测试模型在科学文献中捕捉语义相关性的能力。利用标准化的qrels标注文件与corpus.jsonl、queries.jsonl结构,研究者可无缝接入BEIR等框架,系统性地完成召回率、MAP、nDCG等指标的评测,从而推动科学信息检索技术的实证发展。
解决学术问题
该数据集精准回应当前学术研究中的两大关键挑战:科学内容检索的标注数据稀缺性与领域内语义匹配的低效性。传统的通用检索基准往往忽略了科学文本中蕴含的专业术语、复杂逻辑与隐性知识,导致模型在面对NASA科学发现引擎(SDE)中的高价值内容时表现不佳。通过提供由高质量科学文档人工筛选后经大模型生成的大规模查询-文档配对,该基准填补了科学信息检索领域标准化评估的空白。其发布推动了学术界在零样本科学检索、领域自适应嵌入模型以及科学问答系统等方向上的实证研究,显著提升了科学知识发现的可复现性与可信度。
实际应用
在实际应用层面,该基准服务于NASA科学发现引擎的构建与迭代,直接赋能科研人员快速定位与其研究问题高度相关的科学文献、数据集与技术报告。基于该基准训练的检索模型能够嵌入到开放的学术搜索平台、智能论文推荐系统以及自动化文献综述工具中,显著缩短科学家从海量异构内容中提取关键信息的时间。此外,其QA与搜索两种配对模式也为科研辅助对话系统提供了鲁棒的评估基础,使得面向地质、气候、天文等领域的智能问答服务更加精准与高效,最终加速跨学科的科学发现与知识融合进程。
数据集最近研究
最新研究方向
该数据集聚焦于科学信息检索(IR)领域,特别是在NASA科学发现引擎(SDE)的背景下,探索如何利用合成数据生成技术提升科学文献的检索与问答能力。作为INDUS-SDE-ST模型评估的核心基准,该数据集通过GPT-4o mini从全新SDE内容中自动生成查询-文档对,覆盖问答与搜索两类任务,旨在推动针对科学文本的细粒度检索性能评估。这一方向呼应了生成式AI在科学知识管理中的前沿应用,尤其关注跨模态查询理解与高精度召回优化,为地球观测、天体物理等领域的科研发现提供了可靠的评测工具,具有显著的领域实践价值与学术影响力。
以上内容由遇见数据集搜集并总结生成
二维码
社区交流群
二维码
科研交流群
商业服务