MAGenIdeas Dataset

该数据集由南京理工大学团队构建，聚焦自然语言处理领域，用于支持基于多智能体迭代搜索策略的研究创意生成。数据集包含ACL 2024会议的长论文及其参考文献，通过精选高质量源论文构建知识库，为智能体提供学术背景和作者元数据。其核心价值在于促进跨领域知识重组，解决LLM生成研究创意时存在的重复性和视角单一问题，可应用于学术创新辅助、知识图谱构建等场景。

This dataset was constructed by a team from Nanjing University of Science and Technology, focusing on the field of natural language processing, and is designed to support research idea generation based on multi-agent iterative search strategies. It includes full-length papers from ACL 2024 and their associated references. A curated high-quality knowledge base is built from these source papers, providing academic context and author metadata for AI Agents. Its core value lies in facilitating cross-domain knowledge reorganization, addressing the problems of repetition and single-perspective bias in research ideas generated by LLMs, and it can be applied to scenarios such as academic innovation assistance and knowledge graph construction.

原始信息汇总

好的，这是根据您提供的数据集详情页面信息生成的概述。

数据集概述：MAGenIdeas (多智能体研究思路生成)

• 来源与背景

  • 该数据集源自 ACL Anthology 2024 年会 (ACL 2024) 的长文论文。
  • 数据集为处理后公开数据，存放于项目仓库的 ./dataset/data/acl2024_long 目录下。

• 核心任务

  • 支持“通过组合创新和多智能体迭代搜索策略增强研究思路生成”的研究。该研究利用实际论文数据进行角色扮演，旨在提升大语言模型在生成科学研究方法论方面的性能。

• 应用与评估

  • 用于评估基于多智能体迭代搜索策略所生成科学思路的 新颖性 和 多样性。
  • 提供一个在线演示 Demo：MAGenIdeas Demo

• 相关引用

  • 数据集与源代码关联的论文信息：

    Shuai Chen, Chengzhi Zhang. Enhancing Research Idea Generation through Combinatorial Innovation and Multi-Agent Iterative Search Strategies. Scientometrics. 2026, arXiv:2604.20548 GitHub 仓库 Demo

搜集汇总

数据集介绍

构建方式

MAGenIdeas数据集的构建以自然语言处理领域为实验场域，从ACL 2024长文轨道中筛选出675篇目标论文及其22,647篇参考文献作为初始语料。为确保元数据完备性与下游处理的可靠性，论文必须满足至少10次引用、不少于20篇参考文献，并在至少一个辅助数据库中提供完整的作者信息。最终，通过整合ACL Anthology、OpenAlex与Semantic Scholar三大公开学术数据库，经质量筛选后保留144篇目标论文、6,153篇参考文献、953份作者档案及25,906篇由通讯作者发表的其他论文。所有数据通过论文标题与DOI作为唯一标识符进行跨源融合，作者姓名经过匿名化处理以保护隐私。

特点

该数据集的核心特点在于其多维度的结构化信息组合，不仅包含目标论文与参考文献的标题与摘要，还囊括了作者的研究兴趣、机构隶属、发表与引用数量等背景资料，为构建具有真实学者视角的虚拟代理团队提供了丰富素材。数据筛选标准基于引文数量与参考文献规模，而非学术质量评判，确保了知识图谱的完整性与检索稳定性。此外，数据的来源均为公开学术数据库，所有收集过程可复现，且作为研究想法生成与多代理系统背景知识的双重用途，支持从初始想法激发到迭代优化与新颖性评估的全链条实验需求。

使用方法

MAGenIdeas数据集的使用方法围绕自动化研究想法生成任务展开，首先随机选取目标论文以定义研究方向，并将其与参考文献及十种科学发现方法一同输入大语言模型，生成15项初始研究想法构建想法池。随后，通过迭代规划搜索机制，由大语言模型设计知识搜索任务并利用外部学术API执行，实现跨领域知识的组合式融入。虚拟学术代理团队依据目标论文作者信息构建，每个代理独立提出、自我检查并评分研究想法，采用瑞士制锦标赛与零样本大语言模型排序器进行创意质量评估，最终选择得分不低于5分的想法作为该轮输出，并在多轮迭代中逐步深化探索边界。

背景与挑战

背景概述

MAGenIdeas数据集由南京理工大学信息管理学院的Shuai Chen和Chengzhi Zhang于2025年创建，旨在应对科学文献激增背景下研究思路生成面临的挑战。该数据集以自然语言处理领域为实验场景，从ACL 2024长文中精选144篇目标论文，整合了6,153篇参考文献、953个作者画像及25,906篇相关论文，为多智能体迭代规划搜索框架提供了核心支撑。通过将组合创新理论融入大语言模型驱动的思路生成过程，该数据集显著提升了生成思路的多样性与新颖性，其实验结果介于ICLR 2025录用与拒稿论文之间，展现了在自动化科研创意生成领域的开创性影响力。

当前挑战

该数据集面临的核心挑战在于突破现有大语言模型思路生成中的概念冗余与路径依赖问题。一方面，传统单代理方法受限于单一视角，难以实现跨领域知识的异构重组，导致生成思路缺乏深度与多样性；另一方面，构建过程中需解决多源数据库（ACL Anthology、OpenAlex、Semantic Scholar）的元数据整合难题，包括引用关系完整性、作者画像准确性以及论文质量筛选——仅12%的初始论文因满足引用数、参考文献量和作者信息完备性等严格标准得以保留。此外，如何设计多智能体协作机制以模拟真实科研团队的迭代批判过程，并平衡生成效率与思路质量，仍是该数据集推动领域进步的关键瓶颈。

常用场景

经典使用场景

在自然语言处理领域，MAGenIdeas Dataset被广泛用于研究自动科研想法生成。该数据集以ACL 2024长文为核心，整合了目标论文、参考文献及作者背景信息，为多智能体迭代规划与搜索框架提供了坚实的数据基础。研究者利用该数据集，通过模拟虚拟学术团队协作，对初始研究想法进行多轮迭代优化，从而生成兼具多样性与新颖性的高质量科研假说。这一经典使用场景不仅验证了组合创新理论在自动科研设想中的有效性，也为后续探索跨学科知识重组提供了标准化的实验平台。

衍生相关工作

依托MAGenIdeas Dataset，后续衍生出一系列推动自动科研想法生成发展的经典工作。例如，AI-Researcher框架利用端到端检索与成对比较机制实现了科研构想排序；NOVA框架引入迭代规划与知识搜索以减少冗余；VIRSCI则通过多智能体协作模拟真实科研团队互动。此外，Hi-geres等实体抽取模型被用于分析构想中的知识重组模式，进一步揭示了迭代过程中探索性组合、聚焦性精炼与路径锁定等演化阶段，为设计更高效的科研辅助系统奠定了方法论基础。

数据集最近研究

最新研究方向

MAGenIdeas数据集的最新研究聚焦于利用组合创新理论与多智能体迭代搜索策略，以推动科研想法的自动化生成领域。研究前沿在于，通过构建基于真实作者背景知识的虚拟学术团队，结合多智能体协同评估与迭代知识检索机制，显著提升大语言模型生成科研想法的多样性、新颖性及质量。该方向回应了当前科学文献激增背景下研究者识别新颖研究方向日益困难的痛点，展示了理论驱动的系统设计在人工智能辅助科学发现中的潜力。其意义在于，不仅证明了结构化知识重组与模拟协作推理能有效增强生成式模型的创造力，还为开发超越单视角提示局限的高质量科研构思辅助工具提供了可行路径，有望加速早期阶段的科学探索进程。

相关研究论文

• Enhancing Research Idea Generation through Combinatorial Innovation and Multi-Agent Iterative Search Strategies

  南京理工大学·信息管理系 · 2026年