Supernova Event Dataset

Supernova事件数据集包含592篇精心挑选的维基百科文章，涵盖传记、新闻事件、历史事件和科学发现等领域。该数据集用于解释大型语言模型的个性特征，通过关键事件分析和因果推理来评估模型的个性。

The Supernova event dataset consists of 592 meticulously selected Wikipedia articles, covering biographies, news events, historical events, and scientific discoveries among various fields. The dataset is employed to explain the personality traits of large language models, assessing their personalities through key event analysis and causal reasoning.

原始信息汇总

Supernova Event Dataset 概述

数据集基本信息

• 名称: Supernova Event Dataset
• 研究论文: "Supernova Event Dataset: Interpreting Large Language Models Personality through Critical Event Analysis"
• 作者: Pranav Agarwal (Mila, Quebec AI Institute), Ioana Ciucă (Stanford University)
• 许可证: MIT License
• Python版本要求: 3.8或更高

数据集内容

• 总文章数: 592篇维基百科文章
• 领域分布:
  • 🎭 传记: 192篇（有影响力人物的生平故事）
  • 📰 新闻事件: 200篇（重大当代事件）
  • 📚 历史事件: 200篇（重要历史事件）
  • 🔬 科学发现: 25篇（使用Google Gemini 2.5 Pro进行深度研究的综合发现叙述）

数据集用途

• 主要目标: 通过关键事件分析解释大型语言模型（LLMs）的个性特征
• 方法:
  • 基准测试模型对关键生活或发现事件的识别和排名能力
  • 使用第二个LLM作为评判者，根据事件选择和解释推断每个模型的个性

快速开始

1. 安装: bash git clone https://github.com/pranaval/supernova-event-dataset.git cd supernova-event-dataset python3.8 -m venv myenv source myenv/bin/activate pip install -r requirements.txt

2. 配置:

   • 创建.env文件并添加API密钥（OpenAI、Anthropic、Google）

3. 下载数据集: bash tar -zxvf Dataset/biographies.tar.xz tar -zxvf Dataset/historical-events.tar.xz tar -zxvf Dataset/major-news-events.tar.xz

使用流程

1. 提取关键事件:

   • 传记: python biography_dataset.py --model orca-2
   • 历史事件: python history_dataset.py --model phi-4
   • 新闻事件: python news_dataset.py --model orca-2
   • 电影脚本（可选）: python movies_dataset.py --model qwen-2.5

2. 分析模型个性: bash python extract_personality.py

3. 可视化结果: bash python plot_personality.py

引用

bibtex @article{agarwal2025supernova, title={Supernova Event Dataset: Interpreting Large Language Models Personality through Critical Event Analysis}, author={Agarwal, Pranav and Ciucă, Ioana}, journal={arXiv preprint arXiv:2506.12189}, year={2025} }

相关链接

• 论文: https://arxiv.org/pdf/2506.12189
• 项目页面: https://supernova-event.ai/
• HuggingFace数据集: https://huggingface.co/datasets/SupernovaEvent/SupernovaEventDataset
• 演示: https://www.supernova-event.ai/#your-story

搜集汇总

数据集介绍

构建方式

在人工智能与认知科学交叉领域，Supernova Event Dataset通过系统化采集与标注流程构建而成。研究团队从维基百科精选592篇涵盖传记、历史事件、新闻报道及科学发现的多领域文章，采用Google Gemini 2.5 Pro进行深度文献增强处理。数据构建采用双层架构：首层由大型语言模型识别关键事件节点，二层引入辅助模型作为评判者，通过因果推理分析事件选择模式，形成对模型人格特质的量化评估框架。

特点

该数据集最显著的特征在于其多维评估体系与细粒度标注策略。内容覆盖192位影响人物的完整生命轨迹、200个历史转折点及当代重大新闻事件，特别包含25项科学发现的完整叙事链。每篇文本均经过深度语义标注，不仅记录事件本身，更捕捉事件间的因果关联与情感倾向，为分析语言模型的认知偏差提供了独特的实验载体。数据集的交叉验证机制确保了对模型人格特质评估的客观性，如能清晰区分Orca 2的情感化推理与Qwen 2.5的分析型框架。

使用方法

使用该数据集需遵循标准化分析流程。通过配置Python环境并加载API密钥后，研究者可分别运行传记、历史、新闻等领域的专用脚本启动事件提取。extract_personality.py模块将原始输出转化为人格特质矩阵，而plot_personality.py则生成雷达图等可视化结果。整个分析链条支持模块化操作，允许研究者灵活选择测试模型（如Orca-2或Phi-4），并通过调整评判模型的参数实现评估维度的定制化，最终形成可解释的模型认知特征图谱。

背景与挑战

背景概述

Supernova Event Dataset是由Mila魁北克人工智能研究所的Pranav Agarwal与斯坦福大学的Ioana Ciucă于2025年共同创建的前沿语料库，旨在通过关键事件分析揭示大语言模型的人格特质。该数据集精心整合了592篇维基百科文章，涵盖传记、历史事件、新闻报道及科学发现四大领域，为研究人工智能模型的认知框架提供了结构化基准。其创新性体现在将因果推理任务与人格评估相结合，不仅推动了可解释性研究的发展，也为模型行为分析建立了标准化评估范式。

当前挑战

该数据集面临双重技术挑战：在领域问题层面，如何准确定义和量化抽象的人格特质与事件选择之间的映射关系，需要解决语义鸿沟与评估主观性的难题；在构建过程中，科学发现领域的数据稀缺性迫使研究者采用深度检索增强技术，而多源异构文本（如传记的叙事性与新闻的时效性）的归一化处理亦对标注一致性提出更高要求。此外，依赖二级LLM作为评判者的方法可能引入评估偏差，这需要设计更鲁棒的验证机制。

常用场景

经典使用场景

在自然语言处理领域，Supernova Event Dataset为研究者提供了一个独特的视角，通过分析大型语言模型对历史事件、传记、新闻和科学发现等关键事件的识别和排序能力，揭示模型的内在人格特质。这一数据集特别适用于评估模型在因果推理和事件重要性判断方面的表现，为模型行为解释性研究提供了丰富的数据支持。

实际应用

在实际应用中，该数据集可用于优化对话系统的个性化和一致性表现。教育领域可借助该数据集开发更具人文关怀的智能辅导系统，而新闻推荐系统则能通过事件重要性分析提升内容筛选质量。企业也可利用这一工具评估其AI产品的决策倾向和价值观取向。

衍生相关工作

基于Supernova Event Dataset，研究者已开发出多种模型人格分析框架。Orca 2的情感推理特性和Qwen 2.5的分析性框架等发现，启发了后续关于模型伦理对齐和偏差检测的研究。该数据集还促进了事件重要性评估指标的发展，为AI安全领域提供了新的评估维度。