astromindinc/axia-csc-corpus

Axia — 钱德拉源目录语料库是一个包含51,450个来自钱德拉源目录2.1的X射线源的数据集。每个源包含以下信息：修剪后的光子事件列表（针对单个8小时窗口，能量范围0.5-8 keV，用于Axia微调模型的输入）、原始事件列表（包含完整未修剪的观测数据，用于无模型的光谱快照/光变曲线管道）、64维学习嵌入（适用于最近邻/向量搜索，值已准备用于余弦相似度计算）、2维UMAP投影（用于可视化）以及完整的CSC目录元数据（包括硬度比、四模型光谱拟合、测光、变异性指数、天空坐标等）。该数据集支持Axia多代理X射线源解码器。数据集还提供了分层统计（11个源类型类别）、字段详细说明（如观测ID、源名称、坐标、事件列表、嵌入、光谱拟合参数等）、数据来源（基于钱德拉源目录2.1，嵌入和投影通过Axia微调模型计算）、辅助文件（如主数据文件、元数据记录、向量搜索索引定义）以及加载到MongoDB的指南。许可证为CC-BY-4.0，底层钱德拉数据属于公共领域。Axia — Chandra Source Catalog corpus is a dataset containing 51,450 X-ray sources from the Chandra Source Catalog 2.1. Each source includes: per-photon event lists in two forms (a pruned event list for a single 8-hour window in 0.5-8 keV, used as input for the Axia fine-tuned model, and an original event list with the full unpruned observation for model-free spectrum-snapshot/light-curve pipeline), a 64-d learned embedding suitable for nearest-neighbour/vector search (cosine-similarity-ready), a 2-d UMAP projection for visualization, and the full CSC catalog metadata (hardness ratios, four-model spectral fits, photometry, variability indices, sky coordinates, etc.). This dataset backs the Axia multi-agent X-ray source decoder. It also includes stratification (11 source-type categories), field descriptions (e.g., obsid, source_name, ra, dec, event_list, pca_64d, spectral fits), provenance (derived from CSC 2.1, with embeddings computed via Axia fine-tuned model), auxiliary files (e.g., main data file, metadata records, vector search index), and instructions for loading into MongoDB. Licensed under CC-BY-4.0, with underlying Chandra data in the public domain.

搜集汇总

数据集介绍

构建方式

该数据集源自钱德拉源目录2.1版本（Chandra Source Catalog 2.1），收录了51,450个X射线源。每个源均包含两种形式的逐光子事件列表：一是经裁剪至单一8小时时间窗口、能量范围0.5-8 keV的pruuned事件列表（作为Axia微调模型的输入），二是包含完整未裁剪观测数据的原始事件列表。此外，数据集还提供了经Axia微调模型（DeepSeek-R1-Distill-Qwen-7B结合XrayProcessor，LoRA r=8）计算得到的64维余弦相似度就绪嵌入向量以及2维UMAP投影，并完整保留了钱德拉源目录的元数据，包括硬度比、四种模型的光谱拟合结果、测光数据、变异性指标及天空坐标等。

特点

该数据集的核心特点在于其多模态与高维度信息融合。它不仅提供了精细化的光子事件级数据（时间与能量维度），还通过机器学习模型生成了可进行向量检索的64维嵌入表示，支持基于余弦相似度的最近邻搜索。同时，2维UMAP投影为大规模数据可视化提供了便利。数据集对源类型进行了11类分层标注，涵盖大吸积体、年轻恒星、正常星系等类别，便于进行有针对性的统计分析。所有浮点型的NaN值均以JSON null存储，保证了数据格式的整洁与兼容性。

使用方法

用户可通过HuggingFace Datasets库直接加载该数据集，使用`load_dataset("astromindinc/axia-csc-corpus", split="train")`命令即可获取训练集。每个数据样本包含源名称、坐标、事件列表、嵌入向量及各类光谱参数等丰富字段。数据以JSONL格式存储于`data/corpus.jsonl.gz`文件中，每条记录为独立的JSON文档。此外，数据集提供了配套的MongoDB加载脚本（位于Axia仓库的`data/ingest/load_from_huggingface.py`），可便捷地将数据导入本地或Atlas MongoDB实例，并自动创建针对嵌入字段的向量搜索索引，支持高效的大规模相似性检索应用。

背景与挑战

背景概述

在X射线天文学领域，钱德拉X射线天文台（Chandra X-ray Observatory）自1999年发射以来，凭借其无与伦比的空间分辨率，成为了揭示高能宇宙现象的关键工具。钱德拉源表（Chandra Source Catalog, CSC）作为该望远镜最重要的数据产品之一，收录了超过数十万个X射线源的精确位置与物理参数，为研究活动星系核、X射线双星、超新星遗迹以及恒星活动等提供了坚实基础。在此背景下，由AstroMind Inc.团队于2026年创建的axia-csc-corpus数据集，依托CSC 2.1版本，精心筛选并整理了51,450个X射线源的多模态信息。该数据集不仅包含了每光子的原始事件列表和完整的星表元数据（如硬度比、光谱拟合参数、光变指数等），还通过Axia微调模型（基于DeepSeek-R1-Distill-Qwen-7B与XrayProcessor）生成了64维的余弦相似度嵌入向量和2维UMAP可视化投影。这一创新性的数据集将高能天体物理观测数据与现代表征学习技术深度融合，为X射线源的科学分类、相似性检索以及多智能体自主分析开辟了全新路径，对推动人工智能在天文学中的应用具有重要影响。

当前挑战

axia-csc-corpus数据集所解决的领域核心挑战在于，传统的X射线源分析方法通常依赖专家手动检查光谱与光变曲线，难以高效处理CSC中数万计源的复杂多模态信息，尤其当面对源类型高度不平衡（如大质量吸积体与白矮星吸积体数量相差近40倍）以及源属性高维异构时，常规统计分类和相似性搜索方法表现乏力。通过构建包含光子事件、星表元数据和紧凑嵌入向量的统一多模态表示，该数据集使得基于向量检索的快速源识别和跨类别对比分析成为可能，从而显著提升了大规模X射线源研究的自动化水平。在数据集构建过程中，面临的挑战包括如何从原始CSC 2.1长达数小时的观测中，智能地裁剪出仅8小时窗口且覆盖0.5-8 keV能段的代表性事件列表以用于模型训练，同时保留完整的原始事件列表供管线和物理分析使用；此外，需对11种源类型候选进行科学分层，确保训练集分布能反映真实天体的多样性，并设计鲁棒的高维嵌入提取流程以兼容稀疏光子计数和非均匀观测质量，最终以可复现的形式封装51,450条记录及其元数据，供研究社区直接调用。

常用场景

经典使用场景

在X射线天文学领域，Axia-Chandra源目录语料库（axia-csc-corpus）作为首个大规模、多模态的X射线源数据集，为天体物理研究提供了标准化的数据基础。该数据集收录了来自钱德拉源目录2.1版本的51,450个X射线源，每个源均包含经过裁剪和原始的逐光子事件列表、64维学习嵌入向量、二维UMAP投影以及完整的目录元数据。其经典使用场景涵盖基于光子事件列表的X射线谱与光变曲线分析、借助嵌入向量进行的最近邻搜索与聚类分析，以及利用元数据开展源分类与物理参数反演等研究任务。

衍生相关工作

基于该数据集已衍生出一系列开创性工作，最为核心的是Axia多智能体X射线源解码模型的构建，该模型采用DeepSeek-R1-Distill-Qwen-7B架构结合XrayProcessor与LoRA微调技术，首次实现了对钱德拉X射线源端到端的智能解析。此外，研究团体依托该数据集开发的PCA嵌入与UMAP降维流程，为高维天体物理数据的可视化分析树立了新范式。该数据集还催生了基于向量搜索的X射线源快速匹配工具和自动化光谱拟合管线，推动了钱德拉源目录2.1中多个源类型的精细分类与物理参数反演研究，在X射线天体物理与机器学习融合领域产生了深远影响。

数据集最近研究

最新研究方向

基于Chandra源目录2.1构建的axia-csc-corpus数据集，整合了51,450个X射线源的多模态信息，包括光子事件列表、64维学习嵌入向量及2维UMAP投影，为天体物理中的X射线源分类与表征研究提供了高质量训练数据。该数据集支撑了Axia多智能体解码器的开发，后者借助微调大语言模型与PCA降维技术，实现了对X射线源物理特性的高效编码与向量检索。在当前多模态天文数据处理与人工智能融合的前沿方向中，该数据集推动了从原始观测数据到物理参数推断的全流程自动化进程，尤其在源类型分层分类（涵盖11个天文学类别）与频谱拟合等热点研究领域展现出重要应用价值，为下一代智能天文数据分析平台奠定了数据基础。