Stardew mod dataset

该数据集包含每个上传到CurseForge、ModDrop和Nexus Mods的《星露谷物语》模组的开放数据，包括模组页面、下载文件、检测到的模组以及相关参考数据（如SMAPI网络流量和成本）。数据集定期更新，采用开放许可和版本控制策略，可用于构建工具和分析。This dataset contains open data for every Stardew Valley mod uploaded to CurseForge, ModDrop, and Nexus Mods, including mod pages, download files, detected mods, and associated reference data such as SMAPI network traffic and costs. The dataset is updated regularly, adopts open licensing and version control strategies, and can be used for tool development and analysis.

原始信息汇总

数据集概述

Stardew Mod 数据集 是一个开放数据集，收录了上传至 CurseForge、ModDrop 和 Nexus Mods 的每个《星露谷物语》模组的相关数据。该数据集用于构建其他工具，如模组统计面板和依赖关系图。

数据内容

数据集定期更新，包含以下结构化数据文件：

• 模组页面信息：模组在平台上的页面数据。
• 下载文件信息：每个模组页面的下载文件详情。
• 模组检测信息：在每个下载文件中检测到的模组（使用与 SMAPI 加载模组相同的代码）。
• 参考数据：与 SMAPI 相关的网络流量和成本等参考信息。

数据使用

• 编程使用：C# 用户可使用 SMAPI.Toolkit.dll 中的 ModPageRecord 模型直接读取 JSON 文件。其他技术栈可使用数据集中包含的 JSON Schema（dataset/data/json-schema.json）自动生成数据模型。
• 许可协议：采用 MIT 和 CC-BY-SA 4.0 双许可。数据已获得 CurseForge、ModDrop 和 Nexus Mods 的明确许可公开。注意：dataset/data 文件夹中的第三方内容（如模组页面描述）版权归原作者所有。
• 版本控制：数据集的结构和格式在 1.0.0 发布后遵循语义化版本控制，重大变更会递增主版本号。可以通过 Git 标签（如 v1）引用特定格式的最新数据。数据内容会定期更新，但不会改变版本号。
• 数据更新：通常每月底更新一次完整数据集，生成一个新的 Git 提交。历史快照可通过 Git 历史查看。

数据集结构

数据集位于 dataset 文件夹，包含四个子文件夹：

• dataset/data：模组页面、下载文件及检测到的模组的实际数据。
  • 文件按站点和模组 ID 分桶存放。例如，dataset/data/Nexus/2 包含模组 ID 2000–2999。每个文件为 JSON 格式，包含模组页面、下载、模组及模组清单等字段的详细说明。
• dataset/downloads：原始下载的模组文件（未存储在 Git 中）。文件结构与 data 类似，但以下载 ID 为子文件夹。这些文件作为“模组转储”存储在 Azure Blob Storage 中，可下载最新转储（超过 100GB 压缩包），每月更新。
• dataset/indexes：总结当前数据的 JSON 文件，例如按模组 ID 查找模组页面、下载错误和解包错误的索引。
• dataset/stats：随时间变化的统计数据文件（JSONL 格式），例如按类型划分的模组数量、Content Patcher 内容包按格式版本的分布等。
• dataset/reference-data：手动维护的参考数据，包括 SMAPI 的月度托管成本和 DNS 查询数量等。

数据字段示例（摘要）

• 模组页面字段：站点、ID、名称、作者、标语、描述、页面URL、版本、更新时间、下载数组、其他字段。
• 下载字段：ID、类型（主文件/可选文件）、显示名称、文件名、描述、版本、文件大小（字节）、上传时间、模组数组、下载错误、解包错误、其他字段。
• 模数字段：ID、显示名称、类型（内容包/SMAPI/XNB/忽略/无效）、相对路径、清单、清单解析错误等。
• 模组清单字段：名称、描述、作者、版本、最低API版本、最低游戏版本、入口DLL、内容包依赖、依赖项数组、更新键、唯一 ID、其他字段。

维护

数据集通过 scripts 文件夹中的 .NET 解决方案更新，包含两个项目：

• FetchMods：从各站点获取并分析最新模组，保存至 dataset/data 和 dataset/downloads。
• UpdateAggregates：基于获取的数据更新 dataset/indexes 和 dataset/stats 文件。

运行顺序为：

cd scripts dotnet run --project FetchMods dotnet run --project UpdateAggregates

搜集汇总

数据集介绍

构建方式

在星露谷物语模组生态系统中，数据驱动的分析工具对于理解模组分布与依赖关系至关重要。Stardew mod dataset通过定期从CurseForge、ModDrop和Nexus Mods三大平台抓取开放数据，构建了一套结构化数据集。其核心流程是：首先利用FetchMods脚本获取模组页面、下载文件以及通过SMAPI工具包解析出的模组信息，然后由UpdateAggregates脚本生成索引和统计文件。所有数据以JSON格式存储，并按站点和模组ID分段存放于桶文件夹中，确保了数据的高效组织与存取。此外，数据集保留了历史Git快照，支持月度对比分析，为研究者提供了可靠的时间序列视角。

使用方法

使用该数据集时，开发者可根据技术栈灵活选择接入方式。对于C#用户，可直接引用SMAPI.Toolkit.dll中的ModPageRecord模型，通过System.Text.Json反序列化本地JSON文件，并访问Download和Mod等嵌套字段。对于Python、Rust或TypeScript用户，可利用JSON schema自动生成数据模型，例如使用datamodel-code-generator或typify工具。数据集根目录下的dataset文件夹包含data、indexes、stats和reference-data子目录，分别对应原始数据、摘要索引、时间序列统计和辅助参考信息。若需原始模组文件，可下载超过100GB的Azure Blob存储导出包，但注意其为月度更新且未纳入Git版本控制。

背景与挑战

背景概述

Stardew mod dataset是由Pathoschild等研究人员创建的开放数据集，自2020年起持续维护，旨在系统化收集星露谷物语（Stardew Valley）模组生态的元数据。该数据集整合了CurseForge、ModDrop和Nexus Mods三大平台的模组页面、下载文件、内部模组清单及参考数据（如SMAPI流量和成本），为模组兼容性列表、依赖关系图及统计分析工具提供了基础数据支撑。通过结构化JSON格式和开源许可协议，它促进了社区对模组生态的量化研究，例如模组类型分布、版本演进及开发活动趋势分析，成为星露谷物语模组领域最具影响力的综合性数据集之一。

当前挑战

该数据集面临的挑战包括：1）模组生态的高度动态性——不同平台对隐藏、删除或过时文件的管理规则差异（如Nexus的归档标记与CurseForge的透明机制），增加了数据一致性维护的难度；2）构建过程中需应对模组文件的解析复杂性，涵盖SMAPI、Content Pack和XNB等多种类型，以及manifest.json解析错误（如缺失、无效或空文件夹），需设计健壮的错误处理流程；3）跨平台数据聚合时需协调各站的API限制与许可协议，确保定期更新的时效性；4）历史数据版本控制需要平衡月度快照的存储成本与用户对长期回溯分析的需求。

常用场景

经典使用场景

在星露谷物语模组生态系统中，开发者与研究者常利用Stardew mod dataset进行模组元数据的系统性分析。该数据集汇集了来自CurseForge、ModDrop和Nexus Mods三大平台的模组页面、下载文件及内部模组解析结果，可支持跨平台的模组分布统计、版本演化追踪及依赖关系挖掘。通过结构化的JSON格式，用户得以高效检索模组类型（如C#、内容包或XNB替换）、作者归属及更新频率，进而构建模组兼容性列表或动态依赖图谱，为模组开发社区提供数据驱动的决策支持。

解决学术问题

该数据集有效解决了星露谷物语模组研究中长期存在的数据孤岛与元数据碎片化问题。此前，研究者难以从分散的模组托管平台获取统一、可版本化的结构数据，导致模组生态演化趋势、内容包框架普及度及SMAPI版本兼容性分析缺乏可靠基础。借助该数据集，学术界得以定量分析不同模组类型（如Content Patcher、SMAPI C#模组）的份额变化、依赖网络中的关键节点，以及模组维护活跃度与游戏版本更新之间的关联，推动了模组工程学与玩家社区行为建模领域的实证研究。

实际应用

在实际应用中，该数据集被广泛用于构建模组生态的可视化工具与自动化服务。例如，smapi.io/mods模组兼容性列表实时调用该数据，为玩家提供模组与游戏版本的匹配检测；mod stats仪表盘通过月度统计文件（如Content Patcher格式版本分布）呈现生态健康度；dependency graph工具则利用索引数据可视化模组间的依赖链条，帮助玩家识别关键依赖风险。此外，模组开发者可依据数据集中的下载量、错误类型统计优化发布策略，而平台运营者亦能借助历史快照跟踪模组托管趋势，提升服务质量。

数据集最近研究

最新研究方向

在游戏模组生态研究领域，Stardew mod dataset 正成为量化分析模组社区动态的关键数据源。该数据集通过持续追踪 CurseForge、ModDrop 和 Nexus Mods 三大平台的模组页面、下载文件及其内部依赖关系，为探索模组开发者行为模式、内容包框架演进趋势及模组兼容性图谱提供了结构化支撑。近期前沿方向聚焦于利用其索引和统计子集（如按月统计的模组类型分布与Content Patcher包格式版本变化），结合SMAPI流量数据，揭示模组创作活跃度与玩家参与度之间的关联规律。特别是依赖关系图谱的构建，使得模组间耦合度分析与生态健康度评估成为可能，为游戏模组治理和跨平台协作研究奠定了实证基础。