war3-maps

Warcraft III Community Map Archive 是一个公开数据集，旨在保存魔兽争霸III社区创建的地图和战役，用于互操作性测试、搜索、研究和长期访问。数据集中的文件通过SHA-256哈希进行去重，并使用war3-manager工具提取标题和其他元数据。数据集包含以下主要目录结构：objects/目录存储不可变的地图或战役对象（以SHA-256前缀和完整哈希命名）；covers/目录存储可提取的迷你地图/预览缩略图（WebP格式，与对象相同SHA-256）；catalog/目录包含版本化的网站目录catalog.json、逐行记录的catalog.jsonl（便于下游处理）以及提取失败的记录failures.json。catalog记录通过路径和下载URL（dataset_path/download_url, cover_path/cover_url）指向对应文件，使得目录可以直接从浏览器获取。该数据集特别感谢B站创作者关先生丶的游戏实况，其收藏和分享工作构成了经典地图的重要来源。原始地图仍归各自作者所有，存档不主张所有权，并提供了版权声明和删除请求的流程。Warcraft III Community Map Archive is a public dataset aimed at preserving maps and campaigns created by the Warcraft III community for interoperability testing, search, research, and long-term access.

原始信息汇总

数据集概述

Warcraft III Community Map Archive（魔兽争霸3社区地图档案） 是一个用于保存社区创作的《魔兽争霸3》地图和战役的公开数据集。其核心目的是服务于互操作性测试、搜索、研究以及长期访问需求。

主要特性

• 去重存储：所有文件均通过 SHA-256 算法进行去重，确保数据唯一性。
• 元数据提取：在格式允许的情况下，使用 war3-manager 工具提取地图标题及其他元数据。
• 语言支持：数据集包含中文（zh）和英文（en）内容。

数据组织与目录结构

数据集采用清晰的目录结构，便于访问和处理：

路径	描述
objects/<sha256-prefix>/<sha256>.<ext>	不可变的地图或战役对象文件。
covers/<sha256-prefix>/<sha256>.webp	提取的小地图或预览缩略图（WebP格式），文件名与所属对象的SHA-256值一致。
catalog/maps.json	版本化的网站目录索引。
catalog/maps.jsonl	每行一条记录的目录文件，便于下游程序处理。
catalog/failures.json	记录无法提取或解析的输入文件。

目录记录会同时提供文件的本地路径和解析URL（如 dataset_path / download_url，cover_path / cover_url），使得目录文件体积可控，可直接通过浏览器访问。

访问与获取

• 搜索和下载：可通过可视化网站 https://war3-archive.github.io/war3-maps/ 搜索和下载单个地图。
• 源代码与问题追踪：项目的源代码和问题追踪位于 https://github.com/war3-archive/war3-maps。

致谢

特别感谢哔哩哔哩UP主 关先生丶的游戏实况，其收集和分享工作是本数据集中大量经典地图的重要来源。

版权与权利声明

• 版权归属：原始地图的版权归其各自作者所有。本存档不主张所有权，也不授予超出作者提供范围的权利。
• 来源追溯：目录中保留了地图的来源出处信息。
• 问题处理：如需进行署名修正、处理版权问题或请求下架，请访问 https://github.com/war3-archive/war3-maps/issues 提交问题，并提供相应的SHA-256值及支持性细节。经确认的请求将通过移除公共对象并在目录中记录墓碑（tombstone）的方式处理。

搜集汇总

数据集介绍

构建方式

该数据集以《魔兽争霸III》社区创作的地图与战役为对象，系统性地构建了一个数字化档案库。其构建流程首先通过SHA-256哈希算法对文件进行去重，确保每个地图对象唯一。随后，利用专门的解析工具war3-manager从地图文件中提取详尽的元数据，包括标题、作者、描述、类别、玩家数量、地图尺寸、tileset、格式版本及编辑器版本等信息。对于无法完全解析的文件，则通过原始数据扇区恢复技术尽可能获取标题和预览图，并将解析状态标记为'carved'或'failed'。所有对象按SHA-256前缀组织存储于objects目录，预览缩略图存放于covers目录，同时生成catalog/maps.jsonl目录文件，记录每个对象的路径、下载URL及来源路径，便于下游检索与访问。

特点

该数据集的核心特色在于其全面的元数据覆盖与灵活的访问机制。每条记录不仅包含对象身份信息（如哈希、大小、格式），还整合了演示元数据（名称、作者、收藏）和游戏性元数据（推荐人数、地图尺寸、tileset），甚至包括检测到的第三方脚本修改信息。特别值得一提的是，对于无法直接解析的战役包，数据集仍能保留其基本元数据并标记为解析不可用，且通过恢复技术获取的预览图在约95%的情况下准确。此外，目录文件设计轻量，可通过浏览器或HuggingFace数据集查看器直接获取，而实际地图文件则以二进制MPQ格式存储，需通过URL下载，这种分离设计平衡了元数据的可读性与文件的完整性。

使用方法

使用本数据集时，用户可通过HuggingFace的datasets库加载catalog/maps.jsonl文件，将其视为一个元数据目录。例如，使用Python代码`load_dataset("magicwenli/war3-maps", split="train")`即可获取全部记录，随后可利用`filter`方法基于content_type、max_players等字段筛选特定地图或战役。筛选完成后，通过记录的download_url或dataset_path字段，使用`hf_hub_download`函数下载对应的二进制地图文件。这些文件为MPQ格式，需配合魔兽争霸III游戏或特定解析工具（如war3-manager）进行进一步处理。此外，数据集还提供了专门的搜索网站（https://war3-archive.github.io/war3-maps/），支持按关键词浏览和下载，方便非编程用户使用。

背景与挑战

背景概述

war3-maps数据集由war3-archive社区于2023年创建，旨在系统性地保存《魔兽争霸III》社区创作的地图与战役资源。该数据集收录了数万份社区地图，通过SHA-256去重并利用war3-manager工具提取元数据，构建了一个可供搜索引擎、互操作性测试及学术研究的开放档案库。其核心研究问题在于如何实现游戏文化遗存的数字化保存与长期可访问性，同时为游戏地图的自动化解析与分类提供标准化数据基础。该数据集不仅服务于怀旧玩家，更成为计算游戏学、数字人文及软件工程领域的重要研究素材，推动了社区游戏资源管理研究的规范化进程。

当前挑战

war3-maps数据集所解决的领域问题聚焦于游戏地图的数字化保存与元数据标准化，其挑战涵盖多个层面。在数据构建过程中，面临地图格式的多样性（如w3x、mpq）及部分地图因加密或损坏而解析失败的难题，需采用‘carved’策略从原始数据扇区中恢复信息，并保证元数据提取的准确性，例如封面缩略图的可靠性仅为95%。此外，地图文件的二进制性质使其难以直接以表格形式加载，必须依赖外部索引与下载机制，增加了数据交互的复杂度。版权处理亦是核心挑战，需在尊重原作者权益的同时，建立有效的归属确认与移除机制，确保存档的合法性与可持续性。

常用场景

经典使用场景

该数据集作为《魔兽争霸III》社区自制地图的综合性数字档案，其经典使用场景聚焦于地图的检索、互操作测试与长期保存。研究者可利用其经过SHA-256去重的对象存储结构与解析完善的元数据目录（如玩法属性、作者信息、版本号），进行批量筛选与定向下载，以支持地图演化分析、格式兼容性验证及社区创作生态的历史追索。

实际应用

在实际应用中，该数据集为游戏模组开发者、档案管理员及平台构建者提供了宝贵的资源库。开发者可基于其中元数据实现地图推荐引擎或社区门户；归档机构能借助其去重机制与封存策略（如失效标记）进行持久化存储；数据分析师则可通过访问`download_url`获取MPQ文件，开展图表生成、内容审核等下游任务，赋能游戏生态的恢复与创新。

衍生相关工作

该数据集衍生了若干相关经典工作，最显著的是配套的`war3-manager`工具，它实现了地图元数据提取与格式兼容性分析，成为后续研究的基础设施。此外，其网页目录与JSON数据集格式促进了多个社区索引网站的开发，并启发对地图修改检测（如脚本注入）与封面图像恢复算法的研究，为游戏文件的数字取证和内容生命周期管理提供了参考范例。