MatrixTeam/incantation-elden-ring-scenes

该数据集包含手动收集的《艾尔登法环》战斗视频片段，并配有结构化、面向动作的元数据，用于描述玩家与Boss之间的交互。当前预览版本专注于玩家角色（褪色者）与玛尔基特和熔炉骑士风格敌人的战斗。数据旨在支持可控视频生成、交互世界模型、游戏智能体训练、视频-语言对齐以及多实体动作理解的研究。在内部测试中，这个预览子集已足够训练一个相当强大的交互视频生成模型，但完整论文规模的结果使用了更大的数据集和训练流程。数据集是一个预览子集，并非完整的Incantation数据集，发布目的是在完整项目发布前提供数据格式、标注风格和初始训练材料的参考。license: 其他 language: - 英语 task_categories: - 视频分类（video-classification） - 视频到文本生成（video-text-to-text） - 文本生成（text-generation） tags: - 视频字幕生成（video-captioning） - 动作识别（action-recognition） - 游戏视频（game-video） - 艾尔登法环（elden-ring） - Incantation pretty_name: "Incantation"艾尔登法环战斗字幕数据集 viewer: 是 configs: - config_name: 玛吉特（margit） data_files: - split: 训练集 path: margit/meta_data.jsonl - config_name: 熔炉骑士（crucible_knight） data_files: - split: 训练集 path: crucible_knight/meta_data.jsonl # "Incantation"艾尔登法环战斗字幕数据集 > **预览子集**。本仓库为**Incantation**数据集的早期公开预览与参考子集，旨在在完整论文或项目正式发布前，公开数据集格式、标注范式与初始训练素材。本子集不应被视为最终数据集、完整基准测试集或论文所使用的全量数据规模。 本数据集包含手动采集的艾尔登法环战斗片段，以及针对玩家与Boss交互的结构化动作导向元数据。当前预览子集聚焦于褪色者（Tarnished）玩家角色对抗玛吉特（Margit）与熔炉骑士（Crucible Knight）风格敌人的战斗场景。 本数据集旨在支撑可控视频生成、交互式世界模型、游戏智能体（game-agent）训练、视频语言锚定（video-language grounding）以及多实体动作理解等方向的研究。在内部测试中，本预览子集已足够训练出性能较为优异的交互式视频生成模型。不过，论文中报告的全量数据规模结果，依赖于更大规模的数据集与训练流程。 ## 发布范围 本仓库仅为**预览子集**，并非完整的Incantation数据集。本次发布旨在在完整项目正式上线前，公开数据集格式、标注范式与初始训练素材。当前文件仅用于可复现性验证、原型开发与社区参考，后续大规模发布将覆盖更多游戏场景与艾尔登法环Boss种类。 计划中的后续发布内容包括： - 包含数据预处理、加载与评估脚本的GitHub仓库 - 论文链接、项目主页与引用信息 - 覆盖更多Boss与更丰富动作分布的大规模艾尔登法环数据集 - 用于跨世界实验的《拳皇》（The King of Fighters）数据集 - 受发布限制约束的模型权重与基准测试脚本 ## 手动采集声明 本次发布的所有片段均通过人工流程完成采集、筛选、整理与审核，并非无差别网络爬虫的产物。采集过程优先选取包含清晰玩家与Boss交互、且动作结构可用于研究的战斗片段。 当前的标注仅作为研究用元数据，而非最终打磨完成的字幕。部分数据行可能仍标记为未验证状态，但仍可用于训练、筛选与原型开发。 ## 预期用途 本数据集可应用于以下场景： - 训练基于动作或语言描述的交互式视频生成模型 - 训练单共享相机视角下的多实体世界模型 - 基于视频动作轨迹训练或评估游戏智能体 - 研究时序动作锚定、战斗事件解析与视频字幕生成 - 开发面向游戏世界或具身智能体（embodied agents）的语言控制界面原型 本数据集不得用于游戏资产的商业再分发、冒充官方游戏内容，亦不得作为艾尔登法环游戏玩法的完整基准测试集。 ## 数据集布局 text margit/ meta_data.jsonl videos/ *.mp4 crucible_knight/ meta_data.jsonl videos/ *.mp4 当前内容包括： - `margit/meta_data.jsonl`：共729条数据行 - `margit/videos/`：包含玛吉特配置元数据引用的729条MP4片段 - `crucible_knight/meta_data.jsonl`：共340条数据行 - `crucible_knight/videos/`：包含熔炉骑士配置元数据引用的340条MP4片段 上述文件仅为计划发布的公开数据的一部分。它们能够体现标注范式与训练信号的核心特征，但在Boss覆盖范围、动作词汇库与游戏场景覆盖度上并不完备。 本布局采用以场景为中心的设计，可在不修改现有结构的前提下，新增Boss、游戏场景、字幕变体与评估拆分集。 ## 元数据架构 每条JSONL数据行对应一个视频片段，通用字段包括： - `video`：源视频文件名，对应文件存储于对应场景的`videos/`目录下 - `verified`：标注是否已通过人工审核 - `prompt.scene_clarity`：粗略的场景质量标签 - `prompt.global_caption`：片段级摘要、可见物体与时间范围 - `prompt.participants`：玩家与Boss的逐实体时间线 - `prompt.participants.*.timeline`：按时间排序的动作片段，包含起止时间、动作字幕与交互标记 - `statistics`：衍生统计量与交互指标 - `context_used`：标注过程是否使用了上下文信息 简化的数据行格式如下： json { "video": "20260117_180710_0.mp4", "verified": false, "prompt": { "scene_clarity": "清晰", "global_caption": { "short_caption": "动作序列：...", "long_caption": "本片段展示角色执行：...", "visible_objects": ["褪色者（Tarnished）", "Boss", "场景环境"], "start_time": 0.0, "end_time": 23.0 }, "participants": { "person_1": { "short_description": "褪色者角色。", "timeline": [ { "start_time": 0.0, "end_time": 2.5, "short_caption": "向前冲锋", "long_caption": "角色1执行向前冲锋动作。", "is_interaction": false, "interaction_with": [] } ] }, "boss_1": { "short_description": "Boss角色。", "timeline": [ { "start_time": 3.75, "end_time": 6.0, "short_caption": "法杖挥击", "long_caption": "Boss1执行法杖挥击动作。", "is_interaction": true, "interaction_with": ["person_1"] } ] } } }, "statistics": { "max_events_count": 11, "has_boss_interaction": true }, "context_used": true } ## 加载方式 可通过`datasets`库加载指定配置： python from datasets import load_dataset margit = load_dataset("zhush/incantation-elden-ring-scenes", "margit") crucible_knight = load_dataset("zhush/incantation-elden-ring-scenes", "crucible_knight") `video`字段存储视频文件名，若要访问实际MP4文件，需将其与对应场景目录拼接，例如`margit/videos/<video>`。 ## 与Incantation论文的关联 Incantation论文将自然语言作为多实体视频世界模型的动作交互接口，本项目的整体目标则是实现共享相机视角下（如玩家与Boss战斗、格斗游戏场景）的逐帧、逐实体动作控制。 本预览子集隶属于Incantation项目，但并非论文所使用的最终数据集。完整发布版本预计将包含更多艾尔登法环Boss、《拳皇》（The King of Fighters）数据集、代码与模型权重（如许可允许）。 本数据集卡片预留了以下信息，待正式论文发布后补充： - 论文：待公开 - 项目主页：待公开 - GitHub仓库：待公开 - 模型权重：待公开 - BibTeX引用格式：待公开 ## 局限性 - 本次发布仅为预览子集，无法体现Incantation最终项目的完整动作、Boss、游戏场景与数据规模分布 - 当前元数据仅为研究用途设计，可能存在不完善的字幕或未验证的数据行 - 片段分布由人工采集与筛选流程决定，而非遵循平衡的基准测试协议 - 本数据集包含商业游戏的游戏画面，下游使用者需遵守适用的研究、法律与平台使用约束 ## 引用说明 若使用本数据集，请在正式论文发布后引用Incantation相关论文，公开后将在此处补充BibTeX引用格式。 ## 法律声明 《艾尔登法环》是FromSoftware, Inc.与万代南梦宫娱乐公司的商标。本数据集为学术研究用素材，与游戏开发商或发行商无任何关联、未获得其背书或赞助。