MCUData
收藏资源简介:
该数据集包含来自两个长时间 Minecraft 任务——击杀末影龙(Ender Dragon)和从零开始挖钻石(mine diamond from scratch)的代理轨迹,这些轨迹在 MCU 基准测试下由多种代理架构运行,并附有完整的记分板。数据集涵盖了多个版本(dm4-era、claim-m-records、relay-era 和 claim-m-direct-baseline),每个版本包含不同架构(如 worldmodel、prolong、direct 等)的运行结果。数据以压缩包形式提供,每个运行档案包含代理工作区文件(如记忆、代码转录、评估视频等),以及统计文件(runs.csv、summary.json)。评分基于里程碑达成率,钻石任务有 10 个里程碑(6000 步),龙任务有 24 个里程碑(12000 步)。该数据集适用于研究长时间跨度任务中的代理行为、记忆机制、架构比较等,尤其适合用于 LLM 和强化学习代理的评估与基准测试。
This dataset contains agent trajectories from two long-duration Minecraft tasks: killing the Ender Dragon and mining diamonds from scratch. These trajectories were generated by various agent architectures under the MCU benchmark, accompanied by complete scoreboards. The dataset covers multiple versions (dm4-era, claim-m-records, relay-era, and claim-m-direct-baseline), each containing results from different architectures (e.g., worldmodel, prolong, direct, etc.). Data is provided in compressed archives, each containing agent workspace files (e.g., memory, code transcripts, evaluation videos) and statistics files (runs.csv, summary.json). Scoring is based on milestone achievement rates, with 10 milestones for the diamond task (6000 steps) and 24 milestones for the dragon task (12000 steps). This dataset is suitable for studying agent behavior, memory mechanisms, and architecture comparisons in long-duration tasks, especially for evaluating and benchmarking LLM and reinforcement learning agents.
MCU 长程轨迹数据集(dragon / diamond)
数据集概览
该数据集收录了在 MCU 基准测试 下两个长程 Minecraft 任务——击杀末影龙(kill_ender_dragon)和从零开始挖钻石(mine_diamond_from_scratch)——中由多种智能体架构运行的完整轨迹,以及这些运行所在的完整记分板。数据集共包含 13 次运行记录,压缩后总大小 177 MB,均以压缩包形式存放于 runs/ 目录下。
评分机制
评分为 里程碑计数而非序列:100 * 里程碑达成数 / 总里程碑数。钻石任务在 6,000 步预算内设 10 个里程碑,末影龙任务在 12,000 步内设 24 个里程碑。乱序达成里程碑同样计分,数据集中多条轨迹即存在此情况。
关键记录与运行批次
数据集包含多个批次的运行记录,均基于 gpt-5.6-sol 模型:
| 批次 | 目录 | 亮点成绩 |
|---|---|---|
| claim-m-direct-baseline(2026-09-04) | claim-m-direct-baseline/ |
钻石任务三条手臂(worldmodel、logbook、direct)均达 9/10(90.0);末影龙任务 worldmodel 41.67 > logbook 37.5 > direct 33.33;每条轨迹含 provenance.json(分支、精确提交、工作树、窗口)与评估视频 |
| relay-era(2026-09-01) | relay-era/ |
蒸馏中继链实现钻石任务 10/10(100.0)(dm16_wm_high,第三代中继,dm17 复现);末影龙记录 45.83(11/24)(kd14x_wm_high,跨任务种子);含原始日志中继消融实验及逐代蒸馏记忆(lineage/) |
| claim-m-records(2026-08-29) | claim-m-records/ |
结构化世界模型记忆 vs 日志记忆对比:钻石 80.00(8/10,双记忆手臂)、末影龙 45.83(11/24,世界模型——铁镐、钻石矿石与钻石全部达成);四条完整轨迹均突破此前的“铁墙”限制 |
| dm4-era 批次 | stats/、runs/ |
7 条最高分闭环运行:钻石 3 条并列 60.00,末影龙 4 条并列 25.00;另有 6 条更早期(08-23/08-24)运行 |
最新进展(2026-09-04 晚):协议重新定义后(无事件帧、日志即日志、直接手臂无滚动窗口),kdc3z_logbook_high 以 11/24(45.83)在末影龙任务上追平历史记录(kd6_wm、kd14x),耗时 52 次模型调用;钻石日志本达 90.0。重定义前批次与现协议不可比。
各批次说明
- dm4-era 批次(较早):产生了 7 条最高分闭环世界模型运行(钻石 60.00 × 3、末影龙 25.00 × 4),并分析了共同的性能瓶颈——无运行成功开采铁矿,卡在 6/10 或 6/24 里程碑;原因包括位移不足(58–97% 的挖掘操作位移不足半格)、矿石检测器误报(4 次全为误报)、光照不足、容器自动关闭导致的静默光标丢失。
- relay-era 批次:采用“蒸馏中继”策略——每次运行的结构化记忆作为下一次运行的初始状态,在钻石任务上从 90 → 90 → 100 实现突破;原始日志中继消融得分反而低于对照组。
- claim-m-direct-baseline 批次:在加固技能框架上对比三条手臂,新增了完全无记忆的
direct手臂(只读 codex、单轮会话、仅用最近回复滚动窗口)。同一提交的队列在重定义协议下运行:logbook 手臂在末影龙上追平历史纪录 45.83。
早期运行记录
数据集中包含 2026-08-23/24 的 6 条早期运行(dragon_pl、dragon_wm、diamond_pl、diamond_wm、night_dragon、night_diamond),早于闭环框架,用于前后对比:
| 运行 | 手臂 | 任务 | 得分 |
|---|---|---|---|
dragon_pl |
prolong | 击杀末影龙 | 20.83 |
dragon_wm |
worldmodel | 击杀末影龙 | 20.83 |
diamond_pl |
prolong | 挖钻石 | 0.00 |
diamond_wm |
worldmodel | 挖钻石 | 未评分(自带报告 4/10,但评估器目录为空) |
night_dragon / night_diamond |
prolong | 两任务 | 未评分(评估器目录为空) |
文件结构与内容
顶层结构
stats/ 记分板与统计(runs.csv、summary.json、README.md) runs/ 智能体工作区,每个运行一个 .tar.gz
各目录详情
stats/:所有已评分运行的总表、聚合统计、成本核算与注意事项。runs/:13 个运行压缩包,解压后均含<name>/episode_001/目录。
各手臂数据格式
- worldmodel 手臂:
memory/文件系统记忆(世界模型、假设、过程、事件、地图等)、codex_turns/每轮请求/响应记录、worldmodel_report.json步骤与里程碑追踪。7 条闭环运行保留精选帧(每运行 56–133 张 PNG),存储于memory/episodes/*/frames/,由日志中的[FRAME]指针索引。 - prolong 手臂:
transcripts/完整 codex 交换记录、actions.json动作流、AGENTS.md系统提示、logs.txt步骤日志、last_message.txt最终消息。
默认手臂说明
数据集中不包含默认手臂(default)的轨迹——上游 MCU-AgentBeats 智能体不写入自身工作区,其全部输出(episode_1.mp4、result.txt、milestone_tracking.json)均为评估器侧产物。该手臂在两任务上均得 0.00,分数已列入 stats/runs.csv,但评估器产物不在数据包内。
数据卫生与匿名化
- 发布前对全部轨迹执行路径匿名化:仓库路径替换为
<REPO>(早期 6 次运行 13,784 处、后增 7 次 3,677 处)、用户主目录替换为<HOME>、操作系统用户名替换为user、codex 主目录替换为<CODEX_HOME>。 - 其余内容(无转写内容、时间戳、分数)未作改动,二进制文件逐字节一致。
- 所有运行均已扫描凭据——无 API 密钥、令牌、载体字符串或电子邮件地址。
代码访问与复现
数据集中的运行对应 Hither1/MCU 仓库的三个分支:dm4-era 批次在 merge-agentbeats-main,claim-m-records 与 relay-era 在 claim-m-substrate,claim-m-direct-baseline 在 claim-m-direct-baseline。部分运行附精确提交 SHA 与复现命令,复现时需将 <REPO> 替换为本地仓库路径、<HOME> 替换为本地主目录。





