arc-agi3-wa30-agent-trajectories

ARC-AGI-3 wa30 Agent Trajectories数据集包含一个由Claude Code驱动的大型语言模型（LLM）智能体在玩ARC-AGI-3游戏wa30时生成的游戏过程轨迹。该数据集是ARA（Agent-Native Research Artifact）世界模型泛化实验的一部分，智能体在游戏过程中实时构建结构化的世界模型，并在无法通过初始探索解决的关卡中咨询该模型以寻找解决方案。数据在游戏过程中持续同步，每当世界模型有新的结晶化内容时就会推送。数据集按目录组织，主要包括推理轨迹（包含逻辑、跟踪、暂存子目录）、每个子智能体的行动-推理轨迹（每个行动对应一行JSON记录并包含原因）、游戏状态快照和获胜动作脚本、会话级别的帧级记录、回合级别的回合日志、工具日志和会话笔记、ARC API记分卡、世界模型预测分类账（记录咨询内容及其置信度及验证结果）、游戏的分类账行和指标、消融研究和展示工件、会话索引以及来源信息（如智能体模型、仓库提交哈希等）。仓库使用L<n>-cleared标签标记关卡通关状态，这些快照可用于下游智能体评估实验。数据集适用于强化学习、智能体轨迹分析、游戏玩法研究、世界模型构建和LLM智能体行为研究等任务。

The ARC-AGI-3 wa30 Agent Trajectories dataset contains game process trajectories generated by a large language model (LLM) agent (driven by Claude Code with a file relay tool) while playing the ARC-AGI-3 game wa30. This dataset is part of the ARA world model generalization experiment. The agent constructs a structured world model (called Agent-Native Research Artifact) in real-time during gameplay and consults this model to find solutions in levels that cannot be resolved through initial exploration. Data is continuously synchronized during gameplay, pushed whenever the world model has new crystallized content. The dataset is organized by directories, including reasoning trajectories (with logic, tracking, and staging subdirectories), action-reasoning trajectories for each sub-agent (each action corresponds to a JSON record with reasons), game state snapshots and winning action scripts, session-level frame recordings, episode-level logs, tool logs and session notes, ARC API scorecards, world model prediction ledger (recording consultation content, confidence, and subsequent verification results), accounting rows and metrics for the game, ablation studies and demonstration artifacts, session index, and manifest information (such as agent model, repository commit hash, etc.). The repository uses L<n>-cleared tags to mark complete recorded states when each level is cleared, which are ready snapshots for downstream agent evaluation experiments. The dataset is suitable for tasks such as reinforcement learning, agent trajectory analysis, gameplay research, world model construction, and LLM agent behavior research.

原始信息汇总

ARC-AGI-3 wa30 — Agent Trajectories 数据集概述

该数据集收录了 LLM 智能体（Claude Code 驱动文件中继框架） 在 ARC-AGI-3 游戏 wa30 关卡中的完整游戏轨迹，是 ARA-as-world-model 泛化实验 的一部分。智能体在游戏过程中实时构建结构化世界模型（Agent-Native Research Artifact），并在无法通过冷探索解决的关卡中查询该模型。

数据集结构

reasoning/ara-wa30/ # 智能体的世界模型 + 推理轨迹 traces/ # 子智能体动作-推理轨迹（每动作一行 JSON） solutions/GAME.md # 状态快照：进度 / 机制 / 陷阱 / 暂停原因 solutions/replay/ # 每关获胜动作脚本（L<n>.txt） recordings/ # 帧级记录，每会话一个文件 episodes/ # 回合级日志（跨运行拼接） logs/ # 框架日志 + 自由格式会话笔记 scorecards/ # ARC API 评分卡 predictions.jsonl # 世界模型预测账本 accounting/ # 游戏账本行（Tokens/步骤）、指标、ARA 增长曲线 demo/ # 消融/展示工件 sessions_index.json # 每记录会话的条目 manifest.json # 来源信息：模型、提交哈希、协议哈希、同步时间

关键特性

• 实时同步：每次世界模型结晶都会同步推送到此数据集
• 版本快照：仓库标签 L<n>-cleared 记录每关通关时的完整记录，可用于下游智能体评估实验
• 可衍生数据：思考时间间隔（交互间延迟）、死亡分析、意外分析均可从 recordings + traces 中推导，无需单独存储

补充信息

• 许可证：CC-BY-4.0
• 任务类型：强化学习、其他
• 语言：英语
• 标签：arc-agi、arc-agi-3、agent-trajectories、game-playing、llm-agent、world-model、claude
• 关联数据集：arc-agi3-ls20-agent-trajectories

搜集汇总

数据集介绍

构建方式

该数据集源自一次以LLM代理（Claude Code驱动文件中继框架）参与ARC-AGI-3游戏“wa30”的泛化实验，隶属于ARA作为世界模型的系列探究。代理在游戏过程中实时构建结构化世界模型（即Agent-Native Research Artifact），并在遭遇冷启动无法破解的关卡时查阅该模型以寻求突破。数据集通过持续同步机制，将世界模型每次结晶化的中间产物实时推送至仓库，从而完整记录了从探索到求解的每一帧演化历程。配套数据集arc-agi3-ls20-agent-trajectories可互为参照。

使用方法

使用者可通过sessions_index.json按录制会话定位帧级录制数据，或借助traces目录获取子代理逐动作推理解释。通关脚本存放于solutions/replay目录，便于复现或对比不同策略。world-model预测账本predictions.jsonl记录了每次模型咨询的置信度与后续验证结果，适合用于分析代理的反思与修正行为。研究者还可利用仓库git提交历史追溯同一游戏的前后会话记录，以开展时序演化或状态迁移分析。

背景与挑战

背景概述

在通用人工智能（AGI）研究领域，抽象推理能力的评估一直是核心挑战之一。ARC-AGI（Abstraction and Reasoning Corpus）基准测试旨在衡量智能体在没有预先训练的情况下，通过少量示例理解并应用抽象规则的能力。该数据集由ShokuhouMisak1等研究人员创建，聚焦于ARC-AGI-3游戏中的特定关卡（wa30），其核心研究问题在于探究大型语言模型（LLM）智能体如何通过构建结构化世界模型来提升泛化性能。该数据集记录了Claude智能体在游戏过程中的完整轨迹，包括推理痕迹、世界模型演变及决策日志，为研究人机交互中的瞬时推理与知识结晶提供了珍贵资源，对推动基于世界模型的智能体评估与开发具有重要意义。

当前挑战

该数据集所解决的领域问题在于克服LLM智能体在抽象推理任务中的泛化瓶颈，具体挑战包括：1) 智能体需从冷启动探索中迅速构建有效的世界模型，以应对非对称奖励和稀疏反馈环境；2) 轨迹数据中包含多层代理的推理与行动记录，如何从交织的决策流中分离因果链，并评估世界模型对后续决策的实际贡献。构建过程中面临的挑战则包括：1) 实时同步智能体每一步的认知结晶，确保日志框架能无损捕获推理间隙与死亡修复；2) 设计层级化存储结构，在保持原子操作可溯源的同时，避免因代理切换导致的语义断层，从而支持后续的逆向推理与鲁棒性分析。

常用场景

经典使用场景

在人工智能与强化学习交叉领域，ARC-AGI-3 wa30 Agent Trajectories数据集为研究者提供了LLM智能体在复杂游戏环境下的行为轨迹数据。其经典使用场景聚焦于智能体在探索与利用之间的动态平衡，通过记录智能体构建结构化世界模型（Agent-Native Research Artifact）的完整过程，研究人员能够深入分析智能体如何逐步建立对游戏机制的理解，以及如何利用这一内部模型解决无法通过纯粹探索破解的难题。该数据集包含每帧级别的动作记录与推理链条，使得细粒度的行为分析成为可能。

解决学术问题

该数据集有效解决了智能体在抽象推理任务中如何构建并运用世界模型这一学术难题。通过记录智能体从零开始探索到最终通关的完整认知过程，研究者能够追踪世界模型的结晶化路径，分析复杂度逐步增长的内部表征，为认知架构研究提供实证基础。数据集还揭示了智能体在遭遇瓶颈时的决策机制，为探究元认知与自我反思能力在智能体学习中的作用提供了珍贵素材。这些记录对于理解大型语言模型在任务推理中的局限性，以及如何通过外部记忆模块增强其泛化能力具有指导意义。

实际应用

在实际应用层面，该数据集可直接服务于智能体评估基准的构建。开发者可利用其中包含的智力需求水平标记（L<n>-cleared）的快照，设计有针对性的能力测试，评估不同模型在特定认知阶段的性能表现。数据集中记录的智能体操作延迟、死亡原因分析等信息，可用于提升游戏AI的鲁棒性，优化决策效率。同时，完整的行为轨迹为工业界开发可交互、自适应的智能助手提供了蓝图，特别是在需要持续学习与动态规划的场景中，如机器人导航、自动化推理系统等。

数据集最近研究

最新研究方向

该数据集聚焦于大语言模型智能体在抽象视觉推理任务中的结构化世界模型构建与实时推理追踪，是ARC-AGI-3竞赛框架下“世界模型即智能体原生研究工件”范式的具体实践。前沿方向包括利用Claude等LLM驱动智能体，通过文件中继机制动态生成并迭代更新“代理原生研究工件”，从而在类人抽象推理游戏中完成从冷启动探索到结构化求解的跃迁。该数据集通过细粒度动作推理轨迹、世界模型结晶日志与关卡级胜场回放，为评估智能体在未知规则空间的元认知能力、多子代理协作机制以及世界模型稳定性提供了可复现基准。其与同期发布的另一数据集共同构成智能体泛化实验的对照样本，对理解LLM在具身推理与持续学习中的角色具有重要实证价值。