arc-agi3-ka59-agent-trajectories

ARC-AGI-3 ka59 代理轨迹数据集包含来自大型语言模型（LLM）代理（使用Claude Code驱动文件中继工具）玩ARC-AGI-3游戏ka59的完整游戏轨迹，作为ARA-as-world-model泛化实验的一部分。该代理在游戏过程中实时构建结构化世界模型（称为Agent-Native Research Artifact，ARA），并利用该模型解决无法通过初始探索破解的关卡。数据集在游戏过程中持续同步更新，每次世界模型固化时都会更新。数据内容涵盖多个方面：代理的世界模型和推理跟踪（位于reasoning/目录）；每个子代理的动作-推理跟踪，以每行JSON格式记录动作及其原因（traces/目录）；游戏进度快照、机制分析和获胜动作脚本（solutions/目录）；会话级的帧记录（recordings/目录）；回合级事件日志（episodes/目录）；工具日志和自由形式会话笔记（logs/目录）；ARC API记分卡（scorecards/目录）；世界模型预测账本，包含咨询置信度和后续验证（predictions.jsonl文件）；游戏的资源使用指标和ARA增长曲线（accounting/目录）；以及消融或展示工件（demo/目录）。此外，数据集包括会话索引（sessions_index.json）和来源清单（manifest.json），后者记录代理模型、仓库提交、协议哈希和同步时间等信息。仓库标签L<n>-cleared标记了每个关卡清除时的完整记录快照，适用于下游代理评估实验。数据集适用于强化学习、游戏玩法分析、LLM代理行为研究、世界模型构建和任务泛化等任务，但未明确指定样本数量或模态细节。

The ARC-AGI-3 ka59 agent trajectory dataset contains complete game trajectories from a large language model (LLM) agent (Claude Code-driven file relay tool) playing the ARC-AGI-3 game ka59, as part of the ARA-as-world-model generalization experiment. The agent constructs a structured world model (called Agent-Native Research Artifact, ARA) in real-time during gameplay and uses it to solve levels that cannot be cracked through initial exploration. The dataset is continuously synchronized during gameplay, updated each time the world model solidifies. The data covers multiple aspects: the agents world model and reasoning traces (in the reasoning/ directory); action-reasoning traces for each sub-agent, recorded in per-line JSON format with actions and their reasons (traces/ directory); game progress snapshots, mechanism analysis, and winning action scripts (solutions/ directory); session-level frame recordings (recordings/ directory); turn-level event logs (episodes/ directory); tool logs and free-form session notes (logs/ directory); ARC API scorecards (scorecards/ directory); world model prediction ledgers with consultation confidence and subsequent validation (predictions.jsonl file); resource usage metrics for the game and ARA growth curves (accounting/ directory); and ablation or demonstration artifacts (demo/ directory). Additionally, the dataset includes a session index (sessions_index.json) and a provenance manifest (manifest.json), which records information such as the agent model, repository commits, protocol hashes, and synchronization times. Repository tags L<n>-cleared mark complete recording snapshots at each level clearance, suitable for downstream agent evaluation experiments. The dataset is applicable for tasks like reinforcement learning, gameplay analysis, LLM agent behavior research, world model construction, and task generalization, but does not explicitly specify sample counts or modality details.

原始信息汇总

数据集概述

数据集名称：ARC-AGI-3 ka59 — Agent Trajectories

许可证：CC-BY-4.0

语言：英语

任务类别：强化学习、其他

标签：ARC-AGI, ARC-AGI-3, 智能体轨迹, 游戏玩法, 大语言模型智能体, 世界模型, Claude

数据集描述： 该数据集包含一个LLM智能体（由Claude Code驱动的文件中继框架）在玩ARC-AGI-3游戏ka59时的游戏轨迹。这些轨迹属于ARA作为世界模型的泛化实验的一部分。智能体在游戏过程中实时构建结构化的世界模型（Agent-Native Research Artifact），并在无法通过冷探索解决的关卡中参考该模型。配套数据集为：arc-agi3-ls20-agent-trajectories。数据在游戏过程中持续同步——每次世界模型的具体化都会触发推送。

数据集结构：

• reasoning/ara-ka59/：智能体的世界模型及推理轨迹（包含logic/、trace/、staging/子目录）
• traces/：每个子智能体的动作-推理轨迹，每行一个JSON动作及原因说明
• solutions/GAME.md：状态快照，包含进度、机制、陷阱、暂停原因
• solutions/replay/：每个关卡的获胜动作脚本（L<n>.txt）
• recordings/：按帧的记录，每个会话一个文件（<game>-<hash>.<agent>.<guid>.recording.jsonl）
• episodes/：回合级的情节日志（跨运行拼接）
• logs/：框架日志及自由形式的会话笔记（git历史保留之前的会话）
• scorecards/：ARC API评分卡（保存时）
• predictions.jsonl：世界模型预测记录，包含置信度及后续判定
• accounting/：该游戏的分类账行（令牌/步骤）、指标部分、ARA增长曲线
• demo/：消融/展示工件（当游戏有时）
• sessions_index.json：每个记录会话的条目（智能体、GUID、帧数、最终状态）
• manifest.json：来源信息，包括智能体模型、仓库提交、协议哈希、同步时间

其他信息： 仓库标签 L<n>-cleared 标记每个关卡通关时的完整记录，可作为下游智能体评估实验的持出快照。智能体决策时间（动作间间隔）、死亡分析及意外分析可从记录和轨迹中推导，未单独存储。

搜集汇总

数据集介绍

构建方式

本数据集源自一个由Claude Code驱动的文件接力框架，记录了智能体在ARC-AGI-3游戏ka59关卡中的完整游戏轨迹。在游戏过程中，智能体实时构建结构化的世界模型（即Agent-Native Research Artifact），并借助该模型破解冷探索无法解决的谜题。数据采集采用连续同步机制，每当世界模型发生结晶更新时，数据便被推送至仓库。数据集以多层级目录结构组织，涵盖推理痕迹、子智能体动作追踪、关卡解决方案、帧级录制、回合制日志以及得分卡等丰富内容。

使用方法

研究者可通过解析traces目录下每行JSON格式的动作推理轨迹，还原智能体的决策逻辑。帧级录制文件记录于recordings目录，支持按会话粒度重放游戏过程。对于需要评估智能体泛化能力的实验，可直接引用标记为L<n>-cleared的通关快照作为评估集。同行数据集arc-agi3-ls20-agent-trajectories提供了对比基线。此外，通过分析recordings与traces中的帧间延迟和死亡统计，可衍生出智能体决策时序分析、失败模式归因等高级研究议题。

背景与挑战

背景概述

ARC-AGI-3 ka59 Agent Trajectories数据集由研究机构于2025年创建，聚焦于大语言模型代理在抽象推理领域中的世界模型构建与泛化能力评估。该数据集记录了Claude Code驱动的智能体在ARC-AGI-3游戏ka59关卡中的完整交互轨迹，涵盖推理痕迹、世界模型结晶过程及决策日志。作为“ARA作为世界模型”泛化实验的一部分，其核心研究问题在于探索代理能否通过在线构建结构化世界模型（即Agent-Native Research Artifact）来破解无法通过冷探索解决的谜题。该数据集为强化学习与LLM代理研究提供了细粒度的行为数据，对理解代理的规划、记忆与推理机制具有重要价值，推动了抽象推理与通用人工智能交叉领域的发展。

当前挑战

该数据集主要应对两大挑战。领域问题层面，ARC-AGI-3游戏要求代理具备类人抽象推理能力，能从有限样本中归纳规则并泛化至全新场景，这对当前依赖海量数据训练的模型构成根本性挑战，传统方法难以在未知任务中灵活组合认知原语。构建过程层面，数据采集需同步记录代理的实时世界模型更新、多级推理痕迹及帧级交互状态，面临高保真同步与海量非结构化数据管理的难题；同时，需确保轨迹的可复现性与评估公平性，避免代理依赖偶然路径解锁关卡，这要求设计精密的日志记录协议与版本控制机制，以支撑后续的消融实验与代理评估。

常用场景

经典使用场景

该数据集的核心应用在于记录并复现一个大型语言模型智能体（Claude Code驱动文件中继架构）在ARC-AGI-3游戏环境中逐步构建结构化世界模型（即Agent-Native Research Artifact）的完整轨迹。研究者可借此剖析智能体在复杂推理任务中的认知演化过程，包括其如何从冷启动探索过渡到借助世界模型破解难题。数据集按动作粒度同步录制了推理痕迹、世界模型结晶过程以及胜负层次状态快照，为强化学习与智能体行为克隆提供了高质量的多模态训练与评估素材。

解决学术问题

该数据集精准回应了智能体在开放世界游戏中如何实现自主推理与泛化能力这一核心学术挑战。传统方法常受限于静态训练或预设策略，而本数据集通过记录世界模型的动态构建与实时查询过程，揭示了智能体在面对未知机制时如何运用结构化知识进行决策与反思。其保存的 deliberation timing（动作间延时）、死亡前因分析以及意外探索轨迹，为研究智能体元认知、计划能力与鲁棒性提供了量化视角，推动了世界模型作为通用推理框架在复杂任务中的理论验证与实证基础构建。

实际应用

在实际工业与工程场景中，该数据集可服务于需要复杂推理与自适应决策的系统开发，例如自动化游戏测试、教育类AI助教以及模拟环境中的机器人策略规划。通过模仿数据集中智能体的世界模型构建与迭代模式，工程师能够训练出更擅长处理未知情境的智能体，减少对预制规则的依赖。此外，其细粒度的回合日志与记录帧可作为基准测试工具，用于评估不同LLM架构或世界模型设计在长程规划、信息整合与容错恢复方面的实际表现。

数据集最近研究

最新研究方向

该数据集聚焦于大语言模型驱动的智能体在ARC-AGI-3抽象推理游戏中的行为轨迹与结构化世界模型构建，前沿方向涵盖智能体认知架构的动态演化与元认知机制。通过实时同步智能体的推理痕迹、行动决策与模型晶体化过程，研究者能够深入剖析Claude等LLM在复杂谜题场景中如何利用世界模型进行跨层次的抽象归纳与策略迁移。这一数据资源为探索面向通用人工智能的自主规划、试错纠错及少样本泛化提供了可复现的实证基础，尤其对理解智能体内部推理链与外部环境交互的耦合关系具有里程碑意义。