arc-agi3-su15-agent-trajectories

ARC-AGI-3 su15智能体轨迹数据集记录了大型语言模型智能体（基于Claude Code驱动文件中继工具）在玩ARC-AGI-3游戏su15时的完整游戏过程轨迹。该数据集是ARA-as-world-model泛化实验的一部分，智能体在游戏过程中实时构建结构化世界模型（称为Agent-Native Research Artifact），并在无法通过冷探索解决关卡时咨询该模型以破解关卡。数据集包含多个组成部分：智能体的世界模型和推理轨迹（位于reasoning/ara-su15/目录）、每个子智能体的动作-推理轨迹（位于traces/目录，每行动作对应一个JSON行并包含原因说明）、解决方案状态快照（位于solutions/GAME.md）、每关获胜动作脚本（位于solutions/replay/目录）、会话级别的帧级录制（位于recordings/目录）、跨运行的回合级剧集日志（位于episodes/目录）、工具日志和自由格式会话笔记（位于logs/目录）、ARC API计分卡（scorecards/目录）、世界模型预测账本（predictions.jsonl文件）、游戏统计数据和ARA增长曲线（位于accounting/目录）以及消融/展示工件（位于demo/目录）。数据集在游戏过程中持续同步，每次世界模型的结晶都会推送至此。仓库标签L<n>-cleared标记了每个关卡通关时的完整记录，为下游智能体评估实验提供准备就绪的快照。从录制和轨迹中可以推导出审议时间、死亡分析和意外分析等信息。The ARC-AGI-3 su15 agent trajectory dataset records the complete game process trajectory of a large language model agent (driven by Claude Code with a file relay tool) while playing the ARC-AGI-3 game su15. This dataset is part of the ARA-as-world-model generalization experiment, where the agent constructs a structured world model (called Agent-Native Research Artifact) in real-time during gameplay and consults it to solve levels when cold exploration fails. The dataset includes multiple components: the agents world model and reasoning trajectories (in reasoning/ara-su15/), action-reasoning trajectories for each sub-agent (in traces/, with each action corresponding to a JSON line and including explanations), solution state snapshots (in solutions/GAME.md), winning action scripts per level (in solutions/replay/), session-level frame recordings (in recordings/), cross-run turn-level episode logs (in episodes/), tool logs and free-form session notes (in logs/), ARC API scorecards (in scorecards/), world model prediction ledger (predictions.jsonl), game statistics and ARA growth curves (in accounting/), and ablation/demonstration artifacts (in demo/). The dataset is continuously synchronized during gameplay, with each crystallization of the world model pushed here. Repository tags L<n>-cleared mark complete records at each level clearance, providing ready snapshots for downstream agent evaluation experiments. Information such as deliberation time, death analysis, and surprise analysis can be derived from the recordings and trajectories.

原始信息汇总

数据集概述

该数据集记录了LLM智能体（基于Claude Code驱动的文件中继框架）在ARC-AGI-3游戏su15关卡中的完整游戏轨迹。这是ARA（Agent-Native Research Artifact）作为世界模型泛化实验的一部分：智能体在游戏过程中实时构建结构化世界模型，并在无法通过冷探索解决关卡时查阅该模型。

数据集结构

数据集根目录包含以下内容：

路径	说明
reasoning/ara-su15/	智能体的世界模型及推理轨迹（含logic/、trace/、staging/子目录）
traces/	每个子智能体的动作-推理轨迹，每行JSON记录一个动作及原因
solutions/GAME.md	游戏状态快照：进度、机制、难点、搁置原因
solutions/replay/	每个关卡的制胜动作脚本（文件名为L<n>.txt）
recordings/	帧级录制文件，一个会话一个文件（格式：<game>-<hash>.<agent>.<guid>.recording.jsonl）
episodes/	回合级日志（跨运行拼接）
logs/	框架日志 + 自由格式会话笔记（Git历史保存先前会话）
scorecards/	ARC API成绩卡（如保存）
predictions.jsonl	世界模型预测记录：查询内容+置信度+后续判定
accounting/	游戏分类账（token/步数）、指标部分、ARA增长曲线
demo/	消融/展示工件（如存在）
sessions_index.json	每个录制会话一个条目（智能体、GUID、帧数、最终状态）
manifest.json	来源信息：智能体模型、仓库提交、协议哈希、同步时间

关键特征

• 持续同步：游戏过程中每次向世界模型的“结晶化”行为都会同步至此数据集。
• 版本标签：仓库使用L<n>-cleared标签标记每个关卡通关时的完整记录快照，可用于下游智能体评估实验。
• 可导出分析：从录制文件+轨迹中可推导出决策时间间隔、死亡分析及惊喜度分析（无需单独存储）。
• 关联数据集：配套数据集为arc-agi3-ls20-agent-trajectories。

数据集元数据

• 许可证：CC-BY-4.0
• 任务类别：强化学习、其他
• 语言：英语
• 标签：arc-agi、arc-agi-3、agent-trajectories、game-playing、llm-agent、world-model、claude
• 正式名称：ARC-AGI-3 su15 Agent Trajectories

搜集汇总

数据集介绍

构建方式

该数据集源自一项关于大型语言模型智能体在ARC-AGI-3游戏中构建结构化世界模型的泛化实验。数据采集通过Claude Code驱动的文件中继框架持续进行，在智能体游戏过程中实时同步生成。每次智能体对世界模型进行‘结晶化’操作时，数据便推送至存储库。数据集的布局清晰，包含智能体世界模型与推理轨迹、子智能体动作推理记录、每关获胜动作脚本、帧级录制文件、回合级日志、评分卡、预测账本以及实验会话索引等多元模块，完整捕捉了智能体从冷探索到借助世界模型破解难题的全过程。

特点

该数据集以高保真度记录了智能体在复杂推理游戏中的全链路行为轨迹。其核心特点在于提供了实时同步的、包含‘为什么’决策依据的动作推理轨迹，以及世界模型预测账本，支持对智能体内部认知过程的细粒度剖析。数据集还通过语义标签（如`L<n>-cleared`）标记每关通关后的完整快照，便于下游智能体评估实验进行holdout-ready采样。此外，帧级录制与回合级日志的并存设计，使得研究者能够推导出智能体的决策时间间隔、死亡原因分析等额外洞见，无需依赖独立存储。

使用方法

该数据集适用于智能体推理能力评估、世界模型学习效果验证以及强化学习环境下的行为分析等研究场景。使用者可通过加载`traces/`目录下的JSON行文件解析每个动作的推理链，结合`recordings/`中的帧级录制文件回放智能体完整游戏进程。`predictions.jsonl`文件提供了世界模型预测置信度与后续验证结果的对照，可用于评估智能体自我纠错能力。为便于复现实验，`solutions/replay/`目录下的获胜动作脚本可供基准测试，而`sessions_index.json`则提供了不同版本智能体行为数据的索引入口，支持高效的跨会话对比分析。

背景与挑战

背景概述

ARC-AGI-3 su15 Agent Trajectories数据集由研究机构于2025年创建，聚焦于大型语言模型（LLM）在抽象推理任务中的泛化能力。该数据集源于ARC-AGI-3竞赛，旨在评估AI系统在未见过的视觉推理谜题上的表现，其核心研究问题在于探究LLM代理如何通过构建结构化世界模型（如Agent-Native Research Artifact）来破解复杂游戏关卡。通过记录Claude Code驱动的代理在游戏play过程中的完整轨迹，该数据集为理解AI的逐步推理、策略适应和错误恢复提供了珍贵素材，对强化学习、世界模型构建及智能体评估领域具有里程碑式的影响力。

当前挑战

该数据集解决的核心领域挑战在于抽象推理中的泛化难题，即AI需从有限探索中推断出可迁移的规则，而非依赖记忆模式。构建过程中遭遇多重挑战：首先，为确保轨迹完整反映代理的实时认知状态，需同步记录其世界模型结晶过程，这对数据采集的连续性和一致性提出严苛要求；其次，如何量化代理的决策延迟（如动作间隔）、死亡原因及突发现象，需从海量录制中推导衍生指标，增加了数据处理复杂；最后，保持每个关卡清关快照的复用性以支撑下游评估，要求严格的数据版本控制和元数据结构化，显著提升了工程实现难度。

常用场景

经典使用场景

arc-agi3-su15-agent-trajectories数据集以其精细的结构化轨迹数据，成为LLM智能体在抽象推理与博弈场景中行为研究的首选资源。该数据集记录了Claude代码驱动的文件中继框架在ARC-AGI-3游戏su15关卡中的完整游玩历程，包含从原始探索到构建结构化世界模型的实时认知演化过程。研究者可借此剖析智能体如何通过逐步推理、模型内化与策略调整来破解复杂谜题，是探索智能体内部决策机制、模型构建效率与错误恢复能力的理想测试平台。

解决学术问题

该数据集有效解决了智能体研究中‘黑箱推理’与‘模型泛化’两大核心难题。通过记录智能体在实时游戏中构建ARA（Agent-Native Research Artifact）这一结构化世界模型的完整轨迹，它为研究智能体如何从零散经验中提炼抽象规则、在未知场景下迁移知识提供了透明化分析窗口。其snapshot机制设计的L<n>-cleared标签，更支撑了针对智能体在不同任务阶段表现差异的对比分析，为评估模型在持续学习环境中的鲁棒性与适应能力奠定了数据基础。

衍生相关工作

该数据集衍生出一系列聚焦于智能体世界模型构建与元认知能力的开创性工作。例如，基于其同步记录的世界模型结晶过程，研究者提出了‘认知脚手架’理论，揭示了结构化推理在复杂任务解谜中的倍增效应。此外，companion数据集arc-agi3-ls20-agent-trajectories的联合使用，催生了跨任务泛化性能的基准测试框架，并为探索语言模型在博弈场景中的‘顿悟时刻’机制提供了关键数据支撑。这些工作共同推动了智能体从被动反应向主动推理范式的深刻转型。