deep-swe-codex-cli

# DeepSWE：多种 coding agent harness 的运行结果与完整轨迹 本数据集收录 2026 年 10 月 23 日至 28 日在 DeepSWE（113 题）上的实验，以及一组 12 题试验。运行档案包括保留的尝试、评分记录、补丁、token 统计和轨迹；作废尝试不收录，作废决定保留在记录中。 - **gpt-6.1-sol high**：第 1–8、11–16 组为完整 113 题实验，第 17 组为 12 题配对试验；涵盖 Bash、OpenCode、SWE-agent、CodeStruct 和 SymRepo。 - **gpt-6-luna**：第 9–10 组为 Bash 和 CP55，各跑两次。 第 17 组在 `MANIFEST.json` 的 `conditions` 下保存两种条件；`attempts.csv` 的 `repetition` 列对应 `cp62` 或 `cp61-control`，不表示同一种方法的重复运行。 第 15、16 组比较的是完整系统，包括各自的 harness、工具和提示词，不能单独归因于某个工具。CodeStruct 正式运行的请求统计尚待核对：6,810 次请求中 14 次在规则 3 下未解释（10 次本地 WebSocket 连接失败返回 502，4 次流中断且无终止事件）；已记录 token 为输入 170.8M、输出 1.76M。`repo_state/` 单独保存各运行中存在的仓库状态，`aux/` 保存其他未作废的开发与检查运行，不计入正式结果表。 ## 1. 完整结果与资源统计 以下统计只使用各组按既定重试规则选定的 primary 尝试；不按分数挑选尝试。`results/attempt_stats.csv` 则包含 2,179 条保留尝试记录及 primary 标记，含非 primary 重试、CodeStruct smoke 和第 17 组的两种条件；作废尝试、`aux/` 开发根目录、Verified 和 Terra 不进入该表。 ### 1.1 Sol high：第 1–8 组 对照为第 1 组 Bash，N1 口径；这些历史运行并非同一时段。 | 组 / 方法 | 题数 | N1 解出 | token 总量 M | 每题均值 k | 每题中位 k | 输入 M | 输出 M | 缓存 / 输入 | 请求中位 | 工具调用中位 | 耗时中位 min | 相对 Bash 独胜 : 独负；p | |---|---:|---:|---:|---:|---:|---:|---:|---:|---:|---:|---:|---:| | 1 Bash Sol (10-23) | 113 | 83 | 112.274 | 993.6 | 677.0 | 109.988 | 2.286 | 93.3% | —† | 22.0 | 13.20 | — | | 2 OpenCode Sol | 113 | 78 | 215.245 | 1,904.8 | 1,583.3 | 212.791 | 2.454 | 96.2% | 31.0 | 60.0 | 13.50 | 5 : 10；0.302 | | 3 SWE-agent Sol | 113 | 81 | 78.475 | 694.5 | 584.0 | 77.038 | 1.437 | 91.9% | 22.0 | 22.0 | 11.93 | 9 : 11；0.824 | | 4 SymRepo CP54 | 113 | 85 | 247.724 | 2,192.3 | 1,660.2 | 245.461 | 2.263 | 96.2% | —† | 61.0 | 16.84 | 8 : 6；0.791 | | 5 SymRepo CP55 | 113 | 84 | 108.613 | 961.2 | 755.1 | 106.143 | 2.470 | 93.1% | —† | 20.0 | 17.80 | 7 : 6；1.000 | | 6 SymRepo CP56 | 113 | 88 | 110.091 | 974.3 | 737.3 | 107.488 | 2.602 | 94.1% | —† | 20.0 | 17.82 | 8 : 3；0.227 | | 7 CP59 run_action | 113 | 90 | 89.359 | 790.8 | 635.9 | 87.359 | 2.000 | 91.6% | —† | 18.0 | 16.37 | 10 : 3；0.092 | | 8 CP59 three_action | 113 | 77 | 93.478 | 827.2 | 705.1 | 91.428 | 2.049 | 91.9% | —† | 19.0 | 15.99 | 4 : 10；0.180 | ### 1.2 Luna：第 9–10 组 每次运行分别列出。CP55 r1/r2 分别与 Bash Luna r1/r2 配对，不与 Sol 混比。 | 组 / 方法 | 题数 | N1 解出 | token 总量 M | 每题均值 k | 每题中位 k | 输入 M | 输出 M | 缓存 / 输入 | 请求中位 | 工具调用中位 | 耗时中位 min | 相对 Bash 独胜 : 独负；p | |---|---:|---:|---:|---:|---:|---:|---:|---:|---:|---:|---:|---:| | 9 Bash Luna r1 | 113 | 14 | 42.577 | 376.8 | 305.7 | 41.833 | 0.744 | 90.3% | —† | 19.0 | 5.26 | — | | 9 Bash Luna r2 | 113 | 10 | 39.264 | 347.5 | 285.8 | 37.907 | 1.358 | 89.4% | —† | 19.0 | 5.52 | — | | 10 CP55 Luna r1 | 113 | 11 | 54.493 | 482.2 | 381.4 | 53.622 | 0.871 | 91.3% | —† | 21.0 | 6.42 | 7 : 10；0.629 | | 10 CP55 Luna r2 | 113 | 6 | 60.010 | 531.1 | 431.4 | 59.124 | 0.886 | 91.6% | —† | 24.0 | 6.51 | 3 : 7；0.344 | ### 1.3 Sol high：第 11–17 组 第 11–16 组对照为第 14 组 Bash 10-28。第 17 组仅 12 题，表中与第 14 组在这同一 12 题上比较；不是 113 题结果。 | 组 / 方法 | 题数 | N1 解出 | token 总量 M | 每题均值 k | 每题中位 k | 输入 M | 输出 M | 缓存 / 输入 | 请求中位 | 工具调用中位 | 耗时中位 min | 相对 Bash 独胜 : 独负；p | |---|---:|---:|---:|---:|---:|---:|---:|---:|---:|---:|---:|---:| | 11 CP59-R 重跑 | 113 | 81 | 85.669 | 758.1 | 616.8 | 83.695 | 1.974 | 92.3% | —† | 17.0 | 14.82 | 2 : 6；0.289 | | 12 CP60 | 113 | 80 | 86.733 | 767.5 | 611.6 | 84.775 | 1.958 | 92.4% | —† | 18.0 | 14.79 | 2 : 7；0.180 | | 13 CP61 首次 | 113 | 84 | 93.418 | 826.7 | 610.8 | 91.364 | 2.054 | 92.3% | —† | 18.0 | 14.17 | 7 : 8；1.000 | | 14 Bash Sol (10-28) | 113 | 85 | 104.138 | 921.6 | 670.8 | 101.931 | 2.207 | 93.9% | —† | 22.0 | 13.12 | — | | 15 CP61 同期 CodeStruct | 113 | 86 | 91.084 | 806.1 | 626.0 | 89.062 | 2.022 | 92.3% | —† | 18.0 | 16.49 | 4 : 3；1.000 | | 16 CodeStruct | 113 | 81 | 172.589 | 1,527.3 | 1,246.0 | 170.827 | 1.762 | 95.1% | 56.0 | 56.0 | 19.89 | 4 : 8；0.388 | | 17 CP62 试验 | 12 | 5 | 8.063 | 671.9 | 513.3 | 7.835 | 0.228 | 92.7% | —† | 15.5 | 13.64 | 1 : 3；0.625 | | 17 CP61 配对控制 | 12 | 8 | 7.518 | 626.5 | 496.3 | 7.308 | 0.209 | 90.7% | —† | 15.5 | 12.91 | 2 : 1；1.000 | 第 17 组直接配对：CP62 解出 5/12，CP61 控制解出 8/12；仅 CP62 解出 0 题，仅 CP61 解出 3 题，双侧 McNemar 精确 p = 0.250。 ### 1.4 定义与记录范围 - **N1 解出**：采用原发布清单的 selected-primary N1 重评分修订。没有有效官方得分的失败尝试计入未解出，同时在 CSV 保留空 `score_reward` 和原始状态；不伪造官方 0 分。 - **token**：输入包含缓存命中的输入；缓存占比 = 缓存输入之和 / 输入之和。输出包含 reasoning token；reasoning 不再加到总量上。M = 10⁶，k = 10³。CSV 分列保存总量、输入、缓存输入、输出和 reasoning。所有 primary 尝试都有 token、工具调用和 worker 耗时记录。 - **请求（†）**：原生 Codex CLI 档案的 `llm_calls` 为 null，未记录可确认的实际模型请求数，因此显示 —，CSV 留空。`native_usage_updates` 和 `native_model_turns` 另列，不能冒充模型请求。OpenCode、SWE-agent、CodeStruct 使用已记录的 transport request 数；admitted request 另列。 - **工具调用**：使用 `summary.tool_counts`，一批 batch 计一次调用，不把其中的 edit/view 子操作重复加到调用数。CSV 保留原始工具/动作计数字典和逐标签列，也另存已记录的 batch 子操作计数。计数包含失败尝试；SWE-agent 的标签还可能是 shell 命令首词或解析错误标签，不能视为各 harness 完全同构的 API 工具名。 - **耗时**：统一为 worker `finished_at - started_at`，包括该尝试的准备、执行和评分时间；不含排队时间。单独的 agent/native 执行耗时另列，未与 worker 耗时混算。 - **独胜 : 独负**：同题配对后“仅本组解出 : 仅基线解出”；p 为双侧 McNemar 精确检验。原始逐题结果、分组计数和覆盖率见 `results/arm_metrics.json`。 - **CodeStruct**：172,589,114 tokens 是记录到的用量，不包含未报告用量的估计。6,810 次 admitted 请求中，规则 3 下仍有 14 次未解释：10 次本地 WebSocket 连接失败返回 502，4 次流中断且没有终止事件。已记录输入 170,827,428、输出 1,761,686。 - **解释范围**：全部 113 题均有开发暴露；同代码重跑可出现结果差异。第 15/16 组是完整系统比较（harness、工具和提示词都可能不同），不能单独归因于 CodeStruct 工具。Terra 将在独立更新中加入。 字段来源（路径均相对于每次尝试的 `summary.json`）： | 指标 | 原生 Codex CLI | OpenCode / SWE-agent / CodeStruct | |---|---|---| | token 总量 | `token_usage.total.totalTokens` | `token_usage.total_tokens` | | 输入 / 缓存输入 | `token_usage.total.inputTokens` / `cachedInputTokens` | `token_usage.input_tokens` / `cached_input_tokens` | | 输出 / reasoning | `token_usage.total.outputTokens` / `reasoningOutputTokens` | `token_usage.output_tokens` / `reasoning_tokens` | | 模型请求 | `llm_calls` 未记录（null） | `token_usage.requests`；`admitted_requests` 不混入 | | 工具调用 | `tool_counts` 各项及其合计 | `tool_counts` 各项及其合计 | | worker 耗时 | `finished_at - started_at` | `finished_at - started_at` | | 解出 / N1 | `score.rewards.reward`；primary 的 N1 修订来自 `results/MANIFEST.json` 中各组的 `n1` | 同左 | 均值、中位数和缓存占比都从上述字段按 primary 行计算；primary 选择沿用 `results/attempts.csv` 的 `counts`。独胜/独负和语言统计使用相同的 N1 结果。 ### 1.5 按语言的 N1 结果 单元格为“解出 / 该语言题数”；使用 `results/inputs/languages_corrected.json` 的既定标签。第 17 组分母仅为其 12 题子集。 | 组 / 方法 | Go | Python | TypeScript | Rust | JavaScript | |---|---:|---:|---:|---:|---:| | 1 Bash Sol (10-23) | 25 / 35 | 28 / 34 | 22 / 34 | 4 / 5 | 4 / 5 | | 2 OpenCode Sol | 24 / 35 | 26 / 34 | 20 / 34 | 4 / 5 | 4 / 5 | | 3 SWE-agent Sol | 26 / 35 | 26 / 34 | 22 / 34 | 4 / 5 | 3 / 5 | | 4 SymRepo CP54 | 28 / 35 | 27 / 34 | 22 / 34 | 4 / 5 | 4 / 5 | | 5 SymRepo CP55 | 29 / 35 | 24 / 34 | 23 / 34 | 4 / 5 | 4 / 5 | | 6 SymRepo CP56 | 30 / 35 | 27 / 34 | 23 / 34 | 4 / 5 | 4 / 5 | | 7 CP59 run_action | 28 / 35 | 28 / 34 | 26 / 34 | 4 / 5 | 4 / 5 | | 8 CP59 three_action | 24 / 35 | 26 / 34 | 20 / 34 | 4 / 5 | 3 / 5 | | 9 Bash Luna r1 | 6 / 35 | 4 / 34 | 4 / 34 | 0 / 5 | 0 / 5 | | 9 Bash Luna r2 | 3 / 35 | 4 / 34 | 3 / 34 | 0 / 5 | 0 / 5 | | 10 CP55 Luna r1 | 4 / 35 | 2 / 34 | 5 / 34 | 0 / 5 | 0 / 5 | | 10 CP55 Luna r2 | 3 / 35 | 0 / 34 | 3 / 34 | 0 / 5 | 0 / 5 | | 11 CP59-R 重跑 | 27 / 35 | 26 / 34 | 20 / 34 | 4 / 5 | 4 / 5 | | 12 CP60 | 25 / 35 | 27 / 34 | 20 / 34 | 4 / 5 | 4 / 5 | | 13 CP61 首次 | 26 / 35 | 28 / 34 | 22 / 34 | 4 / 5 | 4 / 5 | | 14 Bash Sol (10-28) | 27 / 35 | 28 / 34 | 22 / 34 | 4 / 5 | 4 / 5 | | 15 CP61 同期 CodeStruct | 29 / 35 | 26 / 34 | 23 / 34 | 4 / 5 | 4 / 5 | | 16 CodeStruct | 27 / 35 | 27 / 34 | 21 / 34 | 3 / 5 | 3 / 5 | | 17 CP62 试验 | 0 / 3 | 2 / 3 | 2 / 4 | 1 / 1 | 0 / 1 | | 17 CP61 配对控制 | 1 / 3 | 2 / 3 | 3 / 4 | 1 / 1 | 1 / 1 | 精确值和计算口径：`results/attempt_stats.csv`、`results/arm_metrics.json`、`results/attempt_stats_schema.md`。 ## 2. 各方法简介 所有组都通过同一条通道调用模型：ChatGPT 账号登录的 Codex 后端，Responses API 走 WebSocket。 | 方法 | 说明 | |---|---| | **Bash** | Codex CLI 0.163.0，只开放一个 bash 工具，命令在题目容器里执行。思路和 mini-swe-agent 相同，是纯 shell 的对照组。本组冻结在提交 7f9143a。 | | **OpenCode 1.19.4** | OpenCode 原生 agent 和工具，配置在 `opencode-config/opencode.json`。题目容器 `--network none`，模型请求经每题一个的网关转发。 | | **SWE-agent 1.1.0** | SWE-agent 加 SWE-ReX 1.2.1，配置用官方的 `anthropic_filemap_multilingual.yaml`，容器设置与 OpenCode 相同。 | | **SymRepo CP54** | 我们开发的结构化仓库工具。Codex CLI 0.163.0 下关闭 shell，只提供一个 `repo` 工具，动作有 view、edit、test。 | | **SymRepo CP55** | 在 CP54 上加入批量调用。调用次数中位数从 61 降到 20，token 降了 56%。 | | **SymRepo CP56** | CP55 的修复版。 | | **SymRepo CP59 run_action** | 动作有 view、edit、test、run。run 在一次性副本容器里执行命令：不联网，最长 600 秒。副本里的改动可以原子地写回工作区。命令跑通只算执行证据，不算测试通过。 | | **SymRepo CP59 three_action** | 与 run_action 是同一份代码的另一个变体。它没有单独的 run，执行命令放在 test 和 edit 里。 | ## 3. 评分口径 ### 3.1 评分 - 用 DeepSWE 官方 verifier 在容器里跑隐藏测试，包括 fail-to-pass（F2P）和 pass-to-pass（P2P）。 - 全部通过才算 reward = 1，否则为 0。 - 评分结果在每题的 `score/` 目录里。 ### 3.2 哪次尝试计入结果 有些题跑了不止一次。每次尝试都收录了，`results/attempts.csv` 的 `counts` 列标出计入结果的那一次。 - **什么情况重跑：** 只有基础设施或服务容量导致的中断才重跑。例如宿主机内存耗尽、容器创建失败，或模型服务返回 "model at capacity" / serverOverloaded。 - **哪次计入：** 第一次没有被这类中断打断的尝试，不论它解没解出。 - **各组依据的规则文件**（都在 `results/records/`）： | 组 | 规则文件 | |---|---| | Bash、CP54（10-23） | `RETRY_CONTRACT.json` 和几个 `*_SELECTION.json` | | CP55、两组 Luna（10-24） | `CP55_FORMAL_RETRY_LEDGER.json` | | CP56 | `CP56_FORMAL_RETRY_LEDGER.json` | | CP59 | `CP59_RETRY_LEDGER.json` | | OpenCode、SWE-agent | 各 run 目录里的 `CONTINUATION.json` | - **10-23 规则的确定时间：** 这次运行的计入规则，是在已知 10 个重试结果之后才确定的。 - **只算第一次尝试时**的结果： - CP59 run_action 82，CP59 three_action 74； - 10-23 那次，CP54 对 Bash 是 76 对 69（只比两组都有第一次尝试的 102 题）。 ### 3.3 N1 修订 - **问题：** eicrud-keyset-pagination-cursor 一题的参考答案，在默认文件句柄上限下也只能得 0 分。 - **修订：** 10-24 起，评分容器的 nofile 提高到 1,048,576（内核上限），这就是 N1 修订。 - **早于修订的组：** Bash-sol、CP54、CP55、CP56 和四次 Luna 运行，用原补丁按 N1 重新评分。证据在 `results/rescore-n1.tar.gz`。 - CP54、CP55、CP56 的这题从 0 变成 1。 - Luna 四次仍是 0。 - Bash 的这题本来就是 1。 - **之后的组：** OpenCode、SWE-agent 和 CP59 一开始就带 N1。 ## 4. 目录结构 ``` README.md results/ MANIFEST.json 每组的 run 目录（所在主机和原始路径）、每题计入的尝试、汇总和按语言统计 per_task.csv 113 行 × 各组：计入那次尝试的 reward（N1 口径），1 解出，0 未解出，空表示没有有效分数 attempts.csv 共 2,179 条尝试记录（含第 16 组 smoke 与第 17 组试验），一次一行（列说明见第 6 节） records/ 各次运行的重试规则、重试台账、CP59 结果与缺陷记录 rescore-n1.tar.gz N1 重新评分的记录（eicrud 一题和参考答案） inputs/ 生成上面几个文件时用到的索引 INDEX.json 10-23 那次运行的索引：Bash 与 CP54 的全部尝试和计入的那次 cp55_attempts.json 10-24 那次运行的全部尝试：CP55-sol 和四次 Luna languages_corrected.json 每题的语言标签 scripts/ build_upload_manifest.py 从原始 run 目录生成 MANIFEST.json 和两个 CSV 的脚本（路径指向原主机，留作出处） arms/ <NN-组名>/<run 目录名>.tar.gz 每个 run 目录打成一个压缩包，解压后是 <run 目录名>/... files/ 运行环境包（2026-10-22～23 迁移机器时上传，早于本次结果，见 4.2 节） images/ 题目与评分用的 Docker 镜像（同上，见 4.2 节） ``` `files/` 和 `images/` 是复现运行环境用的，与上面的结果文件互相独立；只看结果和轨迹的话不需要下载它们。 ### 4.1 每组包含哪些 run 目录 一个 run 目录是一次启动的运行，里面每题一个子目录。"尝试"指 run 目录里的题数，"计入"指其中计入最终结果的题数。 **`arms/01-bash-sol`：Bash，gpt-6.1-sol，10-23。** 计入规则见 `RETRY_CONTRACT.json`。 | run 目录 | 主机 | 尝试 | 计入 | 说明 | |---|---|---|---|---| | `bash-deepswe-xinchen-20261023-014054` | xinchen | 25 | 16 | 第一批，中途停止后迁到其他机器续跑 | | `bash-deepswe-continuation-20261023-043910` | DevBox | 10 | 10 | 续跑 | | `bash-deepswe-continuation-cpu128-20261023-054150` | cpu128 | 78 | 64 | 续跑的主体 | | `bash-deepswe-retry4g-cpu128-20261023-091208` | cpu128 | 21 | 18 | 按规则用 4 GiB 解题内存重跑（`BASH_RETRY_4GIB_SELECTION.json`） | | `bash-deepswe-retry4g-cpu128-20261023-111956` | cpu128 | 2 | 2 | 同上，第二批（`BASH_SECOND_BATCH_SELECTION.json`） | | `bash-deepswe-retry8g-cpu128-20261023-113100` | cpu128 | 3 | 3 | 按规则用 8 GiB 重跑（`BASH_8GIB_SELECTION.json`） | **`arms/02-opencode-sol`：OpenCode 1.19.4，10-25。** | run 目录 | 尝试 | 计入 | 说明 | |---|---|---|---| | `harness-deepswe-opencode-formal-cpu128-20261025-071354` | 8 | 4 | 正式运行开头，模型通道连续出现 12 次握手 403 后暂停 | | `harness-deepswe-opencode-formal2-cpu128-20261025-074241` | 109 | 109 | 续跑，`CONTINUATION.json` 列出在前一段已完成的 4 题 | **`arms/03-sweagent-sol`：SWE-agent 1.1.0，10-25。** | run 目录 | 尝试 | 计入 | 说明 | |---|---|---|---| | `harness-deepswe-sweagent-formal-cpu128-20261025-071354` | 8 | 0 | 与 OpenCode 同一次暂停，这 8 题都在下一段重跑 | | `harness-deepswe-sweagent-formal2-cpu128-20261025-074241` | 76 | 76 | 续跑 | | `harness-deepswe-sweagent-formal3-cpu128-20261025-121417` | 28 | 28 | 续跑。前一段因 onedump 一题的异常结局暂停，经审核认定为最终结果，记录在 `CONTINUATION.json` | | `harness-deepswe-sweagent-formal4-cpu128-20261025-131119` | 9 | 9 | 续跑，原因同上，这次是 termenv 一题 | **`arms/04-symrepo-cp54-sol`：SymRepo CP54，10-23。** 计入规则见 `RETRY_CONTRACT.json`。 | run 目录 | 主机 | 尝试 | 计入 | 说明 | |---|---|---|---|---| | `symrepo-v3-deepswe-cp54-devbox-20261023-044823` | DevBox | 9 | 9 | 第一批 | | `symrepo-v3-deepswe-cp54-cpu128-20261023-054150` | cpu128 | 104 | 92 | 主体 | | `symrepo-v3-deepswe-cp54r-cpu128-20261023-101850` | cpu128 | 12 | 12 | 重跑（`CP54_RETRY_SELECTION.json`） | **`arms/05-symrepo-cp55-sol`：SymRepo CP55，10-24。** 台账见 `CP55_FORMAL_RETRY_LEDGER.json`。 | run 目录 | 尝试 | 计入 | 说明 | |---|---|---|---| | `symrepo-v3-deepswe-cp55-sol-cpu128-20261024-034053` | 113 | 105 | 正式运行 | | `symrepo-v3-deepswe-cp55-sol-retry-cpu128-20261024-115303` | 8 | 6 | 重跑 | | `symrepo-v3-deepswe-cp55-sol-retry-cpu128-20261024-121559` | 1 | 1 | 重跑 | | `symrepo-v3-deepswe-cp55-sol-retry-cpu128-20261024-125917` | 1 | 1 | 重跑 | **`arms/06-symrepo-cp56-sol`：SymRepo CP56，10-25。** 台账见 `CP56_FORMAL_RETRY_LEDGER.json`。 | run 目录 | 尝试 | 计入 | 说明 | |---|---|---|---| | `symrepo-v3-deepswe-cp56-sol-formal-cpu128-20261025-140801` | 113 | 110 | 正式运行 | | `symrepo-v3-deepswe-cp56-sol-retry1-cpu128-20261025-181349` | 3 | 3 | 重跑 | **`arms/07-symrepo-cp59-run_action-sol`：SymRepo CP59 run_action，10-27。** 台账见 `CP59_RETRY_LEDGER.json`。 | run 目录 | 尝试 | 计入 | 说明 | |---|---|---|---| | `symrepo-v3-deepswe-cp59-run_action-formal-cpu128-20261027-044524` | 113 | 103 | 正式运行 | | `symrepo-v3-deepswe-cp59-run_action-retry1-cpu128-20261027-103135` | 8 | 8 | 第一轮重跑 | | `symrepo-v3-deepswe-cp59-run_action-retry2-cpu128-20261027-125927` | 2 | 2 | 补上两道漏掉的容量中断重跑 | **`arms/08-symrepo-cp59-three_action-sol`：SymRepo CP59 three_action，10-27。** 台账见 `CP59_RETRY_LEDGER.json`。 | run 目录 | 尝试 | 计入 | 说明 | |---|---|---|---| | `symrepo-v3-deepswe-cp59-three_action-formal-cpu128-20261027-044619` | 113 | 109 | 正式运行 | | `symrepo-v3-deepswe-cp59-three_action-retry1-cpu128-20261027-085444` | 4 | 3 | 第一轮重跑 | | `symrepo-v3-deepswe-cp59-three_action-retry2-cpu128-20261027-110427` | 1 | 1 | 第一轮里有一题又被宿主机内存耗尽打断，再重跑一次 | **`arms/09-bash-luna`：Bash，gpt-6-luna，10-24。** | run 目录 | 尝试 | 计入 | 说明 | |---|---|---|---| | `bash-deepswe-luna-r1-cpu128-20261024-034053` | 113 | 113 | 第 1 次 | | `bash-deepswe-luna-r2-cpu128-20261024-034053` | 113 | 113 | 第 2 次 | **`arms/10-symrepo-cp55-luna`：SymRepo CP55，gpt-6-luna，10-24。** 台账见 `CP55_FORMAL_RETRY_LEDGER.json`。 | run 目录 | 尝试 | 计入 | 说明 | |---|---|---|---| | `symrepo-v3-deepswe-cp55-luna-r1-cpu128-20261024-034053` | 113 | 113 | 第 1 次 | | `symrepo-v3-deepswe-cp55-luna-r2-cpu128-20261024-034053` | 113 | 108 | 第 2 次 | | `symrepo-v3-deepswe-cp55-luna-r2-retry-cpu128-20261024-110638` | 3 | 3 | 第 2 次的重跑 | | `symrepo-v3-deepswe-cp55-luna-r2-retry-cpu128-20261024-115121` | 2 | 2 | 第 2 次的重跑 | ### 4.2 运行环境包（`files/`、`images/`） 这两个文件夹是 2026-10-22～23 把实验迁到另一台机器（cpu128）时上传的，内容是跑这些实验所需的环境，结果文件里不包含它们。 | 文件 | 内容 | |---|---| | `files/deep-swe.tar` | DeepSWE 题目集（113 题，每题的题面、`task.toml` 和评分所需文件） | | `files/pier.tar` | 官方 verifier 运行框架 pier（评分用） | | `files/codex-cli-0.163.0.tar` | 所有 Codex CLI 组使用的 Codex CLI 0.163.0 | | `files/docker-compose` | 评分用的 docker compose 插件 | | `files/python-runtime-3.12.tar`、`files/python-versions.txt`、`files/requirements-*.txt` | 评分环境的 Python 3.12 运行时和两个虚拟环境的依赖清单 | | `files/toolkit-1.92.0-*.tar.gz` | SymRepo Rust 语义分析用的 Rust 1.92.0 工具链 | | `files/typescript-5.8.3.tar` | SymRepo TypeScript 语义分析的备用 TypeScript 5.8.3 | | `files/symrepo-c33c4e7.bundle`、`files/symrepo-commit.txt` | 迁移时 SymRepo 代码的 git bundle（提交 c33c4e7），早于本数据集中的 CP54–CP59 | | `files/campaign-reference.tar` | 迁移时的参考 run 配置（题目清单、镜像映射等） | | `files/agent-baselines-20261022.tar` | 10-22 搭建的基线 agent 环境：mini-swe-agent 2.4.6、SWE-agent 1.1.0 和一个私有 Python 3.11 环境 | | `files/FILES_SHA256.txt` | 以上文件的 SHA256 | | `images/images.tar.zst.part-000` … `part-005` | 219 个题目镜像和评分镜像，`docker save` 后用 zstd 压缩并切成约 4 GB 一片；按顺序拼接后解压，再 `docker load` | | `images/image-ids.txt`、`images/IMAGES_SHA256.txt`、`images/EXPORT_EXIT` | 镜像 ID 清单、分片的 SHA256、导出脚本的退出码 | ## 5. 一个 run 目录里有什么 ### 5.1 run 级文件 | 文件 / 目录 | 内容 | |---|---| | `task-manifest.json` | 本次运行的题目清单：题目、镜像、语言和工具链信息 | | `experiment-settings.json` | 模型、reasoning effort、harness 版本、资源与预算限制 | | `status.json`、`STATUS_ZH.txt` | 运行结束时每题的状态汇总 | | `COMPLETE.json` / `PAUSED.json` / `STOPPED.json` | 运行正常结束、暂停或停止的记录 | | `CONTINUATION.json` | 续跑的 run 才有：前一段是哪个 run、暂停原因、哪些题在前一段已完成，以及审核结论 | | `preparation/` | 启动前的准备与运行中的修订记录（`AMENDMENT_*.json`），以及冒烟验收等 | | `provenance/` | 代码提交、文件哈希等出处信息 | | `frozen-host.json`、`frozen-sources.json`、`host-check.log`、`host-check/` | 运行环境与输入的指纹 | | `controller.log`、`logs/` | 调度器日志 | ### 5.2 每题目录 `tasks/<题目名>/` **所有组共有的文件：** | 文件 | 内容 | |---|---| | `summary.json` | 这次尝试的汇总：status、native_status、`score.rewards`（reward、F2P/P2P 通过数）、`token_usage`、`tool_counts`、耗时等 | | `model.patch` | 最终提交评分的补丁（git diff） | | `score/score-summary.json` | 评分汇总 | | `score/repo-only-score-*/` | verifier 的原始输出：`result.json`，`verifier/ctrf.json`（逐个测试的结果），`verifier/run.log`，`verifier/test-stdout.txt`，`verifier/reward.json` | | `prompt.txt` 或 `model-prompt.txt` | 给模型的题面 | | `task-lifecycle.json`、`resource-start.json`、`resource-end.json`、`memory-samples.json`、`teardown.json`、`FINISHED.json`、`worker.log`、`scorer.log`、`guard.log` | 生命周期、资源用量与清理记录 | **Codex CLI 组的轨迹**（Bash、全部 SymRepo 组，以及两组 Luna）： | 文件 | 内容 | |---|---| | `native/events.jsonl` | **完整轨迹。** Codex CLI 的事件流，包括每条模型消息、推理摘要、工具调用和工具返回 | | `native/public-trajectory.json` | 可读的轨迹导出（SymRepo 组） | | `native/ThreadStartParams.json`、`native/base-instructions.txt`、`native/DynamicToolCallParams.json` | 会话配置：系统指令和工具定义 | | `native/summary.json`、`native/timing-events.jsonl` | 会话汇总与时间线 | | `native/boundary-audit/`、`native/output-transport-audit/` | 用来核对工具边界与输出传输的审计副本 | | `native/bundled-catalog.json`、`native/repo-only-catalog.json` | 模型目录 | | `actions.jsonl` | 逐个工具动作的记录 | **Bash 组另有：** - `executor/actions.jsonl`：在容器里执行的每条命令，以及退出码和输出； - `executor/environment-summary.json`、`executor/resource-usage.json`：执行容器的环境与资源用量。 **SymRepo 组另有：** - `v3-repo-calls.jsonl`：每次 `repo` 工具调用的参数和返回； - `configured-profiles.json`、`discovered-profiles.json`：测试配置； - `checks/`：测试和执行容器的内存记录； - `agent-tests/`（CP54–CP56）：提交时去掉的测试文件改动，存档在这里； - `branch-initial.json`：初始分支状态。 **OpenCode 组：** | 文件 | 内容 | |---|---| | `opencode-session.json` | **完整轨迹。** OpenCode 会话导出，包括消息和工具调用 | | `opencode-events.jsonl` | 事件流 | | `opencode-config/opencode.json` | OpenCode 配置 | | `gateway.jsonl` | 每次模型请求的记账：请求 ID、状态、token | | `executor/` | 执行容器记录 | **SWE-agent 组：** | 文件 | 内容 | |---|---| | `sweagent/<题目名>/<题目名>.traj` | **完整轨迹。** SWE-agent 原生轨迹 | | `sweagent/<题目名>/*.debug.log`、`*.info.log`、`*.trace.log`、`*.patch`、`*.pred`、`config.yaml` | SWE-agent 日志、补丁、预测与配置 | | `sweagent-stdout.log`、`sweagent-stderr.log`、`sweagent-config.yaml` | 进程输出与配置 | | `gateway.jsonl`、`executor/` | 同 OpenCode | ### 5.3 没有收录的内容 - `workspace/` 和环境副本仍不收录。2026-10-29 批次另在 `repo_state/` 保存可取得的仓库状态档案；它们不再混在 run-root 压缩包中。 - DeepSWE 题目包（`pier/`）和 Docker 镜像。 - Python 环境（`venv/`、`scorer-venv/`）、工具链和调度器源代码。 - Docker 凭据（`docker-config/`）和临时文件（`tmp/`）。 上传前，对所有收录的文件做过凭据扫描。 ## 6. 使用方法 **解压一个 run：** ```bash tar -xzf arms/07-symrepo-cp59-run_action-sol/symrepo-v3-deepswe-cp59-run_action-formal-cpu128-20261027-044524.tar.gz ``` **查某题计入的是哪次尝试：** 在 `results/attempts.csv` 里找 `task` 等于该题、`counts` 为 `True` 的那一行，`root` 列就是 run 目录名。 **attempts.csv 的列：** | 列 | 含义 | |---|---| | `arm` | 组 | | `repetition` | 第几次运行，只有 Luna 组有 | | `host` | 主机 | | `root` | run 目录名 | | `attempt` | 尝试序号 | | `task` | 题目名 | | `status` | 运行状态，scored 表示已评分 | | `native_status` | agent 自己报告的结束状态 | | `reward` | 分数 | | `tokens_total` | token 合计 | | `counts` | 是否计入结果 | **summary.json 里常用字段的位置：** - reward 在 `score.rewards.reward`。 - token 合计：Codex CLI 组在 `token_usage.total.totalTokens`，OpenCode 和 SWE-agent 在 `token_usage.total_tokens`。