deepseek-v4-pro-swebench-replay

# deepseek-v4-pro-swebench-replay ## 中文 这是一个 **DeepSeek V4 Pro 在 SWE-bench 上的 agentic replay 数据集仓库**。 用户不需要部署 SWE-bench，也不需要复现 Docker/benchmark 环境，即可直接查看和重放模型的多轮推理、工具调用和最终 patch 轨迹。 ### 数据来源 - 使用 EvalScope 收集 - 使用 EvalScope 中的 official SWE-bench agentic benchmark - 模型：`deepseek-v4-pro` - 运行模式：thinking + toolcall agentic loop - 评测环境：rootless Docker + SWE-bench 官方 benchmark containers ### 数据范围 - `verified_agentic`: 500 / 500 traces - `lite_agentic`: 300 / 300 traces ### 分数汇总 - `verified_agentic`: `359 / 500`, `Acc/Pass@1 = 71.8` - `lite_agentic`: `183 / 300`, `Acc/Pass@1 = 61.0` ### 文件说明 - `data/<split>/samples.jsonl`: 完整多轮消息、agent_trace、sample_score、resolved 状态和 patch - `data/<split>/replay_dataset.jsonl`: 面向重放的多轮轨迹入口 - `data/<split>/predictions.jsonl`: 按 instance_id 保存最终 patch - `scores/*.json`: 分数汇总 - `manifests/*.json`: 发布元信息和源文件信息 - `scripts/inspect_trace.py`: 检查单条 trace - `scripts/replay_openai_compatible.py`: 使用 OpenAI-compatible endpoint 重放 ### 使用示例 ```bash python scripts/inspect_trace.py data/verified_agentic/samples.jsonl --instance-id astropy__astropy-12907 python scripts/replay_openai_compatible.py data/verified_agentic/replay_dataset.jsonl --model deepseek-v4-pro --limit 1 ``` ### 局限性 这是一次本地采集得到的 replay dataset，不是官方 leaderboard 原始发布物。分数由本地 EvalScope/SWE-bench review 结果聚合得到。 ### 致谢 感谢算苗提供服务器支持：https://www.sunmmio.com/ ## English This is a **DeepSeek V4 Pro SWE-bench agentic replay dataset**. It lets users inspect and replay multi-turn model/tool trajectories without deploying SWE-bench or reproducing Docker benchmark environments locally. ### Source - Collected with EvalScope - Official SWE-bench agentic benchmark in EvalScope - Model: `deepseek-v4-pro` - Mode: thinking + toolcall agentic loop - Runtime: rootless Docker and official SWE-bench benchmark containers ### Splits - `verified_agentic`: 500 / 500 traces - `lite_agentic`: 300 / 300 traces ### Scores - `verified_agentic`: `359 / 500`, `Acc/Pass@1 = 71.8` - `lite_agentic`: `183 / 300`, `Acc/Pass@1 = 61.0` ### Files - `data/<split>/samples.jsonl`: full multi-turn messages, agent_trace, sample_score, resolved status, and patch - `data/<split>/replay_dataset.jsonl`: replay-oriented trajectory rows - `data/<split>/predictions.jsonl`: final patch predictions keyed by instance_id - `scores/*.json`: score summaries - `manifests/*.json`: release metadata and source files ### Acknowledgements Thanks to Sunmmio for server support: https://www.sunmmio.com/